feat: добавлена загрузка модели в папку КЭШа

agentic/llm/_download_model.py

@@ -0,0 +1,16 @@
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM
+import os
+
+cache_dir = "./models"
+model_id = "NousResearch/Meta-Llama-3.1-8B"
+
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    cache_dir=cache_dir,
+    torch_dtype=torch.float32,   # Использование float32 для CPU
+    device_map=None              # Явное указание, что модель не будет использовать GPU
+)
+
+model.to("cpu")

agentic/llm/llm_worker.py

@@ -4,6 +4,7 @@
 #
 
 
+import os
 import asyncio
 import json
 from aiokafka import AIOKafkaConsumer, AIOKafkaProducer
@@ -11,11 +12,13 @@ from datetime import datetime
 import torch
 from transformers import AutoTokenizer, AutoModelForCausalLM
 
+cache_dir = "./models"
 model_id = "NousResearch/Meta-Llama-3.1-8B"
 
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 model = AutoModelForCausalLM.from_pretrained(
     model_id,
+    cache_dir=cache_dir,
     torch_dtype=torch.float32,   # Использование float32 для CPU
     device_map=None              # Явное указание, что модель не будет использовать GPU
 )