diff --git a/agentic/llm/_download_model.py b/agentic/llm/_download_model.py new file mode 100644 index 0000000..457771d --- /dev/null +++ b/agentic/llm/_download_model.py @@ -0,0 +1,16 @@ +import torch +from transformers import AutoTokenizer, AutoModelForCausalLM +import os + +cache_dir = "./models" +model_id = "NousResearch/Meta-Llama-3.1-8B" + +tokenizer = AutoTokenizer.from_pretrained(model_id) +model = AutoModelForCausalLM.from_pretrained( + model_id, + cache_dir=cache_dir, + torch_dtype=torch.float32, # Использование float32 для CPU + device_map=None # Явное указание, что модель не будет использовать GPU +) + +model.to("cpu") diff --git a/agentic/llm/llm_worker.py b/agentic/llm/llm_worker.py index 619ea9a..dad5bcc 100644 --- a/agentic/llm/llm_worker.py +++ b/agentic/llm/llm_worker.py @@ -4,6 +4,7 @@ # +import os import asyncio import json from aiokafka import AIOKafkaConsumer, AIOKafkaProducer @@ -11,11 +12,13 @@ from datetime import datetime import torch from transformers import AutoTokenizer, AutoModelForCausalLM +cache_dir = "./models" model_id = "NousResearch/Meta-Llama-3.1-8B" tokenizer = AutoTokenizer.from_pretrained(model_id) model = AutoModelForCausalLM.from_pretrained( model_id, + cache_dir=cache_dir, torch_dtype=torch.float32, # Использование float32 для CPU device_map=None # Явное указание, что модель не будет использовать GPU )