أصبح الضبط الدقيق (fine-tuning) لنماذج اللغة الكبيرة أكثر سهولة في 2026، إذ تتيح تقنيات مثل LoRA و QLoRA تخصيص النماذج على عتاد المستهلك.
لماذا الضبط الدقيق؟
- تخصيص النماذج لمجالك
- تحسين الدقة في مهام محددة
- تقليل الهلوسة باستخدام بياناتك
- إنشاء نماذج أصغر وأسرع
تقنيات الضبط الدقيق
LoRA (التكيّف منخفض الرتبة)
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3-8b")
lora_config = LoraConfig(
r=16,
lora_alpha=32,
target_modules=["q_proj", "v_proj"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
model = get_peft_model(model, lora_config)
print(f"Trainable params: {model.print_trainable_parameters()}")
QLoRA (LoRA المُكمّمة)
تجمع QLoRA بين التكميم بـ 4 بتات و LoRA، مما يتيح الضبط الدقيق لنماذج بحجم 65 مليار معامل وأكثر على وحدة معالجة رسوميات واحدة.
إعداد البيانات
جودة البيانات أهم من كميتها:
- انتقِ أمثلة عالية الجودة (1000–10000)
- اضمن التنوّع في مجموعة بياناتك
- نسّق بشكل متّسق (تعليمات، مدخل، مخرج)
- أزل التكرارات والعيّنات منخفضة الجودة
أفضل الممارسات
- ابدأ بنموذج أساس قوي
- استخدم مجموعة تحقق لمنع فرط التخصيص (overfitting)
- راقب منحنيات الخسارة أثناء التدريب
- قيّم على مهام واقعية، لا على المقاييس فقط
التعليقات (0)
اترك تعليقًا
لا توجد تعليقات بعد. كن أول من يشارك أفكاره!