July 25, 2024
ပွင်ႈၵႂၢမ်းႁူဝ်ၼႆႉ ပဵၼ်မၢႆတႃႇတွင်း လွင်ႈလဵပ်ႈႁဵၼ်းတူၺ်း တႃႇတေႁဵတ်းႁႂ်ႈ LLM (Large Language Model) မိူၼ်ၼင်ႇ Llama3 ႁူႉပွင်ႇၸႂ် လႄႈတွပ်ႇၶေႃႈထၢမ်လိၵ်ႈတႆး ၵႂၢမ်းတႆးလႆႈ။
တွၼ်ႈတႃႇလိၵ်ႈတႆး ၵႂၢမ်းတႆး ယင်းတိုၵ်ႉမီးလွင်ႈၶဵင်ႇတႃႉ လႄႈလွင်ႈလူဝ်ႇလဵပ်ႈႁဵၼ်းထႅင်ႈတင်းၼမ် တႃႇတေၶဵၼ်ႇၽိုတ်ႉဢီး ႁဵတ်းႁႂ်ႈလိၵ်ႈတႆး ၵႂၢမ်းတႆးႁဝ်းၸႂ်ႉလႆႈလီၼႂ်းၵၢပ်ႈပၢၼ် AI ၼႆလႄႈ ၼႆႉပဵၼ်ပွင်ႈၵႂၢမ်းမၢႆတွင်း (Study Note) တႃႇလဵပ်ႈႁဵၼ်းတူၺ်းပွတ်းဢွၼ်ႇတွၼ်ႈၼိုင်ႈၵူၺ်းၶႃႈ။
Llama (Large Language Model Meta AI) ပဵၼ် generative ai မေႃႇတႄႇလ် ဢၼ်ၼိုင်ႈ ဢၼ် Meta (Facebook) ၶဝ်ၶူင်သၢင်ႈဢွၵ်ႇမႃးဝႆႉ လႄႈပဵၼ် မေႃႇတႄႇလ်ဢၼ်ပိုတ်ႇငဝ်ႈတိုၼ်း (Open-Source) ႁႂ်ႈဢဝ်ၸႂ်ႉတိုဝ်းလႆႈၵႂၢင်ႈၵႂၢင်ႈၶႂၢင်ၶႂၢင် ႁူမ်ႈတင်းႁဵတ်း Fine-tunnine လႆႈ။
Llama ပဵၼ်မေႃႇတႄႇလ်ဢၼ်ၼိုင်ႈဢၼ်လႆႈဝႃႈၵတ်ႉၶႅၼ်ႇ ၼႂ်းၵႄႈၵၢင်မေႃႇတႄႇလ်ဢၼ်ဢမ်ႇပိုတ်ႇငဝ်ႈတိုၼ်းတၢင်ႇဢၼ် မိူၼ်ၼင်ႇ GPT3, GPT4, Gemini, Claud.ai ၸိူဝ်းၼႆႉ။
Llama ပဵၼ် multilingual pre-trained model ဢၼ်ၸႂ်ႉၶေႃႈမုၼ်းယႂ်ႇလူင် လႄႈႁႅင်းတိုၼ်းငိုၼ်းၼမ် တႃႇတေႁဵတ်းဢွၵ်ႇပၼ်မႃး checkpoint ဢၼ်ဢဝ်ၵႂႃႇၸႂ်ႉလႆႈလၢႆလၢႆတီႈ မိူၼ်ၼင်ႇ LangChain, Ollama။
ၵူၺ်းၵႃႈဝႃႈ တွၼ်ႈတႃႇလိၵ်ႈတႆးတႄႉ လႆႈဝႃႈၸဵမ်ႁႅင်းၶေႃႈမုၼ်း လႄႈလွင်ႈၵိုင်ႇတၢၼ်ႇတႃႇတေႁဵတ်းဢွၵ်ႇပႆႇတဵမ်ထူၼ် လႄႈ မေႃႇတႄႇလ်တင်းၼမ်ဢၼ်ဢွၵ်ႇမႃးၼၼ်ႉၵေႃႈ ပႆႇႁူႉပွင်ႇၸႂ်လႆႈလိၵ်ႈတႆးလီလီၼၼ်ႉယဝ်ႉ။
ၽႃႇသႃႇလိၵ်ႈလၢႆးၼႂ်းၵမ်ႇၽႃႇ ဢမ်ႇၵွမ်ႉၵႃႈလိၵ်ႈတႆးၵူၺ်း လၢႆလၢႆၽႃႇသႃႇ လႆႈထုၵ်ႇၼပ်ႉဝႃႈပဵၼ် ၽႃႇသႃႇဢၼ်မီးၶေႃႈမုၼ်းၵမ်ႉဢေႇ (Low-Resources Language) ၼၼ်ႉပွင်ႇဝႃႈ ၶေႃႈမုၼ်းလိၵ်ႈလၢႆ ၼမ်ႉၵႂၢမ်း သဵင်လၢတ်ႈ ဢၼ်ပဵၼ် digital-format လႄႈၽွမ်ႉၸႂ်ႉၼႂ်းၶၵ်ႉၵၢၼ် NLP လႄႈ Machine-Learning, Deep-Learning training ၼၼ်ႉဢမ်ႇပႆႇမီးၼမ်ပဵင်းပေႃး။
ၶၵ်ႉၵၢၼ် NLP လႄႈ Machine-Learning, Deep-Learning training ၸိူဝ်းၼၼ်ႉပဵၼ်ၶၵ်ႉၵၢၼ်ဢၼ် တွင်ႉမႆႈၶေႃႈမုၼ်း (Data hungry) တႃႇပွၼ်ႈသွၼ်ပၼ်မၼ်းတင်းၼမ် ဢၼ်ႉၵႆႉႁွင်ႉဝႃႈ large-scale datasets ၶေႃႈၼႆႉတေပိူင်ႈၵၼ်တင်းၶေႃႈၵႂၢမ်းဢၼ်ၵႆႉၺိၼ်းမိူဝ်ႈပူၼ်ႉမႃးဝႃႈ Big-Data ("3 Vs": Volume, Variety, and Velocity.) ၵူၺ်းၶေႃႈမုၼ်းတွၼ်ႈတႃႇ training datasets ၼႆႉလိူဝ်သေလူဝ်ႇမီးတၢင်းယႂ်ႇၼမ်ယဝ်ႉယင်းလူဝ်ႇမီးထႅင်ႈ quality, diversity, and relevance။
ၼင်ႇဝႃႈမႃးၼႂ်းတွၼ်ႈ Low-resources language ၼၼ်ႉယဝ်ႉ ပေႃးဝႃႈဢမ်ႇမီးၶေႃႈမုၼ်းတီႈလီ လႄႈၶိုၵ်ႉယႂ်ႇၼၼ်ႉ မေႃႇတႄႇလ်ဢၼ်ဢွၵ်ႇမႃးၼၼ်ႉၵေႃႈ တိုၼ်းဝႃႈတေဢမ်ႇၶိုၵ်ႉၶႅမ်ႈၸႂ်ႉလႆႈ။
လိူဝ်သေလူဝ်ႇၶေႃႈမုၼ်းၶိုၵ်ႉယႂ်ႇယဝ်ႉ တႃႇတေ train deep-learning model သေဢၼ်ဢၼ်တႄႇတီႈငဝ်ႈမၼ်းၼၼ်ႉ လႆႈၸႂ်ႉၶၢဝ်းယၢမ်း လႄႈငိုၼ်းလူင်းတိုၼ်းၼမ် ၵႃႈၶၼ်ယႂ်ႇ၊ ယွၼ်ႉၼၼ်လႄႈ ၸင်ႇမီးလွၵ်းလၢႆးဢၼ်ႁွင်ႉဝႃႈ Fine-Tune ၼၼ်ႉမႃး။
Fine-Tune ၼၼ်ႉပဵၼ်လွၵ်းလၢႆးၼိုင်ႈ ဢၼ်ႁွင်ႉဝႃႈ transfer-learning ၵၢၼ်သိုပ်ႇသူင်ႇတၢင်းႁူႉ ဢၼ် pre-trained မေႃႇတႄႇလ်ၼၼ်ႉလႆႉထုၵ်ႇၾိုၵ်းသွၼ် ႁဵၼ်းႁူႉမႃး၊ မိူၼ်ၼင်ႇ Llama, GPT3, GPT4 ၸိူဝ်းၼၼ်ႉ လုၵ်ႉတီႈၽူႈၶူင်သၢင်ႈၶဝ်သေ ၸႂ်ႉတင်းတိုၼ်းလၢင်း ၶၢဝ်းယၢမ်း လႄႈၶေႃႈမုၼ်းၶိုၵ်ႉယႂ်ႇ တူဝ်ႈဢိၼ်ႇတႃႇၼႅတ်ႉတင်းလုမ်ႈၾႃႉ ၾိုၵ်းသွၼ်မႃးဝႆႉယဝ်ႉ၊ ၵၢၼ် fine-tune မေႃႇတႄႇလ်ၵေႃႈမိူၼ်ၼင်ႇၵၢၼ် ၶိုၼ်းလုပ်ႈၶျေႃး ပွတ်ႈလပ်ႉထႅင်ႈႁႂ်ႈမၼ်းႁဵၼ်းႁူႉ ၸွမ်းၼင်ႇၶေႃႈမုၼ်းႁဝ်းမီးထႅင်ႈၼၼ်ႉယဝ်ႉ။
ယွၼ်ႉၼၼ်လႄႈ တွၼ်ႈတႃႇၽႃႇသႃႇလိၵ်ႈလၢႆးတႆးႁဝ်း မိူဝ်ႈဢၼ်ပႆႇမီးတိုၼ်းလၢင်း လႄႈၶေႃႈမုၼ်းၶိုၵ်ႉယႂ်ႇ တႃႇပွၼ်ႈသွၼ်ပၼ်မၼ်းၼၼ်ႉ လွၵ်းလၢႆး Fine-tune တေပဵၼ်လၢႆးဝႆး လႄႈၵိုင်ႇငၢမ်ႇၸွမ်းငဝ်းလၢႆးယဝ်ႉ။
Code လႄႈလွၵ်းလၢႆး fine-tune တွၼ်ႈၼႆႉၸႂ်ႉတိုဝ်း AI-Commandos/LLaMa2lang Convenience scripts ဢၼ်တူင်ႇဝူင်းၸွႆႈၵၼ်ပိုၼ်ၽႄဝႆႉ ပိူဝ်ႈတႃႇ Optimized လႄႈ လႆႈၼမ်ႉတွၼ်းၼႂ်းမေႃႇတႄႇလ်သုင်သုတ်း။
Code ဢၼ်ႁၢင်ႈႁႅၼ်းဝႆႉတွၼ်ႈတႃႇၽႃႇသႃႇတႆး https://github.com/NoerNova/LLaMa2lang.git
ၶေႃႈမုၼ်းဢၼ်တႃႇတေၸႂ်ႉၼႂ်းၶၵ်ႉတွၼ်ႈၵၢၼ် fine-tune Llama ဢမ်ႇၼၼ်တီႈၼႆႈပဵၼ် Chat-Llama ၼၼ်ႉ ႁဝ်းလူဝ်ႇၶေႃႈမုၼ်း ထၢမ်-တွပ်ႇ ပိူဝ်ႈတႃႇႁႂ်ႈမၼ်းႁဵၼ်းႁူႉလႆႈဝႃႈ ပေႃးမီးၶေႃႈထၢမ် မၼ်းတေလႆႈတွပ်ႇၸိူင်ႉႁိုဝ်။
(သူၼ်ၸႂ်လဵပ်ႈႁဵၼ်း - Fine-tune GPT2 for Shan text-generator)
prompter-assistant dataset
prompter-assistant dataset
ၼင်ႇၶေႃႈမုၼ်းၽၢႆႇၼိူဝ်ၼၼ်ႉ ပေႃးၽူႈထၢမ် (prompter) လၢတ်ႈဝႃႈ "မႂ်ႇသုင်ၶႃႈ" ၼႆ assistant တေလႆႈတွပ်ႇဝႃႈၸိူင်ႉႁိုဝ် ၼႆၼၼ်ႉယဝ်ႉ။
ၶေႃႈမုၼ်းၸိူင်ႉၼႆၼႆႉ လႆႈၸႂ်ႉၶၢဝ်းယၢမ်းလႄႈလွင်ႈသိုပ်ႇႁႃၶေႃႈမုၼ်းတင်းၼမ် တႃႇတေလႆႈၶေႃႈ ထၢမ်-တွပ်ႇ ဢၼ်ပဵၼ်ၶေႃႈမုၼ်းမၢၼ်ႇမႅၼ်ႈ လႄႈလွင်ႈထတ်းတူဝ်ၽိတ်းထုၵ်ႇမၼ်း၊ ၶေႃႈမုၼ်းဢၼ်ပဵၼ်ၽႃႇသႃႇတႆးၵေႃႈ တိုၵ်ႉယူႇၼႂ်းၶၵ်ႉတွၼ်ႈၵၢၼ်ၵဵပ်းႁွမ်း လႄႈဢမ်ႇပႆႇမီးလွင်ႈၶိုၵ်ႉၼမ်။
ၵွပ်ႈၼၼ်ၼႂ်းတွၼ်ႈၼႆႉ ႁဝ်းတေၸႂ်ႉလွၵ်ႉလၢႆးၵၢၼ်ပိၼ်ႇၽႃႇသႃႇၸုမ်ႇၶေႃႈမုၼ်း ဢၼ်ၸိုဝ်ႈဝႃႈ OASST1 (OpenAssistant) ဢၼ်ဢိင်ၼိူဝ် AI model NLLB - သိုပ်ႇလူ ၵၢၼ်ပိၼ်ႇၽႃႇသႃႇဢၼ်ဢွၵ်ႇမႃးဢွၼ်တၢင်းၼၼ်ႉ။
git clone https://github.com/NoerNova/LLaMa2lang.git
pip install -r requirements.txt
တီႈၼႆႈႁဝ်းတေၸႂ်ႉတိုဝ်းမေႃႇတႄႇလ် NLLB တႃႇပိၼ်ႇၽႃႇသႃႇၸုမ်ႇၶေႃႈမုၼ်း OASST1 လႄႈ ၼႂ်း translators/nllb.py
ၼၼ်ႉထႅမ်သႂ်ႇပၼ်ပႃး "shn": "shn_Mymr
ဢၼ်ပဵၼ် language_mapping ၽႃႇသႃႇတႆး။
... class NLLBTranslator(BaseTranslator): language_mapping = { "en": "eng_Latn", "es": "spa_Latn", ... "shn": "shn_Mymr", "bn": "mni_Beng", # ၼႂ်း orginal ဢမ်ႇမီးပႃးၽႃႇသႃႇၼႆႉလႄႈ ၸၢင်ႈ error မိူဝ်ႈပိၼ်ႇၽႃႇသႃႇၸူးၽႃႇသႃႇဢၼ်ၼႆႉ } ...
Run translate to Translate OASST1 to shn language
python translate.py --max_length 1024 nllb --model_size 3.3B shn_Mymr ./output_shn
Script ၽၢႆႇၼိူဝ်ၼႆႉ ၸႂ်ႉမေႃႇတႄႇလ် nllb3.3B သေၶိုၼ်းပိၼ်ႇၽႃႇသႃႇၸုမ်ႇၶေႃႈမုၼ်း OASST1 ႁႂ်ႈပဵၼ်ၽႃႇသႃႇတႆး။
သင်ၸိူဝ်ႉဝႃႈ VRAM ႁဝ်းဢမ်မီးၼမ် ႁိုဝ်မီး Error ဝႃႈ CUDA out of memory ၼႆၸၢမ်းယွမ်းတူၺ်း parameter --max_langth ဢမ်ႇၼၼ်လႅၵ်ႈတူၺ်းမေႃႇတႄႇလ်ပဵၼ် nllb1.3။
translate_with_nllb
ၶၵ်ႉတွၼ်ႈၼႆႉၸႂ်ႉၶၢဝ်းယၢမ်းပိၼ်ႇၽႃႇသႃႇ 20 ၸူဝ်ႈမွင်းလိူဝ်လိူဝ် မီးထႅဝ်ၶေႃႈမုၼ်းမွၵ်ႈ 84,000 ပၢႆ။
ၶေႃႈမုၼ်း output ပိၼ်ႇၽႃႇသႃႇၼႆႉပိုၼ်ၽႄဝႆႉပၼ်တီႈ huggingface - NorHsangPha/oasst1_shan_translation
checking_dataset
ၶေႃႈမုၼ်းဢၼ်ပိၼ်ၽႃႇသႃႇမႃးၼႆႉ ၵမ်ႉဢေႇၵူၺ်းဢၼ်မီးလွင်ႈမၢၼ်ႇမႅၼ်ႈ လႄႈၼမ်ႉၵႂၢမ်းၵေႃႈဢမ်ႇမိူၼ်ၼမ်ႉၵႂၢမ်းဢၼ်ၽႃႇသႃႇတႆးၸႂ်ႉတိုဝ်းၵၼ်၊ လိူဝ်သေၼၼ်ႉ ယင်းထူပ်းပၼ်ႁႃ repetitive problem ဢၼ်မီးတူဝ်သွၼ်ႉလၢႆလၢႆတူဝ်ဢၼ်ဢမ်ႇပွင်ႇၵႂၢမ်းမၢႆသင်၊ ပေႃးပိူင် LLM တႄႉလႆႈဝႃႈပဵၼ်ၶေႃႈမုၼ်းဢၼ်ဢမ်ႇၸႂ်ႉလႆႈလီလီၼၼ်ႉယဝ်ႉ။
ၵူၺ်းၵႃႈတႃႇၸၢမ်းတူၺ်းၵူၺ်းၼႆလႄႈ ႁဝ်းၶႃႈတေသိုပ်ႇၵႂႃႇထႅင်ႈၶၵ်ႉတွၼ်ႈ Fine-tune ႁဝ်းၶႃႈ။
output_shn
python combine_checkpoints.py ./output_shn <local_folder or HF repo>
တွၼ်ႈၼႆႉတေဢဝ်ၸုမ်ႇၶေႃႈမုၼ်းဢၼ်ပိၼ်ႇၽႃႇသႃႇယဝ်ႉၼၼ်ႉ ၶိုၼ်းႁူမ်ႈၵၼ်ႁႂ်ႈပဵၼ် HF's dataset format သေလႄႈသိမ်းဝႆႉၼႂ်း folder မႂ်ႇ ဢမ်ႇၼၼ် Huggingface repo၊ ပေႃးဝႃႈတေသိမ်းၼႂ်း Huggingface repo ၼႆႉႁႂ်ႈပၼ်ပႃး HF_TOKEN env။
combine_checkpoint
python finetune.py --base_model --batch_size 2 llama3_shan_finetuned .\combine_checkpoints "You are a generic chatbot that always answers in Shan."
ၶၵ်ႉတွၼ်ႈၼႆႉပဵၼ်ၵၢၼ် Train ပွၼ်ႈသွၼ်ပၼ်ၶေႃႈမုၼ်းမႂ်ႇပၼ်မေႃႇတႄႇလ် Llama3 (default: NousResearch/Meta-Llama-3-8B-Instruct)။
ၶၵ်ႉတွၼ်ႈၼႆႉၸႂ်ႉတိုဝ်းႁႅင်း VRAM တင်းၼမ်လႄႈႁဝ်းတေၸၢမ်းၵႂႃႇၸႂ်ႉ CloudGPU တီႈ vast.ai။
vast.ai ပဵၼ် service ပၼ်ႁိမ် GPU ၸူဝ်ႈၵမ်း လႄႈမီးၵႃႈၶၼ်ထုၵ်ႇ မိူၼ်ၼင်ႇတီႈၼႆႈ ႁဝ်းလၢမ်းဝႃႈလူဝ်ႇ VRAM မွၵ်ႈ 48GB ၼႆ တေတူၵ်းမွၵ်ႈ 1 ၸူဝ်ႈမွင်း 1 တေႃႇလႃႇ ပေႃးဝႃႈႁဝ်း train ဢမ်ႇႁိုင်ၼႆတႄႉ တေၸၢင်ႈသၢင်ႇထုၵ်ႇယူႇ ၼင်ႇၵၢၼ် finetune llama3 လူၺ်ႈၶေႃႈမုၼ်းဢမ်ႇထိုင် 100,000 record ၸိူဝ်းၼႆႉတေဢမ်ႇပူၼ်ႉသေ 3 ၸူဝ်ႈမွင်း။
vast.ai
train on RTX6000Ada
Finetune ၼိူဝ် Vast.ai လိူၵ်ႈၸႂ်ႉ GPU RTX6000Ada ဢၼ်မီးႁႅင်း VRAM 48GB ၸႂ်ႉမိူဝ်ႈၽွင်း train ၼၼ်ႉ 42GB ၸႂ်ႉၶၢဝ်းယၢမ်း setup လႄႈ train 2:45 ၸူဝ်ႈမွင်း။
ဝၢႆးသေ Finetune ယဝ်ႉၼၼ်ႉႁဝ်းတေလႆႈမႃးမေႃႇတႄႇလ် safetensors ဢၼ်ႁဝ်းတေဢဝ်မႃးၸၢမ်းၸႂ်ႉတူၺ်း။
import transformers from transformers import pipeline import torch model_id = "merge_llama3_adapter_Shan" text_pipeline = pipeline( "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto" ) # message = [ # "သူပဵၼ်ၽူႈၸွႆႈထႅမ် ဢၼ်တေတွပ်ႇပၼ်ၶေႃႈတွပ်ႇၵူႈလွင်ႈလွင်ႈ", # ] messages = [ {"role": "system", "content": "You are a genetic chatbot who always responds in Shan."}, {"role": "user", "content": "တႅမ်ႈပၼ် Hello World ၼႂ်း 10 ၽႃႇသႃႇ"}, ] prompt = text_pipeline.tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True ) terminators = [ text_pipeline.tokenizer.eos_token_id, text_pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>") ] outputs = text_pipeline( prompt, max_new_tokens=512, eos_token_id=terminators, do_sample=True, temperature=0.6, top_p=0.9, ) print(outputs[0]["generated_text"][len(prompt):]) # output # မႂ်ႇသုင်ၶႃႈ မိူဝ်ႈၼႆႉပဵၼ် ပရူဝ်ႇၵရမ်ႇ ဢၼ်တႅမ်ႈဝႆႉၼႂ်းၽႃႇသႃႇၵႂၢမ်းလၢတ်ႈလၢႆလၢႆၽႃႇသႃႇၶႃႈဢေႃႈ မႂ်ႇသုင်ၶႃႈ မိူဝ်ႈၼႆႉပဵၼ် ပရူဝ်ႇၵရမ်ႇ ဢၼ်တႅမ်ႈဝႆႉၼႂ်းၽႃႇသႃႇၵႂၢမ်းလၢတ်ႈလၢႆလၢႆၽႃႇသႃႇၶႃႈဢေႃႈ မႂ်ႇသုင်ၶႃႈ မိူဝ်ႈၼႆႉပဵၼ် ပရူဝ်ႇၵ�
တေလႆႈႁၼ်ဝႃး မၼ်းထုတ်ႇဢွၵ်ႇလိၵ်ႈတႆးလႆႈယဝ်ႉ ၵူၺ်းႁဝ်းၶႂ်ႈလႆႈ Chat interface လႄႈၸႂ်ႈမိူၼ်ၼင်ႇႁႂ်ႈမၼ်းပဵၼ်ၵၢၼ်လၢတ်ႈတေႃႇၵၼ်ၼၼ်ႉ ႁဝ်းတေမီးၶၵ်ႉတွၼ်ႈထႅင်ႈဢိတ်းဢွတ်း
Chat interfeace framework ဢၼ်ပိူၼ်ႈၵႆႉၸႂ်ႉၵၼ်မီးလၢႆလၢႆဢၼ်မိူၼ်ၼင်ႇ Chainlit, LangChain,GPT4All, llama.cpp လႄႈ Ollama၊ framework ဢၼ်လႂ်ဢၼ်ၼၼ်ႉ တေၸၢင်ႈၸႂ်ႉတိုဝ်းမဵဝ်းၶွင်မေႃႇတႄႇလ်ပႅၵ်ႇပိူင်ႈၵၼ်။
တွၼ်ႈၼႆႉႁဝ်းတေၸႂ်ႉ Ollama ဢၼ်ၸႂ်ႉတိုဝ်း .gguf ၼႆလႄႈႁဝ်းလူဝ် convert safetensors model ႁဝ်ႁႂ်ႈပဵၼ်ၸွမ်းၼင်ႇဢၼ်မၼ်းၸႂ်ႉၼၼ်ႉ။
Ollama ၼၼ်ႉၸႂ်ႉတိုဝ်း llamacpp သေၵေႃႇသၢင်ႈၶိုၼ်ႈမႃးႁႂ်ႈပဵၼ် user-friendly ဢၼ်ၸႂ်ႉတိုဝ်းငၢႆႈ လႄႈ setup ငၢႆႈ
တႃႇတေ Convert model ႁဝ်းတေၸႂ်ႉ script convert ၼႂ်း llamacpp လႅၵ်ႈမေႃႇတႄႇလ်ႁဝ်းႁႂ်ႈပဵၼ် c++ .gguf လႄႈ Quantized ႁဵတ်းႁႂ်ႈမေႃႇတႄႇလ်ႁဝ်းလဵၵ်ႉမႃးထႅင်ႈ (မေႃႇတႄႇလ်လဵၵ်ႉၵေႃႈတေၵၼ် RAM ဢႄႇ)။
Clone and build local
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp
# using make: make # using Cmake: cmake -B build # or cmake --build build --config Release
easy install on MacOS and Linux
# macos brew install llama.cpp
ဝၢႆးသေ install ယဝ်ႉတေလႆႈ script လၢႆလၢႆဢၼ်မိူၼ်ၼင်ႇ
convert finetuned model ဢၼ်ႁဝ်းဢဝ်ၵႂႃႇဝႆႉၼိူဝ် Huggingface
pip install -r requirements.txt python convert_hf_to_gguf.py <models/model_repo>
quantize 4-bits model ႁဵတ်းႁႂ်ႈ model ႁဝ်းလဵၵ်းမႃး ၸႂ်ႉ llama-quantize script လႄႈ မေႃႇတႄႇလ်ဢၼ် converted ယဝ်ႉတၢင်းၼိူဝ်ၼၼ်ႉ
./llama-quantize ./models/<converted_model>/ggml-model-f16.gguf ./models/ggml-model-Q4_K_M.gguf Q4_K_M
official example for convert and quantize - llama.cpp/examples/quantize
quantized models - merge_llama3_adapter_Shan
Ollama ပဵၼ်ပရူဝ်ႇၵရႅမ်ႇဢၼ်ၸၼ်လူတ်ႇလူင်းလႄႈ install လႆႈၵူႈၽရႅတ်ႉၾွမ်ႇ macOS/Linux/Windows
ဝၢႆးသေ install ယဝ်ႉၵေႃႉၸႂ်ႉလႆႈၼႂ်း terminal ၵမ်းလဵဝ်ယဝ်ႉ။
ollama_cli
ၼင်ႇႁိုဝ်တေပဵၼ် Chat interface လႄႈမီးၶိူင်ႈမိုဝ်းတႃႇၸၢမ်း LLM ႁဝ်းတင်းၼမ်ၼၼ်ႉ ႁဝ်းတေသႂ်ႇထႅင်ႈ Open WebUI တႃႇတေ serve ollama
pip install open-webui
open-webui
ႁဵတ်း file ဢၼ်ၼိုင်ႈသေသႂ်ႇပၼ်ထႅဝ်ၼႆႉ ယဝ်ႉသေ save ပဵၼ်ၸိုဝ်ႈသင်ၵေႃႈလႆႈ။
# path to model From ggml-model-Q4_K_M-v2.gguf
ၼႂ်း terminal run
ollama create shandemo -f ./shandemo # ollama create ၸိုဝ်ႈမေႃႇတႄႇလ်သင်ၵေႃႈလႆႈ -f ./ၸိုဝ်ႈၾၢႆႇလ်
check တူၺ်း
ollama list
ၼႂ်း terminal run
open-webui serve
open-webui serve
တီႈၼႂ်း Web Browser ၶဝ်ႈၵႂႃႇတီႈ http://localhost:8080
ပွၵ်ႈဢွၼ်တၢင်းသုတ်းၼၼ်ႉ တေလႆႈၵေႃႇသၢင်ႈဢၵွင်ႇဢွၼ်တၢင်း Signup ၸႂ်ႉသင်ၵေႃႈလႆႈ ဢမ်ႇတၢပ်ႈလူဝ်ႇပဵၼ်ဢီးမေးလ်ဢၼ်တႄႉမၼ်း၊ ၵေႃႉဢွၼ်တၢင်းသုတ်းၼၼ်ႉ တေပဵၼ် admin။
open-webui login
ၼႃႈဝႅပ်ႉသၢႆႉ တေငၢႆးငၢႆးမိူၼ် ChatGPT ယူႇ။
webui
ၵႂႃႇတီႈၼႂ်း Workspace သေတေႁၼ်ဝႃႈ Ollama model ႁဝ်းၼၼ်ႉ run ဝႆႉယူႇယဝ်ႉ။
webui
တဵၵ်းတီႈ model ႁဝ်းၼၼ်ႉသေၸၢမ်းလၢတ်ႇတူၺ်းၼႂ်း Chat
webui-chat1
webui-chat2
သင်ဝႃႈမေႃႇတႄႇဢမ်ႇပၼ်ၶေႃႈတွပ်ႇလႆႈလီၵေႃႈ ၸၢမ်း edit တူၺ်း system prompt လႄႈ parameter ၸိူဝ်းၼႆႉတူၺ်း
webui-chat2
တေႁၼ်ဝႃႈ မေႃႇတႄႇလ်ဢၼ်ႁဝ်းႁဵတ်း finetuned ၼၼ်ႉ မၼ်းၶတ်းၸႂ်ပွင်ႇၸႂ်လိၵ်ႈတႆးယူႇၵမ်ႈၽွင်ႈသေတႃႉၵေႃႈ ၸဵမ်ၶေႃႈမုၼ်းဢႄႇ လႄႈၼမ်ႉတိုၼ်းၶေႃႈမုၼ်း quality ဢမ်ၶိုၵ်ႉၶႅမ်ႉပဵင်းပေႃးလႄႈ မေႃႇတႄႇလ်ႁဝ်းၵေႃႈ ဢမ်ႇၶိုၵ်ႉၶမ်ႇသင်ၵႃႈႁိုဝ် ၸႂ်ႉတိုဝ်တႄႉတႄႉဢမ်ႇပႆႇလႆႈ။
ၵူၺ်းၵႃႈၵေႃႈ ပဵၼ်လွင်ႈလႆႈလဵပ်ႈႁဵၼ်းၶၵ်ႉတွၼ်ႈလႄႈလွင်ႈပွင်ႇၸႂ်ဝႃႈ LLM ဢၼ်ၵူႈမိူင်းမိူင်း ၵူႈၽႃႇသႃႇၶတ်ႈၸႂ်ၶဵင်ႇတႃႉၵၼ်ယူႇၼၼ်ႉ မၼ်းပဵၼ်သင် မီးလွၵ်းလၢႆးၸိူင်ႉႁိုဝ်တႃတေႁဵတ်းႁႂ်ႈပဵၼ်မႃး တႃႇတေႁႂ်ႈၶိုတ်းၸၼ်ႉပဵင်းပိူၼ်။
ယူႇတီႈႁဝ်းၶႃႈၶဝ်သေ တိုၵ်ႉသိုပ်ႇလမ်း သိုပ်ႇလဵပ်ႈႁဵၼ်းလႄႈ ၶတ်းၸႂ်ႁဵတ်းဢွၵ်ႇၶေႃႈမုၼ်း ႁႂ်ႈမီးဝႆႉၶေႃႈမုၼ်းၽွမ်ႉၸႂ်ႉဢၼ်ၶွမ်ႊပၼီႊယႂ်ႇလူင်ၶဝ်ၸၢင်ႈဢဝ်ၵႂႃႇႁွမ်းၸွမ်းသေ ႁဵတ်းပၼ်မႃးပႃးလိၵ်ႈတႆးႁႂ်ႈၸႂ်ႉတိုဝ်းလႆႈလီၼႂ်းၵၢပ်ႈပၢၼ် AI ဢမ်ႇတူၵ်းလႃႈတူၵ်းလိုၼ်း ပႆႉပၼ်ႁႅင်းသေၵမ်းၶႃႈ :D