yichuan520030910320
76 lines
1.9 KiB
Fish
76 lines
1.9 KiB
Fish
#!/usr/bin/env fish
|
|
|
|
# 创建无chat template的纯llama模型，对齐sglang的generate行为
|
|
# 支持llama3.2的1b和3b型号，以及llama3.1的8b型号
|
|
|
|
function create_llama32_model
|
|
set model_size $argv[1]
|
|
set model_name "llama3.2:$model_size-pure"
|
|
|
|
echo "创建 $model_name 模型..."
|
|
|
|
# 创建临时Modelfile
|
|
echo "FROM llama3.2:$model_size
|
|
TEMPLATE \"\"
|
|
PARAMETER stop \"\"
|
|
PARAMETER stop \"<|start_header_id|>\"
|
|
PARAMETER stop \"<|end_header_id|>\"
|
|
PARAMETER stop \"<|eot_id|>\"
|
|
PARAMETER stop \"USER:\"
|
|
PARAMETER stop \"ASSISTANT:\"
|
|
PARAMETER temperature 1.0
|
|
PARAMETER num_ctx 4096
|
|
PARAMETER seed 1234
|
|
PARAMETER num_predict 100" > Modelfile
|
|
|
|
# 创建模型
|
|
ollama create $model_name -f ./Modelfile
|
|
|
|
# 清理临时文件
|
|
rm Modelfile
|
|
|
|
echo "$model_name 创建完成"
|
|
end
|
|
|
|
function create_llama31_model
|
|
set model_size $argv[1]
|
|
set model_name "llama3.1:$model_size-pure"
|
|
|
|
echo "创建 $model_name 模型..."
|
|
|
|
# 创建临时Modelfile
|
|
echo "FROM llama3.1:$model_size
|
|
TEMPLATE \"\"
|
|
PARAMETER stop \"\"
|
|
PARAMETER stop \"<|start_header_id|>\"
|
|
PARAMETER stop \"<|end_header_id|>\"
|
|
PARAMETER stop \"<|eot_id|>\"
|
|
PARAMETER stop \"USER:\"
|
|
PARAMETER stop \"ASSISTANT:\"
|
|
PARAMETER temperature 1.0
|
|
PARAMETER num_ctx 4096
|
|
PARAMETER seed 1234
|
|
PARAMETER num_predict 100" > Modelfile
|
|
|
|
# 创建模型
|
|
ollama create $model_name -f ./Modelfile
|
|
|
|
# 清理临时文件
|
|
rm Modelfile
|
|
|
|
echo "$model_name 创建完成"
|
|
end
|
|
|
|
# 创建Llama 3.2的1b和3b模型
|
|
for size in 1b 3b
|
|
create_llama32_model $size
|
|
end
|
|
|
|
# 创建Llama 3.1的8b模型
|
|
create_llama31_model 8b
|
|
|
|
echo "完成! 所有纯文本llama模型已创建"
|
|
echo "使用方法: "
|
|
echo "- ollama run llama3.2:1b-pure \"你的提示\""
|
|
echo "- ollama run llama3.2:3b-pure \"你的提示\""
|
|
echo "- ollama run llama3.1:8b-pure \"你的提示\"" |