ToyLM（Toy Language Model） 是一个玩具语言模型，用来学习大语言模型相关知识。

参数

Vocab size	6400
Parameters	64.5M
Layers	8
Hidden dim	768
Heads	8
KV heads	4
Max sequence	768 tokens

特性

特性	状态
MHA	✅
GQA	✅
FlashAttention	✅
RSMNorm	✅
GELU	✅
SwiGLU	✅
Pretrain	✅
SFT	✅
LoRA	✅
RoPE
MOE

1 训练数据

从这里下载数据文件，放入 ./dataset 目录

2 预训练

python toylm\train_pretrain.py

3 指令微调

python toylm\train_sft.py

4 LoRA

python toylm\train_lora.py

预训练模型测试：

代码实现参考了以下项目：

• https://github.com/arman-bd/guppylm
• https://github.com/rasbt/LLMs-from-scratch
• https://github.com/jingyaogong/minimind