[GitHub Trending] jingyaogong/minimind
7.9 relevance
Score Breakdown
technical depth 8
novelty 7
actionability 9
community 8
strategic 6
personal 9
Scored daily by a customisable AI persona to surface the most relevant engineering leadership news.
Directly relevant to training small LLMs, highly actionable with code, and trending on GitHub.
Summary
MiniMind 是一个完全从零开始、使用 PyTorch 原生实现的开源项目,仅需约 3 元 GPU 租用成本和 2 小时训练时间,即可训练出一个 64M 参数的超小语言模型,其规模约为 GPT-3 的 1/2700。项目覆盖了从数据清洗、预训练、SFT、LoRA、RLHF(DPO)、RLAIF(PPO/GRPO/CISPO)到 Tool Use、Agentic RL 和模型蒸馏的完整训练链路,并拓展了视觉、多模态 Omni 和扩散语言模型。所有核心算法代码均不依赖 transformers/trl/peft 等高层抽象库,旨在降低 LLM 学习门槛,让个人 GPU 用户能亲手复现和理解大模型内部机制。