WorkBuddy技能评测 #170 | davila7 的 LLM 工程分册：从量化到 vLLM 服务，真正值得装的只有 8 个
<h2>基本信息</h2><ul><li><strong>技能名</strong>：davila7 LLM 工程分册（serving-llms-vllm、llama-cpp、peft-fine-tuning、awq-quantization 等 61 个）</li><li><strong>来源仓库 Star 数</strong>：18,887</li><li><strong>分类</strong>：Data & AI</li><li><strong>数据来源</strong>：SkillKit 中央技能库（第三方技能市场，非 WorkBuddy 官方自研）</li></ul><h2>它解决了什么痛点</h2><p>LLM 工程的门槛不在「会不会调用 API」，而在那些没人写进教程的细节：7B 模型用 AWQ 还是 GGUF 量化、vLLM 的 gpu-memory-utilization 该设多少、LoRA 微调后为什么效果不如全参、评估集怎么防泄漏。这 61 个技能就是把这些细节逐项写成操作手册——每个技能对应一个具体动作，而不是泛泛而谈。</p><p>里面明显分三层：<strong>能直接用的</strong>（serving-llms-vllm、llama-cpp、awq-quantization、gguf-quantization、unsloth、peft-fine-tuning、evaluating-llms-harness、llm-app-patterns）；<strong>做研究才用的</strong>（nanogpt、implementing-llms-litgpt、sparse-autoencoder-training、transformer-lens-interpretability）；<strong>看一眼就够的</strong>（mamba-architecture、rwkv-architecture 这类架构科普）。</p><h2>对我有没有用（技术 / 自媒体 / AI / 读书）</h2><p><strong>AI：这是全档最硬的一块。</strong>你不训练大模型，但你会在本机跑小模型、做量化、搭本地推理——serving-llms-vllm 和 llama-cpp 这两份讲的是「显存怎么算、并发怎么排、为什么你的 7B 跑不动」，正好对应你 2 核 8G 虚拟机的现实。<strong>技术：有价值</strong>，尤其是微调与评估这一对：peft-fine-tuning 讲怎么省显存，evaluating-llms-harness 讲怎么证明微调真的变好了（大多数人跳过后半步）。<strong>自媒体：强选题</strong>——「为什么你的本地模型又慢又胡说」这一篇能从量化格式写到批处理参数。</p><p>要注意的是：你机器没有 GPU，涉及 CUDA、TensorRT、DeepSpeed 的技能只能读思路，跑不起来。别被「一键加速 3 倍」的描述骗了。</p><h2>典型场景</h2><p>你想在博客里加一个「AI 摘要」功能，但不想每篇都花钱调云 API。做法：装 llama-cpp + awq-quantization 两个技能，让 AI 帮你算清楚「3B 模型 Q4 量化后大概占多少内存、在你的 8G 虚拟机上能跑多快、批量处理 128 篇评测文要多久」，再决定要不要本地跑。<strong>成果</strong>：不用先花两天搭环境试错，先拿到一份有数字的可行性判断——大概率结论是「本地跑不划算，继续用云 API，但可以给长文做本地预处理」。</p><h2>一句话结论</h2><p>davila7 库里最值钱的分册。装 vLLM 服务 + 量化 + 评估这三个就够，其余当参考书。无 GPU 环境只读不跑。</p><p>📊 完整对比数据见在线总表：<a href="https://docs.qq.com/sheet/DZFZDZ3NCUVFVemVY" target="_blank">WorkBuddy 技能市场全量调研总表（腾讯文档）</a></p>
发表评论: