在现场经常被问到“能不能在小盒子里跑 LLM”。可以直接先说结论，但需要调整预期。
LLM 推理速度受内存带宽支配，而非算力（FLOPS）。因为每生成一个 token 都需要从内存中读取模型的全部参数。
| 平台 | 内存 | 带宽 | 7B 模型体感 |
|---|---|---|---|
| Intel N97 | DDR5 单通道 | 约 38 GB/s | 2~4 tok/s |
| AMD 7840U | LPDDR5x双通道 | 约120 GB/s | 8~14 tok/s |
| NVIDIA L4 | GDDR6 24GB | 300 GB/s | 35~50 tok/s |
在 N97 级别上运行 7B 模型的 4 位量化（Q4_K_M）大约占用 4.5GB。如果是 8GB 内存的机型，考虑到操作系统和余量，实际使用会很困难。
不建议在现场设备中部署通用聊天机器人。如果响应慢，用户最终就不会使用。相反，自动化范围窄且重复性的任务带来的实际效果更大。
无风扇机箱通过散热鳍片散热。LLM 推理是持续负载，因此发热比瞬时负载更大。需要在环境温度 40℃ 下运行 30 分钟以上，并确认是否发生降频。
规格表上的 TDP 是瞬时最大值。重要的是测量持续负载下实际能维持的时钟频率。