使用 176KB 大小的纯 C 推理引擎 + 8GB 的内存 + 1.56TB 的 NVMe 硬盘,即可实现 K3 + 大约 33s/Token (不是 TPS) 的吐字速度

(2x EPYC 7763, No GPU)

https://github.com/FareedKhan-dev/kimi-k3-in-c/

src: https://www.reddit.com/r/LocalLLaMA/comments/1vd874t/i_pushed_kimi_k3_onto_one_cpu_with_8_gb_of_ram/
 
 
Back to Top