一位 Hugging Face 开发者尝试在 32 GB 内存的 Mac 上运行 Qwen3.8-Flash-Next。模型采用混合专家结构,每生成一个词元只需部分专家。他将专家权重放在固态硬盘上,为被选中的专家预留一组循环使用的内存位置。

逐个用 Python 调用专家会拖慢生成;把选中的权重放进可复用的位置后,原有的批量运算内核就能继续工作。文中分别测量短输出和读完长文后的生成速度,也给出了仍在开发的 Transformers 改动,方便区分实验能力和正式版本。

原始资料