微软 BitNet 1-bit 大语言模型 (LLM)

信号源 (Signal Source): opensourceprojects.dev (2026-03-13) 内容摘要 (Content summary): 推广通过 1-bit LLM 技术大幅降低 GPU 显存需求，使大语言模型 (LLM) 能在消费级硬件上本地运行。强调微软 BitNet 项目是这一方向的重要进展。

背景 (Context): 标准大语言模型 (LLM) 通常需 FP16 或 INT8 精度，消耗大量显存 (VRAM)（例如 70B 模型需 ~140GB+）。BitNet 利用三元权重量化 (1-bit)，相比 INT8 模型体积减少约 8 倍，相比 FP16 减少 16 倍。这一架构转变使得此前需数据中心 GPU 支持的模型能在消费级硬件上运行，契合边缘 (edge) 与本地推理 (local inference) 的广泛趋势。

关联 (Relevance): 本条目通过降低模型 (model) 访问的硬件门槛，支持 local-inference-baseline 回路 (circuit)。它减少了对云端 API 进行推理 (inference) 的依赖，通过提供可重新分发的模型权重 (weights) 路径，强化了 open-weights-commons 回路 (circuit)。该技术解决了当前限制前沿模型在私有或资源受限环境中采用的主要瓶颈 (memory)。

当前状态 (Current State): 微软已通过 GitHub 发布 BitNet 项目。实现重点在于兼容 1-bit 权重的推理引擎 (inference engine)。早期信号表明，尽管量化程度极高，其性能表现仍与 INT8 对应版本相当。该项目定位为对本地推理生态系统的开源 (open source) 贡献。

开放问题 (Open Questions): 在特定基准测试 (benchmarks) 上，1-bit 量化相比 INT8 如何影响推理 (reasoning) 能力？与现有的推理引擎 (serving engines) 如 vLLM 或 Ollama 的兼容性状态如何？1-bit 模型的训练 (training) 方法是否开源，还是仅有推理 (inference) 可用？在延迟 (latency) 与吞吐量 (throughput) 方面，这与 GPTQ 或 AWQ 等其他量化方法相比如何？

连接 (Connections): 本条目与 airllm 建立连接，作为减少本地推理 (local inference) 内存占用的并行努力。它依赖 ollama 等运行时 (runtimes) 在个人硬件上部署。通过使高参数模型无需专用基础设施即可访问，它强化了 local-inference-baseline 回路 (circuit)。通过提供无需专有 API 访问即可有效利用的开放权重 (open weights)，它贡献于 open-weights-commons 回路 (circuit)。

译注 (Translator's Note):

• 流 (current) vs 回路 (circuit): 在 Openflows 体系中，“流”指代动态的信号或数据流，而“回路”指代已闭合、稳定的模式或生态循环。本条目虽为“流”类型，但其价值在于强化既有的“回路”。
• 模型 (model) & 推理 (inference): 保留了英文术语以强调技术语境，特别是“推理”与“理” (li) 在词源上的关联，暗示技术运作遵循自然之理。
• 开放权重 (open weights): 强调权重的可获取性与可分发性，是“开放”概念在模型生态中的具体化，区别于仅仅开源代码。