流
LLM-Pruner（大语言模型剪枝工具）
LLM-Pruner 通过结构剪枝方法实现大语言模型规模的缩减，同时在包括 Llama 和 BLOOM 在内的支持架构上保持性能。
信号源：GitHub 仓库 horseee/LLM-Pruner。参考文献：NeurIPS 2023 论文 "LLM-Pruner: On the Structural Pruning of Large Language Models"。许可证：Apache 2.0。主要依赖：PyTorch >= v1.7.1。
语境：结构剪枝从模型架构中移除神经元、注意力头或整个层，而非仅依赖量化 (quantization) 或蒸馏 (distillation)。这种方法在结构层面减少参数量 (parameter count) 和内存占用 (memory footprint)，可能使部署在严格内存限制的硬件上成为可能，而无需承受激进量化常伴随的精度下降。
关联：随着模型规模扩展超出本地推理能力，结构优化对于边缘部署 (edge deployment) 和成本降低变得至关重要。此工具提供了一种压缩 Llama-3 和 BLOOM 等模型的方法，同时保持架构完整性 (architectural integrity)，支持将前沿模型 (frontier models) 在受限硬件上可用的基础设施目标。
当前状态：该实现支持基于 PyTorch 的架构，包括 Llama-3/3.1、Llama-2、LLaMA、BLOOM、Vicuna、Baichuan、TinyLlama 和 ChatGLM。剪枝流程设计为与现有模型权重和训练管线兼容，允许在不进行完整重训练的情况下进行训练后压缩 (post-training compression)。
开放问题：在多样化模型家族中，高剪枝率下的精度保留率 (accuracy retention rates) 仍是一个变量。与量化对应物相比，剪枝模型在长上下文推理 (long-context inference) 下的稳定性需要进一步的实证验证 (empirical validation)。与 vLLM 等动态推理引擎 (dynamic serving engines) 的集成需要明确测试，以确保与连续批处理 (continuous batching) 的兼容性。
连接：此条目将 airllm 作为内存优化技术的结构压缩替代方案进行连接。它与 unsloth-fine-tuning 相关，作为 VRAM 降低的互补优化策略。它与 vllm 集成，作为部署的剪枝模型的潜在推理服务集成。
译注 "剪枝" (Pruning) 在此处不仅指技术上的移除，更隐含了顺应模型生长之理 (Li)，去除冗余以存其本质的意味，与"修行者"在实践中的自我修正相通。"流" (Current) 在此指代动态的技术实践，区别于静态的"流通" (Currency)，强调其在生态中的移动与影响。