定义：LoRA（Low-Rank Adaptation，低秩适应）是一种参数高效微调技术，通过在冻结原始模型权重的同时训练一小部分额外参数，将大型预训练AI模型适配到新任务。它让开发者能够低成本、快速地定制大型模型，而无需重新训练整个网络。
LoRA 的含义
现代AI模型，如大型语言模型（LLM）和图像生成器，包含数十亿内部值，称为参数或“权重”。传统上，将这类模型适配到特定任务意味着全参数微调：更新每一个权重。这种方式成本高昂、速度缓慢，且每个任务都会产生一个完整大小的模型副本。
LoRA 采用了不同的方法。它冻结原始权重，并在其旁边插入小型可训练矩阵。该技术依赖于2021年提出它的研究论文中的一个关键观察：模型专业化所需的调整通常具有“低内在秩”。通俗地说，这种变化可以通过将两个小得多的矩阵相乘来近似，而不是学习一个巨大的更新。
结果是，只需训练极小部分新参数——通常比全参数微调少数千倍——而模型的主体保持不变。这些小型训练文件通常被称为“LoRA适配器”。
为何重要
LoRA 降低了定制大型模型的门槛。由于适配器体积小且基础模型被冻结，原本需要高端硬件集群的微调现在可以在单个消费级或工作站GPU上运行。适配器通常只有几兆字节，因此易于存储、分享和交换。
这种效率重塑了开源AI工作流程。社区现在共享数千个针对图像模型的LoRA适配器，企业维护着任务特定适配器库，用于一个共享的基础模型，而不是托管多个完整副本。
示例
- 简单示例：爱好者下载图像生成模型的小型LoRA文件，使其能可靠地绘制特定艺术风格、角色或产品，而不会改动基础模型。
- 中级示例：一家公司通过在其自有文档上训练LoRA适配器，使开放大型语言模型以其品牌声音回应并回答产品相关问题，而无需微调完整模型。
- 高级示例：研究人员使用QLoRA（一种将4位量化与LoRA结合的变体）在单个GPU上微调数十亿参数的模型，大幅降低内存使用同时保持大部分质量。
实用案例
- 商业：通过将通用模型适配到内部术语和政策，构建领域专用助手（法律、医疗、金融）。
- 市场营销：使用品牌调优适配器生成一致的品牌文案、广告变体和产品描述。
- 内容创作：通过可共享的风格适配器在图像生成工具中制作自定义视觉风格、角色或标志。
- 软件开发：针对团队内部库、命名约定和编码标准定制代码生成模型。
- 客户支持：根据历史工单和知识库文章训练支持助手，使回答符合公司政策。
- 研究：跨任务运行大量快速、低成本的微调实验，而无需每次存储完整模型副本。
- 自动化：维护一个可交换适配器库，使一个托管的基础模型能按需服务于许多专业化工作流程。
优势
- 高效：训练极小部分参数，降低计算、时间和内存成本。
- 轻量存储：适配器通常只有几兆字节，而完整模型则需要吉字节。
- 模块化且可交换：多个适配器可保留并在一个共享基础模型上加载。
- 合并后无额外推理延迟：训练好的LoRA可以合并回基础权重，因此部署的模型以正常速度运行。
- 易于使用：使在普通硬件上进行微调成为可能，拓宽了能够定制模型的人群。
- 保留基础模型：由于原始权重保持冻结，模型的通用能力不太可能退化。
局限性
- 可能不如全参数微调：对于某些复杂任务或巨大的分布偏移，全参数微调仍可能产生更高质量。
- 需要调整选择：“秩”以及要适配哪些层是影响结果的超参数，需要实验。
- 质量受基础模型限制：LoRA适配现有知识；它不能添加基础模型从根本上缺乏的能力。
- 适配器管理开销：维护和版本化大量适配器会带来自身的操作复杂性。
- 组合适配器可能互相干扰：堆叠多个LoRA时，如果效果冲突，可能产生不可预测的结果。
- 常见误解：LoRA并非“从头开始教导模型”——它是在预训练基础上分层的目标调整。
相关术语
- 微调——在任务特定数据上进一步训练预训练模型。
- 参数高效微调（PEFT）——包括LoRA在内的更广泛方法家族，仅更新少量参数。
- QLoRA——一种将LoRA与模型量化结合的省内存变体。
- 量化——降低权重的数值精度以节省内存并加速模型。
- 迁移学习——将一个已训练模型的知识复用于相关任务。
- 基础模型——经过广泛训练的大型模型，可适配到许多下游任务。
- 大型语言模型（LLM）——在文本上训练以理解和生成语言的模型。
- 适配器——插入冻结模型中的小型可训练模块。
- 超参数——在训练前设置的配置值，例如秩。
- Stable Diffusion——一种流行的图像生成模型，经常使用LoRA适配器进行定制。
常见问题
LoRA 代表什么？
LoRA代表“低秩适应”（Low-Rank Adaptation）。请注意，拼写相似的“LoRa”（长距离）是一种无关的低功耗无线通信技术；本词条介绍的是AI微调方法。
LoRA 与微调相同吗？
LoRA是微调的一种类型。具体来说，它属于参数高效微调（PEFT）家族。它不是更新模型的所有权重，而是在保持原始权重冻结的同时训练少量添加的参数。
LoRA 会使模型运行变慢吗？
不一定。训练后，LoRA适配器可以合并到基础模型的权重中，因此部署的模型以正常速度运行。如果适配器保持分离以便交换，它只在推理期间增加少量计算。
什么是 QLoRA，有何不同？
QLoRA是一种变体，它以较低精度（量化）格式加载冻结的基础模型，然后在其上应用LoRA。这进一步降低了内存需求，使得在单个GPU上微调非常大的模型成为可能。
关键要点
- LoRA（低秩适应）通过训练一小部分添加的参数同时冻结原始权重，来定制大型预训练AI模型。
- 与全参数微调相比，它的存储成本更低、速度更快、体积更轻，适配器易于共享和交换。
- 它广泛应用于商业助手、市场营销、图像生成、代码工具和客户支持等领域。
- 它是一种参数高效微调形式，而非从头开始的训练方法，其质量受到底层基础模型的限制。
