論文の概要: LARA: Lightweight Adapters in the Residual Stream for Composable Adaptation and Alignment

• arxiv url: http://arxiv.org/abs/2607.28669v1
• Date: Sat, 25 Jul 2026 11:04:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 16:35:22.205468
• Title: LARA: Lightweight Adapters in the Residual Stream for Composable Adaptation and Alignment
• Title（参考訳）: LARA: 構成可能な適応とアライメントのための残留ストリームの軽量アダプタ
• Abstract要約: LARAは重量ではなく、凍ったモデルの残留流で作動する。 適応は凍結した基底と残留物であるため、LARAは推論で適用されるスケールを露出し、ベースと適応した振る舞いをスムーズに補間する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present LARA (Lightweight Additive Residual Adaptation), a method for efficient adaptation that operates in the residual stream of a frozen model rather than in its weights. Where LoRA adds an update of low rank to weight matrices, LARA reads the hidden state at a small set of layers and adds a correction of low rank back to the residual stream, leaving all base weights untouched. On a code fine-tuning task and on preference optimization (DPO), LARA matches LoRA at equal parameter counts. Because adaptation is a frozen base plus a residual, LARA exposes a scale γ, applied at inference, that interpolates smoothly between base and adapted behavior, a form of graded control that adaptation in weight space does not offer. Finally, because each behavior is a small residual module over a shared frozen base, many behaviors can be held resident at once and routed automatically per token. We place seven behaviors, six fine-tuned and one optimized for preference, on one frozen 1.5B model for roughly 33 MB of overhead, against one full model for each behavior. Because the base is untouched, behaviors are trained separately and selected per token rather than loaded on demand, which suits hosting many behaviors, and adding new ones, on a single model on a device.
• Abstract（参考訳）: 本稿では,LARA (Lightweight Additive Residual Adaptation) を提案する。 LoRAは重量行列に低ランクの更新を加えるが、LARAは小さな層で隠れた状態を読み出し、残ストリームに低ランクの補正を加え、すべてのベースウェイトに手を加えない。 コードファインチューニングタスクと優先度最適化(DPO)では、LARAはLoRAに等しいパラメータ数でマッチする。 適応は凍った基底と残留物であるため、LARAは推定時に適用されるスケールγを露出し、基底と適応した振る舞いをスムーズに補間する。 最後に、それぞれの振舞いは共有された凍結されたベース上の小さな残余モジュールであるため、多くの振舞いは一度に保持され、トークンごとに自動的にルーティングされる。 約33MBのオーバーヘッドに対して,1つの凍結1.5Bモデルに対して,動作毎に1つのフルモデルに対して,7つの動作,6つの微調整と1つの好みに最適化した1つの動作を配置する。 ベースがタッチされていないため、動作は必要に応じてロードされるのではなく、トークン毎に個別にトレーニングされ、選択される。

関連論文リスト

• LAARA: Layer-Aware Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning [13.12609725011405]
  低ランク適応はパラメータ効率の微調整に広く用いられている。 我々は、一様ランクの割り当てが基本的に準最適であることを理論的、実証的に示す。 ランクを動的に割り当てる検索不要のフレームワークであるLAARAを提案する。
  論文  参考訳（メタデータ） (2026-07-02T19:01:59Z)
• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• Learning When to Adapt [29.665123668818378]
  低ランク適応(LoRA)はパラメータ効率のよい微調整法として広く用いられている。 DiseLはLoRAモジュールを、個々のランク1コンポーネントに軽量な入力依存ゲートで拡張する。 DiseLは少数のパラメータのみを追加し、ローランク構造を保存する。
  論文  参考訳（メタデータ） (2026-05-18T18:51:24Z)
• Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
  我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-27T11:34:41Z)
• The Golden Subspace: Where Efficiency Meets Generalization in Continual Test-Time Adaptation [86.83038620308423]
  Continual Test-Time Adaptation (CTTA)は、ソースデータにアクセスすることなく、分散シフトの下でラベルなしのデータストリームへのオンライン適応を可能にすることを目的としている。 我々は,GOLD ( Guided Online Low-rank Directional Adaptation) を提案する。これは,Goldenサブスペースに機能を投影する軽量アダプタを用いて,サブスペースがAGOPを介して動的に更新される間に,コンパクトなスケーリングベクトルを学習する。
  論文  参考訳（メタデータ） (2026-03-23T12:48:38Z)
• Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。 勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
  論文  参考訳（メタデータ） (2026-02-18T13:41:41Z)
• LoFT: Low-Rank Adaptation That Behaves Like Full Fine-Tuning [5.980897761790243]
  フル微調整のように振る舞う新しいローランク適応法であるLoFTを紹介する。 LoFTはモデルの内部のダイナミクスを、すべてのモデルの重みを更新するものと整合させる。 実験的に、このアプローチはアダプタベースのチューニングとフル微調整の間のパフォーマンスギャップを著しく狭める。
  論文  参考訳（メタデータ） (2025-05-27T14:54:24Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• LoRA vs Full Fine-tuning: An Illusion of Equivalence [73.5303340531806]
  我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。 特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。 我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
  論文  参考訳（メタデータ） (2024-10-28T17:14:01Z)
• SARA: Singular-Value Based Adaptive Low-Rank Adaption [4.135688713311511]
  パラメータ効率のよい微細チューニング(PEFT)手法としてのLoRAは、推論オーバーヘッドを加算しないために広く用いられている。 本研究ではまず,各層の性能とランクの関係をSVDを用いて解析する。 これに基づいてSARA(Singular-Value Based Adaptive Low-Rank Adaption)を設計する。
  論文  参考訳（メタデータ） (2024-08-06T16:39:42Z)
• ConvLoRA and AdaBN based Domain Adaptation via Self-Training [4.006331916849688]
  マルチターゲットドメイン適応のための畳み込み低ランク適応(ConvLoRA)を提案する。 ConvLoRAはトレーニング済みのモデルウェイトを凍結し、畳み込み層にトレーニング可能な低ランク分解行列を追加し、勾配をバックプロパゲートする。 提案手法はトレーニング可能なパラメータを少なくし,大規模独立微調整ネットワークと同等あるいは同等に動作する。
  論文  参考訳（メタデータ） (2024-02-07T15:43:50Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• NOLA: Compressing LoRA using Linear Combination of Random Basis [22.76088132446952]
  我々は、ロラに存在するランク1の下界を克服するNOLAを導入する。 NOLAは、ランク1のLoRAと比較してパラメータ数がはるかに少ないLoRAモデルと同様に、最高の圧縮LoRAをアーカイブできる。
  論文  参考訳（メタデータ） (2023-10-04T03:30:24Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。