論文の概要: New LoRA Skills Should Read but Never Write

• arxiv url: http://arxiv.org/abs/2609.31600v1
• Date: Fri, 25 Sep 2026 17:54:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.528699
• Title: New LoRA Skills Should Read but Never Write
• Title（参考訳）: 新しいLoRAスキルは読むべきだが書くべきでない
• Abstract要約: 低ランクのアダプタは、タスク毎に大きな言語モデルを微調整するコストを安くする。 しかし、独立に訓練されたアダプタを1つのモデルに組み込むことは依然として困難である。 READ(Read-only Expansion of Delta Adapters)を導入し、両方の選択肢を修正します。
• 参考スコア（独自算出の注目度）: 13.46422297363417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank adapters (LoRA) make it cheap to fine-tune a large language model once per task, but combining several independently trained adapters into one model remains difficult: merging the updates in weight space causes interference, retraining on all task data is expensive, and routing between separate adapters gives up the goal of a single combined model. We trace the difficulty to two choices that every composition method makes implicitly. A LoRA update admits infinitely many equivalent factorizations; the choice among them is invisible while an adapter serves alone, but it determines what a learned interaction between adapters can see. A coupling between an old skill and a new one can likewise point in either direction, and the direction decides whether the old skills keep computing what they computed before. We introduce READ (Read-only Expansion of Adapter Deltas), which fixes both choices: each adapter is rewritten into a balanced canonical form that preserves its update exactly, and the coupling grows in one direction only, so a new skill can read the input subspaces of old skills but cannot write into their output subspaces. The only trainable object at each append is the new skill's row of the coupling matrix, and the composed update folds into the base weights with no inference cost, routing, or task-specific rules. We evaluate READ across four benchmark suites and two model families, adding skills one at a time. Across several families, READ improves every suite average over the strongest published baselines built from the same adapters---by more than twenty points on SuperGLUE and more than seven points on the domain suite---and nearly all complete addition sequences end above every direct baseline. Factor coordinates and coupling direction, which a lone adapter never exposes, are what decide whether composed skills survive.
• Abstract（参考訳）: ローランクアダプタ(LoRA)は、タスク毎に1回、大きな言語モデルを微調整するコストを安くするが、独立に訓練されたいくつかのアダプタを1つのモデルに統合することは、依然として困難である。 我々は、各構成法が暗黙的に行う2つの選択に難しさを辿る。 アダプタが単独で動作する間、それらの選択は見えないが、アダプタ間の学習された相互作用が何を見るかを決定する。 古いスキルと新しいスキルの結合は、どちらの方向にも同様に指すことができ、その方向は、古いスキルが以前計算したことを計算し続けるかどうかを決定する。 私たちはREAD(Read-only Expansion of Adapter Deltas)を導入し、それぞれのアダプタは更新を正確に保存するバランスの取れた標準形式に書き換えられ、結合は1方向にのみ成長するので、新しいスキルは古いスキルの入力サブスペースを読み取ることができるが、出力サブスペースに書き込むことはできない。 各アタッチメントで唯一トレーニング可能なオブジェクトは結合マトリックスの新しいスキルの行であり、合成された更新は推論コスト、ルーティング、タスク固有のルールなしでベースウェイトに折り畳まれる。 4つのベンチマークスイートと2つのモデルファミリーでREADを評価し、一度に1つのスキルを追加します。 いくつかのファミリで、READは、同じアダプタから構築された最強のベースライン(SuperGLUEで20ポイント以上、ドメインスイートで7ポイント以上、そしてほぼすべての完全な追加シーケンス)に対して、すべてのスイート平均を改善します。 要素座標と結合方向は、単独のアダプタが決して公開しないもので、構成されたスキルが生き残るかどうかを決定する。

関連論文リスト

• W2T: LoRA Weights Already Know What They Can Do [27.25969992553623]
  QR分解により各LoRA更新を正準形式にマッピングする手法を提案する。 生成されたコンポーネントはトークン化され、Transformerによって処理され、重み空間の埋め込みを生成する。 言語と視覚のLoRAコレクション全体にわたって、W2Tは分類、性能予測、アダプタ検索において強力な結果を得る。
  論文  参考訳（メタデータ） (2026-03-16T23:01:00Z)
• CL-LoRA: Continual Low-Rank Adaptation for Rehearsal-Free Class-Incremental Learning [8.81873424028249]
  CIL (Class-Incremental Learning) は、学習した授業の知識を維持しつつ、新しいクラスを逐次学習することを目的としている。 我々は,textbftask-sharedアダプタを併用して,クロスタスク知識とtextbftask-specific Adapter を学習し,各タスクのユニークな特徴を捉えた新しいデュアルアダプタアーキテクチャを提案する。 CL-LoRAは、トレーニングと推論の計算を減らし、複数のベンチマークで常に有望な性能を達成することを実証する。
  論文  参考訳（メタデータ） (2025-05-30T17:19:52Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• MerA: Merging Pretrained Adapters For Few-Shot Learning [71.44422347502409]
  モデル融合により,事前学習したアダプタを単一モデルに効率的に組み込むことができるtextbftextttMerging Pretrained Adapters (MerA)を提案する。 2つのPLMの実験では、MerAはシングルアダプタとAdapterFusionの両方と比較して大幅に改善されている。
  論文  参考訳（メタデータ） (2023-08-30T12:10:17Z)
• AdapterSoup: Weight Averaging to Improve Generalization of Pretrained Language Models [127.04370753583261]
  事前訓練された言語モデル(PLM)は、大規模なコーパスで訓練されるが、しばしば特定のドメインに特化する必要がある。 解決策は、テスト時に新しいドメインに関連ドメインアダプタを使用することである。 本稿では、異なるドメインでトレーニングされたアダプタの重量空間平均化を行うAdapterSoupを紹介する。
  論文  参考訳（メタデータ） (2023-02-14T13:09:23Z)
• AdaMix: Mixture-of-Adapter for Parameter-efficient Tuning of Large Language Models [119.7093605087114]
  大規模なトレーニング済み言語モデルをダウンストリームタスクに微調整するには、数億のパラメータを更新する必要がある。 これにより、各タスクのモデルの重みの大量コピーを格納するためのサービスコストが増大するだけでなく、数発のタスク適応中に不安定を示す。 パラメータや計算コストを2つの重要な手法で増大させることなく、アダプタ容量を改善するための新しいメカニズムを導入する。
  論文  参考訳（メタデータ） (2022-05-24T23:41:22Z)
• Composable Sparse Fine-Tuning for Cross-Lingual Transfer [56.86192078426372]
  事前学習されたモデルのパラメータを微調整することが、伝達学習の主流のアプローチとなっている。 本稿では,これら2つの望ましい特性を持つファインチューニング手法を提案する。 これは、ゼロショットのクロスランガル転送において、大きなマージンでアダプタを上回ります。
  論文  参考訳（メタデータ） (2021-10-14T17:27:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。