論文の概要: W2T: LoRA Weights Already Know What They Can Do

• arxiv url: http://arxiv.org/abs/2603.15990v1
• Date: Mon, 16 Mar 2026 23:01:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:07.032056
• Title: W2T: LoRA Weights Already Know What They Can Do
• Title（参考訳）: W2T:LoRAは自分ができることをすでに知っている
• Authors: Xiaolong Han, Ferrante Neri, Zijian Jiang, Fang Wu, Yanfang Ye, Lu Yin, Zehong Wang,
• Abstract要約: QR分解により各LoRA更新を正準形式にマッピングする手法を提案する。 生成されたコンポーネントはトークン化され、Transformerによって処理され、重み空間の埋め込みを生成する。 言語と視覚のLoRAコレクション全体にわたって、W2Tは分類、性能予測、アダプタ検索において強力な結果を得る。
• 参考スコア（独自算出の注目度）: 27.25969992553623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Each LoRA checkpoint compactly stores task-specific updates in low-rank weight matrices, offering an efficient way to adapt large language models to new tasks and domains. In principle, these weights already encode what the adapter does and how well it performs. In this paper, we ask whether this information can be read directly from the weights, without running the base model or accessing training data. A key obstacle is that a single LoRA update can be factorized in infinitely many ways. Without resolving this ambiguity, models trained on the factors may fit the particular factorization rather than the underlying update. To this end, we propose \methodfull, which maps each LoRA update to a provably canonical form via QR decomposition followed by SVD, so that all equivalent factorizations share the same representation. The resulting components are then tokenized and processed by a Transformer to produce a weight-space embedding. Across language and vision LoRA collections, W2T achieves strong results on attribute classification, performance prediction, and adapter retrieval, demonstrating that LoRA weights reliably indicate model behavior once factorization ambiguity is removed. Code is available at https://github.com/xiaolonghan2000/Weight2Token.
• Abstract（参考訳）: 各LoRAチェックポイントは、タスク固有の更新を低ランクの重み付け行列にコンパクトに格納し、大きな言語モデルを新しいタスクやドメインに適応する効率的な方法を提供する。 原則として、これらの重みはすでにアダプタの動作と性能をコード化しています。 本稿では,ベースモデルを実行したり,トレーニングデータにアクセスしたりすることなく,重みからこの情報を直接読み取ることができるかどうかを問う。 重要な障害は、単一のLoRA更新を無限に多くの方法で分解できることだ。 この曖昧さを解決せずに、これらの要因に基づいてトレーニングされたモデルは、基盤となる更新よりも特定の要因化に適合する可能性がある。 この目的のために,各 LoRA 更新を QR 分解に続いて SVD による証明可能な正準形式にマッピングする \methodfull を提案する。 生成されたコンポーネントはトークン化され、Transformerによって処理され、重み空間の埋め込みを生成する。 言語と視覚のLoRAコレクション全体にわたって、W2Tは属性分類、性能予測、アダプタ検索において強力な結果を達成し、因数分解の曖昧さが除去されると、LoRAの重みがモデルの振る舞いを確実に示すことを示した。 コードはhttps://github.com/xiaolonghan2000/Weight2Token.comから入手できる。

関連論文リスト

• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• Activated LoRA: Fine-tuned LLMs for Intrinsics [6.057520371260868]
  Low-Rank Adaptation (LoRA) は、大規模基盤モデルの重みを微調整するための高効率なフレームワークとして登場した。 アクティベートされたLoRAは、aLoRAが呼び出された後、シーケンス内のトークンの重みにのみ適応するようにLoRAフレームワークを変更するアダプタアーキテクチャである。
  論文  参考訳（メタデータ） (2025-04-16T18:03:21Z)
• LoRA Soups: Merging LoRAs for Practical Skill Composition Tasks [73.09643674975591]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)のパラメータ効率の高い微調整手法である。 異なるLoRAモジュールをマージして,スキルコンポジションを実現する方法について検討する。
  論文  参考訳（メタデータ） (2024-10-16T20:33:06Z)
• LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks [72.88244322513039]
  LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。 動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。 6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2024-02-18T04:41:25Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)
• Robust Weight Signatures: Gaining Robustness as Easy as Patching Weights? [81.77457373726736]
  一つのタイプの分散シフトに対して回復力を持つように訓練されたロバストモデルを考えると、モデルの重みに「ロバスト性」がエンコードされているのはなぜか? クリーンデータでトレーニングされたモデルと事前抽出したRWSを併用した,最小限のモデルロバスト性「パッチング」フレームワークを提案する。 このように、モデルにある種のロバスト性を注入すると、対応するRWSをその重みに直接追加する。
  論文  参考訳（メタデータ） (2023-02-24T06:44:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。