論文の概要: Beyond Higher Rank: Token-wise Input-Output Projections for Efficient Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2510.23123v1
• Date: Mon, 27 Oct 2025 08:57:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 19:54:32.599893
• Title: Beyond Higher Rank: Token-wise Input-Output Projections for Efficient Low-Rank Adaptation
• Title（参考訳）: 高位を超える:効率的な低ランク適応のためのトークンワイド入力出力予測
• Authors: Shiwei Li, Xiandi Luo, Haozhao Wang, Xing Tang, Ziqiang Cui, Dugang Liu, Yuhua Li, Xiuqiang He, Ruixuan Li,
• Abstract要約: 低ランク適応 (LoRA) は、大規模言語モデル (LLM) で広く使われているパラメータ効率のよい微調整 (PEFT) 手法である。 標準的なLoRAでは、全ての入力トークンは同じ重みを共有し、同じ入力出力プロジェクションを実行する。 TopLoRAは入力トークンに応じてLoRA重みを動的に調整し、トークン単位の入力出力プロジェクションを学習する。
• 参考スコア（独自算出の注目度）: 30.618404778567776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank adaptation (LoRA) is a parameter-efficient fine-tuning (PEFT) method widely used in large language models (LLMs). LoRA essentially describes the projection of an input space into a low-dimensional output space, with the dimensionality determined by the LoRA rank. In standard LoRA, all input tokens share the same weights and undergo an identical input-output projection. This limits LoRA's ability to capture token-specific information due to the inherent semantic differences among tokens. To address this limitation, we propose Token-wise Projected Low-Rank Adaptation (TopLoRA), which dynamically adjusts LoRA weights according to the input token, thereby learning token-wise input-output projections in an end-to-end manner. Formally, the weights of TopLoRA can be expressed as $B\Sigma_X A$, where $A$ and $B$ are low-rank matrices (as in standard LoRA), and $\Sigma_X$ is a diagonal matrix generated from each input token $X$. Notably, TopLoRA does not increase the rank of LoRA weights but achieves more granular adaptation by learning token-wise LoRA weights (i.e., token-wise input-output projections). Extensive experiments across multiple models and datasets demonstrate that TopLoRA consistently outperforms LoRA and its variants. The code is available at https://github.com/Leopold1423/toplora-neurips25.
• Abstract（参考訳）: 低ランク適応 (LoRA) は、大規模言語モデル (LLM) で広く使われているパラメータ効率の良い微調整 (PEFT) 手法である。 LoRA は本質的に、入力空間の低次元出力空間への射影を、LoRA ランクによって決定される次元で記述する。 標準的なLoRAでは、全ての入力トークンは同じ重みを共有し、同じ入力出力プロジェクションを実行する。 これにより、トークン間の固有の意味的差異のため、LoRAがトークン固有の情報をキャプチャする能力を制限する。 この制限に対処するために、入力トークンに応じてLoRA重みを動的に調整し、トークン単位の入力出力プロジェクションをエンドツーエンドに学習するToken-wise Projected Low-Rank Adaptation (TopLoRA)を提案する。 正式には、TopLoRAの重みは$B\Sigma_X A$と表現でき、$A$と$B$はローランク行列(標準LoRAのように)、$\Sigma_X$は各入力トークン$X$から生成される対角行列である。 特に、TopLoRAはLoRA重みのランクを引き上げず、トークンワイドのLoRA重み(トークンワイドの入力出力プロジェクション)を学習することでより粒度の細かい適応を実現する。 複数のモデルとデータセットにわたる大規模な実験は、TopLoRAが一貫してLoRAとその変種を上回っていることを示している。 コードはhttps://github.com/Leopold1423/toplora-neurips25で公開されている。

関連論文リスト

• Activated LoRA: Fine-tuned LLMs for Intrinsics [6.057520371260868]
  Low-Rank Adaptation (LoRA) は、大規模基盤モデルの重みを微調整するための高効率なフレームワークとして登場した。 アクティベートされたLoRAは、aLoRAが呼び出された後、シーケンス内のトークンの重みにのみ適応するようにLoRAフレームワークを変更するアダプタアーキテクチャである。
  論文  参考訳（メタデータ） (2025-04-16T18:03:21Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks [72.88244322513039]
  LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。 動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。 6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2024-02-18T04:41:25Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。