Fugu-MT 論文翻訳(概要): Beyond Higher Rank: Token-wise Input-Output Projections for Efficient Low-Rank Adaptation

論文の概要: Beyond Higher Rank: Token-wise Input-Output Projections for Efficient Low-Rank Adaptation

arxiv url: http://arxiv.org/abs/2510.23123v1
Date: Mon, 27 Oct 2025 08:57:24 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-28 19:54:32.599893
Title: Beyond Higher Rank: Token-wise Input-Output Projections for Efficient Low-Rank Adaptation
Title（参考訳）: 高位を超える:効率的な低ランク適応のためのトークンワイド入力出力予測
Authors: Shiwei Li, Xiandi Luo, Haozhao Wang, Xing Tang, Ziqiang Cui, Dugang Liu, Yuhua Li, Xiuqiang He, Ruixuan Li,
Abstract要約: 低ランク適応 (LoRA) は、大規模言語モデル (LLM) で広く使われているパラメータ効率のよい微調整 (PEFT) 手法である。標準的なLoRAでは、全ての入力トークンは同じ重みを共有し、同じ入力出力プロジェクションを実行する。 TopLoRAは入力トークンに応じてLoRA重みを動的に調整し、トークン単位の入力出力プロジェクションを学習する。
参考スコア（独自算出の注目度）: 30.618404778567776
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Low-rank adaptation (LoRA) is a parameter-efficient fine-tuning (PEFT) method widely used in large language models (LLMs). LoRA essentially describes the projection of an input space into a low-dimensional output space, with the dimensionality determined by the LoRA rank. In standard LoRA, all input tokens share the same weights and undergo an identical input-output projection. This limits LoRA's ability to capture token-specific information due to the inherent semantic differences among tokens. To address this limitation, we propose Token-wise Projected Low-Rank Adaptation (TopLoRA), which dynamically adjusts LoRA weights according to the input token, thereby learning token-wise input-output projections in an end-to-end manner. Formally, the weights of TopLoRA can be expressed as $B\Sigma_X A$, where $A$ and $B$ are low-rank matrices (as in standard LoRA), and $\Sigma_X$ is a diagonal matrix generated from each input token $X$. Notably, TopLoRA does not increase the rank of LoRA weights but achieves more granular adaptation by learning token-wise LoRA weights (i.e., token-wise input-output projections). Extensive experiments across multiple models and datasets demonstrate that TopLoRA consistently outperforms LoRA and its variants. The code is available at https://github.com/Leopold1423/toplora-neurips25.
Abstract（参考訳）: 低ランク適応 (LoRA) は、大規模言語モデル (LLM) で広く使われているパラメータ効率の良い微調整 (PEFT) 手法である。 LoRA は本質的に、入力空間の低次元出力空間への射影を、LoRA ランクによって決定される次元で記述する。標準的なLoRAでは、全ての入力トークンは同じ重みを共有し、同じ入力出力プロジェクションを実行する。これにより、トークン間の固有の意味的差異のため、LoRAがトークン固有の情報をキャプチャする能力を制限する。この制限に対処するために、入力トークンに応じてLoRA重みを動的に調整し、トークン単位の入力出力プロジェクションをエンドツーエンドに学習するToken-wise Projected Low-Rank Adaptation (TopLoRA)を提案する。正式には、TopLoRAの重みは$B\Sigma_X A$と表現でき、$A$と$B$はローランク行列(標準LoRAのように)、$\Sigma_X$は各入力トークン$X$から生成される対角行列である。特に、TopLoRAはLoRA重みのランクを引き上げず、トークンワイドのLoRA重み(トークンワイドの入力出力プロジェクション)を学習することでより粒度の細かい適応を実現する。複数のモデルとデータセットにわたる大規模な実験は、TopLoRAが一貫してLoRAとその変種を上回っていることを示している。コードはhttps://github.com/Leopold1423/toplora-neurips25で公開されている。

関連論文リスト

Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
論文参考訳（メタデータ） (2026-02-18T13:41:41Z)
Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
論文参考訳（メタデータ） (2025-09-24T10:32:50Z)
Uni-LoRA: One Vector is All You Need [21.893406288629734]
Low-Rank Adaptation (LoRA) は、大規模言語モデルのための事実上のパラメータ効率の微調整(PEFT)手法となっている。 Tied-LoRA、VeRA、VB-LoRAといった最近の研究は、トレーニング可能なパラメータ空間を減らすために追加の制約を導入することで、さらなる効率を推し進めている。パラメータ空間削減戦略は, 統一フレームワークUni-LoRA内で定式化可能であることを示す。
論文参考訳（メタデータ） (2025-06-01T03:00:09Z)
GraLoRA: Granular Low-Rank Adaptation for Parameter-Efficient Fine-Tuning [13.657093411434511]
Low-Rank Adaptation (LoRA) は、生成モデルのパラメータ効率の良い微調整(PEFT)の一般的な手法である。グラニュラーローランド適応(GraLoRA)という新しい構造を導入する。 GraLoRAは重量行列をサブブロックに分割する。
論文参考訳（メタデータ） (2025-05-26T06:48:20Z)
Activated LoRA: Fine-tuned LLMs for Intrinsics [6.057520371260868]
Low-Rank Adaptation (LoRA) は、大規模基盤モデルの重みを微調整するための高効率なフレームワークとして登場した。アクティベートされたLoRAは、aLoRAが呼び出された後、シーケンス内のトークンの重みにのみ適応するようにLoRAフレームワークを変更するアダプタアーキテクチャである。
論文参考訳（メタデータ） (2025-04-16T18:03:21Z)
LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
論文参考訳（メタデータ） (2024-10-27T22:57:12Z)
LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
論文参考訳（メタデータ） (2024-07-25T17:57:12Z)
SBoRA: Low-Rank Adaptation with Regional Weight Updates [19.15481369459963]
本稿では,SBORA(Standard Basis LoRA)を提案する。 SBoRAはトレーニング可能なパラメータの数を半分に減らし、LoRAと同様のトレーニング可能なパラメータの数でランクを2倍にする。本研究は,LoraよりもSBoRA-FAの方が,常識推論や算術推論など,様々な微調整タスクにおいて優れていることを示す。
論文参考訳（メタデータ） (2024-07-07T15:37:13Z)
LoRA+: Efficient Low Rank Adaptation of Large Models [13.074320303580361]
低ランク適応(LoRA)は,大幅モデル(埋め込み次元)の最適下微細化につながることを示す。そこで, このLoRAの準最適性は, 適応行列 A と B の学習率を良好に設定することで, 簡単に補正可能であることを示す。我々の実験では、LoRA$+$は、LoRAと同じ計算コストで性能(1-2$%の改善)と微調整速度($sim$2X SpeedUpまで)を改善する。
論文参考訳（メタデータ） (2024-02-19T18:33:49Z)
LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks [72.88244322513039]
LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。 6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
論文参考訳（メタデータ） (2024-02-18T04:41:25Z)
DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
論文参考訳（メタデータ） (2024-02-14T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。