Fugu-MT 論文翻訳(概要): The Emergence of Relevance Through Axiomatic Attention Patterns During LoRA Fine-Tuning

論文の概要: The Emergence of Relevance Through Axiomatic Attention Patterns During LoRA Fine-Tuning

arxiv url: http://arxiv.org/abs/2608.23338v1
Date: Mon, 24 Aug 2026 14:48:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-25 13:29:44.157738
Title: The Emergence of Relevance Through Axiomatic Attention Patterns During LoRA Fine-Tuning
Title（参考訳）: LoRAファインチューニングにおける軸方向の注意パターンによる関連性の検討
Abstract要約: RankLLaMAのLoRAアテンション更新によってパフォーマンスが向上し、それらが関連性指向のアテンションパターンと一致するかどうかを確認する。ネットワーク全体にLoRAの微調整を施すと、LoRAのアテンション更新をコンパクトな中間ネットワーク領域に制限することは、すべてのアテンション層にLoRAを適用することで得られる性能の半分以上を回復するのに十分である。また,LoRAの適用が性能に最も影響を及ぼす領域は,微調整が軸方向のIR特徴に注意を向ける領域であることを示す。
参考スコア（独自算出の注目度）: 9.210588331263503
License: http://creativecommons.org/licenses/by/4.0/
Abstract: LoRA fine-tuning is standard for adapting LLMs to reranking, but it remains unclear where in the network task-specific relevance behavior is learned and what attention-level changes accompany that learning. Through ablation and attention experiments, we identify where LoRA attention updates to RankLLaMA improve performance and whether those gains coincide with interpretable relevance-oriented attention patterns such as lexical matching, rarity sensitivity, and query-document interaction. We find that given LoRA fine-tuned MLPs throughout the network, restricting LoRA attention updates to a compact mid-network region is sufficient for recovering over half of the performance gained by applying LoRA to all attention layers, and that omitting attention fine-tuning in this region hurts performance more than elsewhere in the network. Additionally, we show that regions where applying LoRA affects performance the most overlap with regions where fine-tuning increased attention to axiomatic IR features. Rarity sensitivity, document-query interaction, and several compositional features are highly correlated with gains in ranking performance. Our results support an interpretable, correlational account of how relevance-oriented behavior emerges during LoRA fine-tuning and point toward improved strategies for adapting rerankers.
Abstract（参考訳）: LoRAファインタニングはLLMに適応するためには標準的な方法であるが、ネットワークタスク固有の関連行動がどこで学習され、その学習に伴う注意レベルの変化がどのようなものかは、まだ不明である。アブレーションとアテンション実験により,LoRA による RankLLaMA のアテンション更新により性能が向上し,それらが語彙マッチング,ラリティ感度,クエリ文書間相互作用などの解釈可能な関連性指向のアテンションパターンと一致するかどうかを同定した。ネットワーク全体にわたってLoRAの微調整を施すことにより、LoRAの注目更新をコンパクトな中間ネットワーク領域に制限することは、LoRAをすべての注意層に適用することによって得られる性能の半分以上を回復するのに十分であり、ネットワーク内の他の部分よりもパフォーマンスを損なうことが判明した。さらに,LoRAの適用が性能に最も影響を及ぼす領域は,微調整が軸方向のIR特徴に注意を向ける領域であることを示す。 Rarity sensitivity, document-query Interaction, and several compositional features is highly correlation with gains in ranking performance。本研究は,LoRA微調整中に関係性指向行動がどのように出現するかを解釈的・相関的に記述し,リランカーの適応戦略の改善を目指している。

関連論文リスト

Preference-Aligned LoRA Merging: Preserving Subspace Coverage and Addressing Directional Anisotropy [50.63908869296697]
複数のローランド適応(LoRA)モジュールを統合することで汎用システムの構築が期待できる。優先重み付きクロスエントロピー擬似空間を用いて重みを重み付けするTARA-Mergingを提案する。 8つのビジョンと6つのNLIベンチマークで、TARA-MergingはバニラとLoRA対応のベースラインを一貫して上回っている。
論文参考訳（メタデータ） (2026-03-27T11:07:46Z)
DiffLoRA: Differential Low-Rank Adapters for Large Language Models [59.58987161199141]
本稿では,差分アテンション機構のパラメータ効率を考慮したDiffLoRAを提案する。我々はDiffLoRAを、一般的なベンチマーク、多ショットインコンテキスト学習、RAG、長期コンテキストテストなど、幅広いNLPタスクで評価する。
論文参考訳（メタデータ） (2025-07-31T14:24:59Z)
Two Is Better Than One: Rotations Scale LoRAs [26.617019830475172]
Low-Rank Adaptation (LoRA)ベースのMixture-of-Experts (MoE)は、大規模言語モデル(LLM)が多様なタスクに効率的に適応できるようにする。入力を最良の専門家にルーティングする従来のゲーティングメカニズムは、LLMのスケーラビリティを根本的に阻害する可能性がある。本稿では,ロラス表現の回転操作を導入し,幾何学的に着想を得た新しいゲーティング手法であるRadarGateを提案する。
論文参考訳（メタデータ） (2025-05-29T07:22:43Z)
How Relevance Emerges: Interpreting LoRA Fine-Tuning in Reranking LLMs [20.353393773305672]
我々は,大規模言語モデルによる関連信号の学習と展開方法を理解するため,LoRAファインチューニングLLMの動作探索を行う。われわれは,LoRA変換のどの層と突起が精度を高める上で最も重要であるかを明らかにする。
論文参考訳（メタデータ） (2025-04-05T06:16:43Z)
Not All LoRA Parameters Are Essential: Insights on Inference Necessity [36.65493658174926]
そこで本研究では,各LoRA層がモデルの性能に与える影響について検討する。本稿では,LoRAで微調整された大規模言語モデルの性能を向上させるための,シンプルで効果的な手法を提案する。
論文参考訳（メタデータ） (2025-03-30T08:33:04Z)
BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文参考訳（メタデータ） (2025-02-19T10:33:22Z)
Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.053604713064544]
Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
論文参考訳（メタデータ） (2025-01-25T06:56:39Z)
Learning Attentional Mixture of LoRAs for Language Model Continual Learning [5.405488709294211]
Low-Rank Adaption (LoRA) を用いた細調整型大規模言語モデル (LLM) は,新しいタスクに対する継続的な学習に有効なアプローチとして広く認められている。 LLMに適した連続学習手法であるLoRA(Attentional Mixture of LoRAs, AM-LoRA)を提案する。
論文参考訳（メタデータ） (2024-09-29T08:34:54Z)
Mixture of LoRA Experts [87.50120181861362]
本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
論文参考訳（メタデータ） (2024-04-21T11:59:53Z)
LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
論文参考訳（メタデータ） (2024-02-15T15:02:46Z)
DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
論文参考訳（メタデータ） (2024-02-14T17:59:34Z)
Facial Action Unit Detection via Adaptive Attention and Relation [40.34933431651346]
本稿では,顔AU検出のための新しいアダプティブ・アダプティブ・アテンション・アンド・リレーション(AAR)フレームワークを提案する。具体的には,アダプティブ・アダプティブ・アダプティブ・アダスト・レグレッション・ネットワークを提案し,アダプティブ・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダスト・アダストディションの制約の下で各AUのグローバル・アダスト・マップを回帰する。 AUの多様性と動的性を考慮して,各AUの独立パターン,AU間の相互依存性,および時間依存性を同時に推論する適応時間グラフネットワークを提案する。
論文参考訳（メタデータ） (2020-01-05T05:14:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。