Fugu-MT 論文翻訳(概要): How Relevance Emerges: Interpreting LoRA Fine-Tuning in Reranking LLMs

論文の概要: How Relevance Emerges: Interpreting LoRA Fine-Tuning in Reranking LLMs

arxiv url: http://arxiv.org/abs/2504.08780v2
Date: Tue, 15 Apr 2025 07:59:02 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-16 22:08:19.402305
Title: How Relevance Emerges: Interpreting LoRA Fine-Tuning in Reranking LLMs
Title（参考訳）: LLMにおけるLoRAファインチューニングの解釈
Authors: Atharva Nijasure, Tanya Chowdhury, James Allan,
Abstract要約: 我々は,大規模言語モデルによる関連信号の学習と展開方法を理解するため,LoRAファインチューニングLLMの動作探索を行う。われわれは,LoRA変換のどの層と突起が精度を高める上で最も重要であるかを明らかにする。
参考スコア（独自算出の注目度）: 20.353393773305672
License:
Abstract: We conduct a behavioral exploration of LoRA fine-tuned LLMs for Passage Reranking to understand how relevance signals are learned and deployed by Large Language Models. By fine-tuning Mistral-7B, LLaMA3.1-8B, and Pythia-6.9B on MS MARCO under diverse LoRA configurations, we investigate how relevance modeling evolves across checkpoints, the impact of LoRA rank (1, 2, 8, 32), and the relative importance of updated MHA vs. MLP components. Our ablations reveal which layers and projections within LoRA transformations are most critical for reranking accuracy. These findings offer fresh explanations into LoRA's adaptation mechanisms, setting the stage for deeper mechanistic studies in Information Retrieval. All models used in this study have been shared.
Abstract（参考訳）: 我々は,大規模言語モデルによる関連信号の学習と展開方法を理解するため,LoRAファインチューニングLLMの動作探索を行う。 Mistral-7B, LLaMA3.1-8B, Pythia-6.9B を多種多様な LoRA 構成下で微調整することにより, チェックポイント間の関係モデリング, LoRA ランク(1, 2, 8, 32) の影響, MHA と MLP コンポーネントの相対的重要性について検討した。 LoRA変換のどの層とプロジェクションが、精度を再評価する上で最も重要であるかを明らかにする。これらの発見は、LoRAの適応機構を新たに説明し、情報検索におけるより深い力学研究の舞台となる。この研究で使用されるすべてのモデルが共有されている。

関連論文リスト

How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM? [55.33467849079774]
ローランク適応(ローランク適応、LoRA)は、大規模言語モデルの更新やドメイン固有適応のための一般的かつ効率的な訓練手法である。これまでに学習した知識を損なうことなく, LoRA を用いて LLM に新たな事実を組み込む方法について検討した。
論文参考訳（メタデータ） (2025-02-20T12:31:03Z)
BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文参考訳（メタデータ） (2025-02-19T10:33:22Z)
RepLoRA: Reparameterizing Low-Rank Adaptation via the Perspective of Mixture of Experts [37.43961020113692]
低ランク適応 (LoRA) は、大規模基盤モデルを微調整するための強力な手法として登場した。本稿では,LoRAモデルとMixture of Expertsモデルとの関連性を検討することによって,ロラの理論解析を行う。
論文参考訳（メタデータ） (2025-02-05T10:03:09Z)
LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
論文参考訳（メタデータ） (2024-10-27T22:57:12Z)
MiLoRA: Efficient Mixture of Low-Rank Adaptation for Large Language Models Fine-tuning [9.91790333647256]
低ランク適応法(LoRA)とその混合実験法(MOE)は,高効率なパラメータ効率微調整法(PEFT)である。新規かつ効率的なLoRA変種であるMiLoRAを提案する。 MiLoRAは、各LoRAモジュールを専門家として考慮し、プロンプト対応のルーティング機構を採用することで、従来のMOEスタイルのLoRAメソッドと異なる。
論文参考訳（メタデータ） (2024-10-23T17:04:40Z)
Learning Attentional Mixture of LoRAs for Language Model Continual Learning [5.405488709294211]
Low-Rank Adaption (LoRA) を用いた細調整型大規模言語モデル (LLM) は,新しいタスクに対する継続的な学習に有効なアプローチとして広く認められている。 LLMに適した連続学習手法であるLoRA(Attentional Mixture of LoRAs, AM-LoRA)を提案する。
論文参考訳（メタデータ） (2024-09-29T08:34:54Z)
Merging LoRAs like Playing LEGO: Pushing the Modularity of LoRA to Extremes Through Rank-Wise Clustering [35.54018186415654]
Low-Rank Adaptation (LoRA) は、様々なドメインに最適化された大規模言語モデル(LLM)の一般的なテクニックとして登場した。 LoRA合成の既存の方法は、主に追加の訓練を必要とするタスク固有の適応に焦点を当てている。本稿では,LoRAにおける各ランクに対応するパラメータが独立単位として機能する最小意味単位(MSU)の概念を紹介する。我々は、異なるLoRAから$k$のクラスタにMSUをグループ化することで、ランクワイズパラメータクラスタリングを行うLoRA-LEGOフレームワークを提案する。
論文参考訳（メタデータ） (2024-09-24T15:08:41Z)
Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-24T05:24:41Z)
Mixture of LoRA Experts [87.50120181861362]
本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
論文参考訳（メタデータ） (2024-04-21T11:59:53Z)
ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models [8.251547772610301]
低ランク適応 (LoRA) の方法論を、低ランク適応 (AloRA) と呼ぶ革新的なアプローチに拡張する。まず,各ランクの重要度を効果的に推定できる新しい手法であるAB-LoRAを提案する。第2に、AB-LoRAによって導かれ、我々は徐々にLoRAのランクに多く負の影響を及ぼし、高いランクを必要とする重要なトランスフォーマーモジュールにローラの予算を割り当てる。
論文参考訳（メタデータ） (2024-03-24T15:09:55Z)
LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
論文参考訳（メタデータ） (2024-02-15T15:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。