論文の概要: Mechanistic Fine-tuning for In-context Learning

• arxiv url: http://arxiv.org/abs/2505.14233v1
• Date: Tue, 20 May 2025 11:41:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.140995
• Title: Mechanistic Fine-tuning for In-context Learning
• Title（参考訳）: インコンテキスト学習のためのメカニスティックファインタニング
• Authors: Hakaze Cho, Peng Luo, Mariko Kato, Rin Kaenbyou, Naoya Inoue,
• Abstract要約: In-context Learning (ICL) は、本来ICLスタイルのデータに基づいて事前訓練されていない言語モデル (LM) 上の少数ショット学習を誘導する。 ICLと事前学習のギャップを埋めるために、計算コストの大きいエンドツーエンドパラダイムを用いて、大規模なICLスタイルのデータセット上での微調整LMにアプローチするものもある。 本稿では,アテンション行動ファインタニング(ABFT)を提案し,アテンションスコアを最終的な出力ではなく,適切なラベルトークンに集中させる。
• 参考スコア（独自算出の注目度）: 3.8645776186425755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context Learning (ICL) utilizes structured demonstration-query inputs to induce few-shot learning on Language Models (LMs), which are not originally pre-trained on ICL-style data. To bridge the gap between ICL and pre-training, some approaches fine-tune LMs on large ICL-style datasets by an end-to-end paradigm with massive computational costs. To reduce such costs, in this paper, we propose Attention Behavior Fine-Tuning (ABFT), utilizing the previous findings on the inner mechanism of ICL, building training objectives on the attention scores instead of the final outputs, to force the attention scores to focus on the correct label tokens presented in the context and mitigate attention scores from the wrong label tokens. Our experiments on 9 modern LMs and 8 datasets empirically find that ABFT outperforms in performance, robustness, unbiasedness, and efficiency, with only around 0.01% data cost compared to the previous methods. Moreover, our subsequent analysis finds that the end-to-end training objective contains the ABFT objective, suggesting the implicit bias of ICL-style data to the emergence of induction heads. Our work demonstrates the possibility of controlling specific module sequences within LMs to improve their behavior, opening up the future application of mechanistic interpretability.
• Abstract（参考訳）: In-context Learning (ICL) は、構造化されたデモクエリー入力を用いて言語モデル(LM)上の少数ショット学習を誘導する。 ICLと事前学習のギャップを埋めるために、計算コストの大きいエンドツーエンドパラダイムを用いて、大規模なICLスタイルのデータセット上での微調整LMにアプローチするものもある。 このようなコストを削減するため、本論文では、ICLの内部機構に関する以前の知見を利用して、最終的な出力ではなく、注意スコアに基づくトレーニング目標を構築し、注意スコアをコンテキストに提示された適切なラベルトークンに集中させ、間違ったラベルトークンからの注意スコアを緩和する、ABFT(Attention Behavior Fine-Tuning)を提案する。 現代の9つのLMと8つのデータセットに対する実験により、ABFTは従来の手法に比べて0.01%程度のデータコストで、性能、堅牢性、不偏性、効率に優れていたことが実証的に判明した。 さらに,本分析の結果から,エンド・ツー・エンドのトレーニング対象にはABFTの対象が含まれており,インダクションヘッドの出現に対するICL形式のデータの暗黙的偏見が示唆されている。 本研究は、LM内の特定のモジュール配列を制御し、それらの振る舞いを改善する可能性を示し、機械的解釈可能性の今後の応用を開拓するものである。

関連論文リスト

• Illusion or Algorithm? Investigating Memorization, Emergence, and Symbolic Processing in In-Context Learning [48.67380502157004]
  大規模トランスフォーマー言語モデル(LM)は、Webスケールデータによる次世代の予測のみを訓練することで、幅広いタスクを解決できる。 この能力の背後にあるメカニズムは、ICL(In-context Learning)と呼ばれ、議論の余地があり、理解が不十分なままである。
  論文  参考訳（メタデータ） (2025-05-16T08:50:42Z)
• LLM Unlearning Reveals a Stronger-Than-Expected Coreset Effect in Current Benchmarks [23.5632914682956]
  大規模言語モデルアンラーニングは、安全性と制御モデル行動を保証する上で重要な課題となっている。 LLMのアンラーニングは、かなり小さなサブセット(コアセットとして機能する)で効果的に維持可能であることを示す。 これは、非常に低データ状態であっても、これらのベンチマークでのLLMアンラーニングが驚くほど容易に実行可能であることを示唆している。
  論文  参考訳（メタデータ） (2025-04-14T12:38:37Z)
• Don't Take Things Out of Context: Attention Intervention for Enhancing Chain-of-Thought Reasoning in Large Language Models [32.71672086718058]
  CoT (Few-shot Chain-of-Thought) は大規模言語モデル (LLM) の推論能力を著しく向上させる 我々は、COTのデモで分離されたセグメント、単語、トークンが、予期せずLCMの生成過程を乱す可能性があることを観察する。 デモの注意パターンを動的に解析し,これらのトークンを正確に識別するFew-shot Attention Intervention法(FAI)を提案する。
  論文  参考訳（メタデータ） (2025-03-14T07:46:33Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Feature-Adaptive and Data-Scalable In-Context Learning [36.01997148676005]
  FADS-ICLは、機能適応型でデータスケーリング可能なコンテキスト内学習フレームワークである。 タスク適応機能を活用して、下流タスクの推論を促進することができる。 FADS-ICLは従来の最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-05-17T12:32:53Z)
• Improving Input-label Mapping with Demonstration Replay for In-context Learning [67.57288926736923]
  In-context Learning (ICL)は、大規模な自己回帰言語モデルの出現する能力である。 Sliding Causal Attention (RdSca) と呼ばれる新しいICL法を提案する。 ICL実験において,本手法は入力ラベルマッピングを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-10-30T14:29:41Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• Understanding In-Context Learning via Supportive Pretraining Data [55.648777340129364]
  In-context Learning (ICL)は、推論時にいくつかの例を示すだけで、様々なNLPタスクにおける言語モデルの性能を改善する。 ICLの能力がなぜ出現するかはよく分かっていないが、モデルがそのようなデモで特別に訓練されたことはない。 我々の研究は、インスタンスレベルの事前学習データを分析して、ICLを理解するための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2023-06-26T22:14:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。