論文の概要: Mechanistic Fine-tuning for In-context Learning

• arxiv url: http://arxiv.org/abs/2505.14233v2
• Date: Sat, 27 Sep 2025 12:52:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 20:10:04.329893
• Title: Mechanistic Fine-tuning for In-context Learning
• Title（参考訳）: インコンテキスト学習のためのメカニスティックファインタニング
• Authors: Hakaze Cho, Peng Luo, Mariko Kato, Rin Kaenbyou, Naoya Inoue,
• Abstract要約: In-context Learning (ICL) は、本来ICLスタイルのデータに基づいて事前訓練されていない言語モデル (LM) 上の少数ショット学習を誘導する。 ICLと事前学習のギャップを埋めるために、計算コストの大きいエンドツーエンドパラダイムを用いて、大規模なICLスタイルのデータセット上での微調整LMにアプローチするものもある。 本稿では,アテンション行動ファインタニング(ABFT)を提案し,アテンションスコアを最終的な出力ではなく,適切なラベルトークンに集中させる。
• 参考スコア（独自算出の注目度）: 9.323350140914922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context Learning (ICL) utilizes structured demonstration-query inputs to induce few-shot learning on Language Models (LMs), which are not originally pre-trained on ICL-style data. To bridge the gap between ICL and pre-training, some approaches fine-tune LMs on large ICL-style datasets by an end-to-end paradigm with massive computational costs. To reduce such costs, in this paper, we propose Attention Behavior Fine-Tuning (ABFT), utilizing the previous findings on the inner mechanism of ICL, building training objectives on the attention scores instead of the final outputs, to force the attention scores to focus on the correct label tokens presented in the context and mitigate attention scores from the wrong label tokens. Our experiments on 9 modern LMs and 8 datasets empirically find that ABFT outperforms in performance, robustness, unbiasedness, and efficiency, with only around 0.01% data cost compared to the previous methods. Moreover, our subsequent analysis finds that the end-to-end training objective contains the ABFT objective, suggesting the implicit bias of ICL-style data to the emergence of induction heads. Our work demonstrates the possibility of controlling specific module sequences within LMs to improve their behavior, opening up the future application of mechanistic interpretability.
• Abstract（参考訳）: In-context Learning (ICL) は、構造化されたデモクエリー入力を用いて言語モデル(LM)上の少数ショット学習を誘導する。 ICLと事前学習のギャップを埋めるために、計算コストの大きいエンドツーエンドパラダイムを用いて、大規模なICLスタイルのデータセット上での微調整LMにアプローチするものもある。 このようなコストを削減するため、本論文では、ICLの内部機構に関する以前の知見を利用して、最終的な出力ではなく、注意スコアに基づくトレーニング目標を構築し、注意スコアをコンテキストに提示された適切なラベルトークンに集中させ、間違ったラベルトークンからの注意スコアを緩和する、ABFT(Attention Behavior Fine-Tuning)を提案する。 現代の9つのLMと8つのデータセットに対する実験により、ABFTは従来の手法に比べて0.01%程度のデータコストで、性能、堅牢性、不偏性、効率に優れていたことが実証的に判明した。 さらに,本分析の結果から,エンド・ツー・エンドのトレーニング対象にはABFTの対象が含まれており,インダクションヘッドの出現に対するICL形式のデータの暗黙的偏見が示唆されている。 本研究は、LM内の特定のモジュール配列を制御し、それらの振る舞いを改善する可能性を示し、機械的解釈可能性の今後の応用を開拓するものである。

関連論文リスト

• What Language Models Know But Don't Say: Non-Generative Prior Extraction for Generalization [5.663538370244175]
  ベイジアンロジスティック回帰のための情報的事前分布を抽出する決定論的手法であるLoIDを提案する。 生成したテキストに頼るのではなく、注意深く構築された文を通して、モデルが対立する意味的方向に対する自信を探索する。 合成アウトオブディストリビューション(OOD)設定下で10個の実世界のデータセット上でLoIDを評価する。
  論文  参考訳（メタデータ） (2026-01-24T22:05:01Z)
• Unlabeled Data Can Provably Enhance In-Context Learning of Transformers [6.129841115228296]
  大規模言語モデル(LLM)は、印象的なインコンテキスト学習(ICL)能力を示すが、その予測の品質は基本的に制限されている。 本稿では,ラベルなし入力のブロックとともにラベル付きサンプルの小さなセットを含む新しい拡張ICLフレームワークを提案する。 これにより、ラベル付きデータとラベルなしデータの両方から暗黙的に有用な情報を抽出することができ、ICLの精度が向上する。
  論文  参考訳（メタデータ） (2026-01-15T04:23:32Z)
• Large Language Models as Universal Predictors? An Empirical Study on Small Tabular Datasets [0.0]
  大規模言語モデル(LLM)は、下流タスクを明示的に微調整することなく、構造化された入力に対して予測タスクを実行することができる。 分類,回帰,クラスタリングタスクのための小規模構造化データセット上でのLCMの実証関数近似能力について検討した。 以上の結果から,LLMは構造化データの汎用的予測エンジンとして機能する可能性が示唆された。
  論文  参考訳（メタデータ） (2025-08-24T15:00:51Z)
• Illusion or Algorithm? Investigating Memorization, Emergence, and Symbolic Processing in In-Context Learning [48.67380502157004]
  大規模トランスフォーマー言語モデル(LM)は、Webスケールデータによる次世代の予測のみを訓練することで、幅広いタスクを解決できる。 この能力の背後にあるメカニズムは、ICL(In-context Learning)と呼ばれ、議論の余地があり、理解が不十分なままである。
  論文  参考訳（メタデータ） (2025-05-16T08:50:42Z)
• LLM Unlearning Reveals a Stronger-Than-Expected Coreset Effect in Current Benchmarks [23.5632914682956]
  大規模言語モデルアンラーニングは、安全性と制御モデル行動を保証する上で重要な課題となっている。 LLMのアンラーニングは、かなり小さなサブセット(コアセットとして機能する)で効果的に維持可能であることを示す。 これは、非常に低データ状態であっても、これらのベンチマークでのLLMアンラーニングが驚くほど容易に実行可能であることを示唆している。
  論文  参考訳（メタデータ） (2025-04-14T12:38:37Z)
• Reasoning to Learn from Latent Thoughts [61.2395150828168]
  本研究では,テキスト生成プロセスの根底にある表現的思考を明示的にモデル化し,推論することにより,事前学習データの効率を大幅に向上させることができることを示す。 1B LMは、少なくとも3回の反復でその性能をブートストラップし、生データに基づいてトレーニングされたベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-03-24T16:41:23Z)
• Don't Take Things Out of Context: Attention Intervention for Enhancing Chain-of-Thought Reasoning in Large Language Models [32.71672086718058]
  CoT (Few-shot Chain-of-Thought) は大規模言語モデル (LLM) の推論能力を著しく向上させる 我々は、COTのデモで分離されたセグメント、単語、トークンが、予期せずLCMの生成過程を乱す可能性があることを観察する。 デモの注意パターンを動的に解析し,これらのトークンを正確に識別するFew-shot Attention Intervention法(FAI)を提案する。
  論文  参考訳（メタデータ） (2025-03-14T07:46:33Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• TL-Training: A Task-Feature-Based Framework for Training Large Language Models in Tool Use [72.32614703504122]
  大規模言語モデル(LLM)は、環境と対話するツールを活用することで、目覚ましい進歩を遂げる。 大規模なデータセットに依存する標準教師付き微調整アプローチでは、ツール使用時のタスク固有の特性を見落としていることが多い。 本稿では,最適下トレーニングデータの効果を緩和するタスク機能ベースのフレームワークであるTL-Trainingを提案する。
  論文  参考訳（メタデータ） (2024-12-20T02:21:36Z)
• Fine-Tuning Language Models on Multiple Datasets for Citation Intention Classification [17.03832781104098]
  引用意図分類(Citation intention Classification, CIC)は、意図によって引用を分類するツールである。 以前の研究では、事前訓練された言語モデル(PLM)がCICベンチマークで最先端のパフォーマンスを達成できることが示されている。 複数の補助的CICデータセットとともに、一次関心のデータセット上でPLMを微調整するマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-17T08:45:02Z)
• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• Feature-Adaptive and Data-Scalable In-Context Learning [36.01997148676005]
  FADS-ICLは、機能適応型でデータスケーリング可能なコンテキスト内学習フレームワークである。 タスク適応機能を活用して、下流タスクの推論を促進することができる。 FADS-ICLは従来の最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-05-17T12:32:53Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Improving Input-label Mapping with Demonstration Replay for In-context Learning [67.57288926736923]
  In-context Learning (ICL)は、大規模な自己回帰言語モデルの出現する能力である。 Sliding Causal Attention (RdSca) と呼ばれる新しいICL法を提案する。 ICL実験において,本手法は入力ラベルマッピングを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-10-30T14:29:41Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• Understanding In-Context Learning via Supportive Pretraining Data [55.648777340129364]
  In-context Learning (ICL)は、推論時にいくつかの例を示すだけで、様々なNLPタスクにおける言語モデルの性能を改善する。 ICLの能力がなぜ出現するかはよく分かっていないが、モデルがそのようなデモで特別に訓練されたことはない。 我々の研究は、インスタンスレベルの事前学習データを分析して、ICLを理解するための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2023-06-26T22:14:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。