論文の概要: AIR: Post-training Data Selection for Reasoning via Attention Head Influence

• arxiv url: http://arxiv.org/abs/2512.13279v1
• Date: Mon, 15 Dec 2025 12:38:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.662235
• Title: AIR: Post-training Data Selection for Reasoning via Attention Head Influence
• Title（参考訳）: AIR:アテンションヘッドによる推論のためのトレーニング後のデータ選択
• Authors: Jinrui Liu, Jeff Wu, Xuanguang Pan, Gavin Cheung, Shuai Ma, Chongyang Tao,
• Abstract要約: LLMは顕著な多段階推論能力を実現するが, 後蒸留による技術移転は依然として困難である。 本稿では,検索ヘッドの機械的洞察を活用して,高価値なポストトレーニングデータを選択する,原則付き,教師なし,トレーニング不要なフレームワークであるAttention Influence for Reasoning(AIR)を提案する。
• 参考スコア（独自算出の注目度）: 24.11466288378682
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs achieve remarkable multi-step reasoning capabilities, yet effectively transferring these skills via post-training distillation remains challenging. Existing data selection methods, ranging from manual curation to heuristics based on length, entropy, or overall loss, fail to capture the causal importance of individual reasoning steps, limiting distillation efficiency. To address this, we propose Attention Influence for Reasoning (AIR), a principled, unsupervised and training-free framework that leverages mechanistic insights of the retrieval head to select high-value post-training data. AIR first identifies reasoning-critical attention heads of an off-the-shelf model, then constructs a weakened reference model with disabled head influence, and finally quantifies the resulting loss divergence as the Attention Influence Score. This score enables fine-grained assessment at both the step and sample levels, supporting step-level weighted fine-tuning and global sample selection. Experiments across multiple reasoning benchmarks show that AIR consistently improves reasoning accuracy, surpassing heuristic baselines and effectively isolating the most critical steps and samples. Our work establishes a mechanism-driven, data-efficient approach for reasoning distillation in LLMs.
• Abstract（参考訳）: LLMは顕著な多段階推論能力を実現するが, 後蒸留による技術移転は依然として困難である。 手作業によるキュレーションから、長さ、エントロピー、あるいは全体的な損失に基づくヒューリスティックスまで、既存のデータ選択方法は、個々の推論ステップの因果的重要性を捉えず、蒸留効率を制限している。 そこで本研究では,検索ヘッドの機械的洞察を活用して,高価値のポストトレーニングデータを選択する,原則付き,教師なし,トレーニング不要なフレームワークであるAtention Influence for Reasoning(AIR)を提案する。 AIRはまず、オフ・ザ・シェルフモデルの推論クリティカルなアテンションヘッドを特定し、その後、無効なヘッドインフルエンスを持つ弱められた参照モデルを構築し、最終的に、損失分散をアテンションインフルエンススコアとして定量化する。 このスコアは、ステップレベルとサンプルレベルの両方できめ細かい評価を可能にし、ステップレベルの重み付けされた微調整とグローバルなサンプル選択をサポートする。 複数の推論ベンチマークの実験によると、AIRは推論の精度を一貫して改善し、ヒューリスティックなベースラインを超え、最も重要なステップとサンプルを効果的に分離する。 我々の研究は, LLMにおける蒸留の推理のためのメカニズム駆動型, データ効率のアプローチを確立した。

関連論文リスト

• First is Not Really Better Than Last: Evaluating Layer Choice and Aggregation Strategies in Language Model Data Influence Estimation [8.788531432978802]
  モデル決定を効果的に解釈するためには、LLM(Large Language Model)決定に影響を及ぼす訓練サンプルが不可欠である。 現在のトレーニングサンプル影響推定法(インフルエンス関数とも呼ばれる)は、モデルを通しての情報フローを利用することで、この目標を達成している。 しかしながら、数十億のパラメータからなる今日の大規模なモデルサイズのため、これらの影響計算はモデル層の一部に制限されることが多い。
  論文  参考訳（メタデータ） (2025-11-06T00:47:07Z)
• Counteracting Matthew Effect in Self-Improvement of LVLMs through Head-Tail Re-balancing [70.35701681177655]
  自己改善は、大きな視覚言語モデルの推論能力を向上するための主流パラダイムとして現れてきた。 本研究では,探索学習による自己改善プロセスにおいて,頭部再バランスを実現するための4つの効率的な戦略を提案する。 我々の手法は視覚的推論能力を常に改善し、バニラ自己改善を平均3.86ポイント上回る。
  論文  参考訳（メタデータ） (2025-10-30T13:26:58Z)
• Lost at the Beginning of Reasoning [85.17612793300238]
  第1の推論ステップが最終予測に不当に大きな影響を与えることを示す。 本稿では、報酬モデルを利用して高品質な第1推論ステップを特定し、維持する効率的なサンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-27T09:53:57Z)
• CausalPFN: Amortized Causal Effect Estimation via In-Context Learning [19.54034651361769]
  CausalPFNは、ボックスから新しい観測データセットに因果効果を推測する。 提案手法は,不均一および平均処理効果評価ベンチマークにおいて,優れた平均性能を実現する。 CausalPFNはベイズ原理に基づく信頼性の高い意思決定を支援するために、校正された不確実性推定を提供する。
  論文  参考訳（メタデータ） (2025-06-09T16:31:06Z)
• A Thorough Assessment of the Non-IID Data Impact in Federated Learning [1.89791888476598]
  分散機械学習(FL)は、分散クライアントの情報間のコラボレーティブ機械学習(ML)トレーニングを可能にし、データのプライバシを保証する。 FLの分散特性は、非独立で同一に分散された(非IID)データを扱う。 その重要性にもかかわらず、あらゆる種類のデータ不均一性(すなわち非IIDness)に体系的に対処する実験的研究はほとんど残っていない。 非IID効果の評価と定量化を徹底的な実証分析によって行うことで,このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2025-03-21T11:53:36Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。