論文の概要: Influence Functions for Efficient Data Selection in Reasoning
- arxiv url: http://arxiv.org/abs/2510.06108v1
- Date: Tue, 07 Oct 2025 16:40:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-08 17:57:08.361515
- Title: Influence Functions for Efficient Data Selection in Reasoning
- Title（参考訳）: 推論における効率的なデータ選択のための影響関数
- Authors: Prateek Humane, Paolo Cudrano, Daniel Z. Kaplan, Matteo Matteucci, Supriyo Chakraborty, Irina Rish,
- Abstract要約: チェーン・オブ・ソート(CoT)データに基づく細調整された大型言語モデル(LLM)は、少量の高品質なデータが大量のデータセットより優れていることを示している。
本稿では,個々のCoTサンプルが下流の精度に与える影響を計測する影響関数を用いて,推論データ品質を定義することを提案する。
- 参考スコア（独自算出の注目度）: 22.94556593981994
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-tuning large language models (LLMs) on chain-of-thought (CoT) data shows that a small amount of high-quality data can outperform massive datasets. Yet, what constitutes "quality" remains ill-defined. Existing reasoning methods rely on indirect heuristics such as problem difficulty or trace length, while instruction-tuning has explored a broader range of automated selection strategies, but rarely in the context of reasoning. We propose to define reasoning data quality using influence functions, which measure the causal effect of individual CoT examples on downstream accuracy, and introduce influence-based pruning, which consistently outperforms perplexity and embedding-based baselines on math reasoning within a model family.
- Abstract（参考訳）: チェーン・オブ・ソート(CoT)データに基づく細調整された大型言語モデル(LLM)は、少量の高品質なデータが大量のデータセットより優れていることを示している。
しかし、"品質"を構成するものは未定義のままである。
既存の推論手法は問題難易度やトレース長などの間接的ヒューリスティックに頼っているが、命令チューニングはより広範な自動選択戦略を探求しているが、推論の文脈ではめったにない。
本稿では,個々のCoTサンプルの因果効果を下流の精度で測定する影響関数を用いた推論データ品質を定義し,モデルファミリ内の数学推論における難易度と埋め込みベースラインを一貫して上回る影響ベースのプルーニングを提案する。
関連論文リスト
- Relation Extraction or Pattern Matching? Unravelling the Generalisation Limits of Language Models for Biographical RE [18.616344314400244]
関係抽出モデルは、類似した領域内であっても、目に見えないデータと競合することを示す。
我々の結果は、語彙的類似性ではなく、データ品質がロバスト転送の鍵であることを示しています。
論文 参考訳（メタデータ） (2025-05-18T20:22:14Z) - Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。
軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。
データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
論文 参考訳（メタデータ） (2024-12-12T18:28:55Z) - Outlier Gradient Analysis: Efficiently Identifying Detrimental Training Samples for Deep Learning Models [36.05242956018461]
本稿では,影響関数と外乱勾配検出による有害トレーニングサンプルの同定とを橋渡しする。
まず, 合成データセットにおける外乱勾配解析手法の仮説を検証した。
次に、視覚モデルにおける誤ラベルサンプルの検出と、自然言語処理トランスフォーマーモデルの性能向上のためのデータサンプル選択の有効性を示す。
論文 参考訳（メタデータ） (2024-05-06T21:34:46Z) - LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳（メタデータ） (2024-02-06T19:18:04Z) - Causal Feature Selection via Transfer Entropy [59.999594949050596]
因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。
本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。
精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
論文 参考訳（メタデータ） (2023-10-17T08:04:45Z) - A Two-Stage Feature Selection Approach for Robust Evaluation of
Treatment Effects in High-Dimensional Observational Data [1.4710887888397084]
我々は,OAENet(Outcome Adaptive Elastic Net)と呼ばれる新しい2段階特徴選択手法を提案する。
OAENetは、マッチング技術を用いて堅牢な因果推論決定を行うように設計されている。
シミュレーションデータに関する数値実験により、OAENetは最先端の手法を大きく上回っていることが示された。
論文 参考訳（メタデータ） (2021-11-27T02:54:30Z) - Influence Functions in Deep Learning Are Fragile [52.31375893260445]
影響関数は、テスト時間予測におけるサンプルの効果を近似する。
影響評価は浅いネットワークでは かなり正確です
ヘッセン正則化は、高品質な影響推定を得るために重要である。
論文 参考訳（メタデータ） (2020-06-25T18:25:59Z) - Nonparametric Feature Impact and Importance [0.6123324869194193]
データ上で直接動作する部分依存曲線から導かれる特徴的影響と重要性の数学的定義を与える。
品質を評価するために、これらの定義によってランク付けされた特徴は、既存の特徴選択技術と競合することを示す。
論文 参考訳（メタデータ） (2020-06-08T17:07:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。