論文の概要: Elucidating the Design Space of LM Data Attribution

• arxiv url: http://arxiv.org/abs/2610.40655v1
• Date: Thu, 29 Oct 2026 17:59:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 06:11:50.696238
• Title: Elucidating the Design Space of LM Data Attribution
• Title（参考訳）: LMデータ属性の設計空間の解明
• Abstract要約: ファクトトレースのための制御属性ベンチマーク(CATT)を導入する。 冗長性とトラクタが常に属性性能を低下させることを示す。 標準的なクロスエントロピー損失勾配を負の対数勾配に置き換えると、他の非形式的トークンから臨界トークンが現れる。
• 参考スコア（独自算出の注目度）: 40.76921094119525
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Data attribution methods for Language Models (LMs) are typically evaluated using downstream tasks like fact retrieval. However, existing evaluations vary multiple dataset properties simultaneously, making it impossible to isolate exactly why an attribution algorithm fails. To diagnose these failures, we explore the design space of LLM data attribution, with a primary focus on evaluation. We introduce the Controlled Attribution Benchmark (CATT) for fact tracing, in which we fine-tune LLMs on entirely fictitious knowledge, providing unambiguous ground truth for attribution. This synthetic setup allows us to systematically alter one dataset configuration at a time, such as document redundancy and lexical distractors. With this configurable evaluation, we demonstrate that redundancy and distractors consistently degrade attribution performance. Rather than proposing a new estimator, we examine two design choices that are underexplored: the loss used to compute gradients and how per-token attribution scores are aggregated into a document score. We find that the true causal evidence within a training document is highly localized, but standard methods dilute this evidence into noise by averaging attribution scores across the entire document. We find that replacing standard cross-entropy loss gradients with the negative log-odds gradients surfaces the critical tokens from other uninformative ones. We can then aggregate only the top token scores to improve ground truth recall by 35 to 72 percentage points across multiple baselines on our diagnostic benchmark. The negative log-odds correction also generalizes to FTRACE-TREX, improving counterfactual retraining performance for every method we test, by up to 4.9x.
• Abstract（参考訳）: 言語モデル(LM)のデータ帰属法は、典型的には、事実検索のような下流のタスクを用いて評価される。 しかし、既存の評価は複数のデータセットプロパティを同時に変更するため、属性アルゴリズムが失敗する理由を正確に特定することは不可能である。 これらの故障を診断するために,LLMデータ属性の設計空間について検討し,主に評価に焦点をあてる。 事実追跡のための制御帰属ベンチマーク(CATT)を導入し、完全に架空の知識に基づいてLLMを微調整し、帰属に関する曖昧な基礎的真理を提供する。 この合成セットアップにより、ドキュメントの冗長性や語彙的トラクタなど、ひとつのデータセット構成を1度に体系的に変更することが可能になります。 この構成可能な評価により、冗長性とイントラクタが常に属性性能を低下させることを示した。 新しい推定器を提案するのではなく、勾配を計算するために使用される損失と、文書スコアに個々の属性スコアがどのように集約されるかという2つの設計選択について検討する。 トレーニング資料内の真の因果的証拠は高度に局所化されているが,標準手法では,文書全体の属性スコアを平均化することにより,この証拠をノイズに減らしている。 標準的なクロスエントロピー損失勾配を負の対数勾配に置き換えると、他の非形式的トークンから臨界トークンが現れる。 次に、トップトークンスコアのみを集約して、診断ベンチマーク上の複数のベースラインに35～72ポイントの地平線リコールを改善することができます。 負の対数補正もFTRACE-TREXに一般化され、テスト対象のメソッド毎に4.9倍の反実的再トレーニング性能が向上する。

関連論文リスト

• Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation [2.733105115068754]
  反復モデルの再トレーニングなしにShapley値を近似する,スケーラブルで推論のみのデータアベイラビリティパイプラインを導入する。 重厚な2つのアライメントデータセットの衛生化におけるパイプラインの有効性を実証する。
  論文  参考訳（メタデータ） (2026-07-24T03:31:44Z)
• Data and Evaluation Closed-Loop for Model Capability Enhancement [8.245706308161504]
  評価は直感的ではなく,日常的,監査可能,実験的に検証可能であることを示す。 評価データ間推論は直感的ではなく,日常的,監査可能,実験的に検証可能であることを示す。
  論文  参考訳（メタデータ） (2026-06-26T14:45:57Z)
• Contrastive Attribution in the Wild: An Interpretability Analysis of LLM Failures on Realistic Benchmarks [42.92210265283373]
  解釈可能性ツールは、大規模言語モデル(LLM)の失敗を分析するために、ますます使われています。 現実的な環境下でのLLM故障を解析するための実用的なツールとして,LRPに基づく帰属性について検討した。 以上の結果から,このトークンレベルのコントラスト属性は,いくつかの障害事例において情報信号が得られるが,一般には適用できないことがわかった。
  論文  参考訳（メタデータ） (2026-04-20T03:24:11Z)
• Decomposing Reasoning Efficiency in Large Language Models [2.4149105714758545]
  我々はトークン効率を、固定されたトークン予算の下での完了、与えられた完了条件の正確性、冗長性といった、解釈可能な要因に分解する。 推論トレースが利用可能であれば、冗長だが拡張された推論からループを分離するために決定論的トレース品質尺度を追加します。 我々の分解は、異なる効率の介入を示唆する異なるボトルネックプロファイルを明らかにします。
  論文  参考訳（メタデータ） (2026-02-10T14:09:18Z)
• AlgoVeri: An Aligned Benchmark for Verified Code Generation on Classical Algorithms [54.99368693313797]
  既存のベンチマークでは、個々の言語/ツールのみをテストするため、パフォーマンス番号は直接比較できない。 このギャップに対処するAlgoVeriは、Dafny、Verus、Leanで77ドルの古典的アルゴリズムのベリコーディングを評価するベンチマークです。
  論文  参考訳（メタデータ） (2026-02-10T06:58:26Z)
• Fact Checking Beyond Training Set [64.88575826304024]
  本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。 本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。 次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
  論文  参考訳（メタデータ） (2024-03-27T15:15:14Z)
• SMaRt: Improving GANs with Score Matching Regularity [114.43433222721025]
  生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。 スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることがわかった。 提案手法は, 実世界のデータセットにおいて, 近似スコア関数として機能する事前学習拡散モデルを用いて, 最先端のGANの性能を継続的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-11-30T03:05:14Z)
• Generating Benchmarks for Factuality Evaluation of Language Models [61.69950787311278]
  FACTOR: Factual Assessment via Corpus Transformation, a scalable approach for LM factuality。 FACTORは、興味のある事実のコーパスをLMの正当性を評価するベンチマークに自動的に変換し、コーパスから真事実を生成する。 その結果, (i) ベンチマークスコアはモデルサイズに応じて増加し, LMが検索によって拡張されたときに向上する; (ii) ベンチマークスコアとパープレキシティは必ずしもモデルランキングに一致しない; (iii) パープレキシティとベンチマークスコアが一致しない場合, 後者はオープンエンド世代における事実性を反映する。
  論文  参考訳（メタデータ） (2023-07-13T17:14:38Z)
• Evaluating Models' Local Decision Boundaries via Contrast Sets [119.38387782979474]
  テストデータの体系的なギャップを埋めるのに役立つNLPのための新しいアノテーションパラダイムを提案する。 10種類のNLPデータセットに対してコントラストセットを作成することで,コントラストセットの有効性を示す。 我々のコントラストセットは明示的には逆ではないが、モデルの性能は元のテストセットよりも大幅に低い。
  論文  参考訳（メタデータ） (2020-04-06T14:47:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。