論文の概要: Quantifying the Agreement Between Data-Influence and Data-Similarity to Understand LLM Behavior
- arxiv url: http://arxiv.org/abs/2606.23591v1
- Date: Mon, 22 Jun 2026 17:00:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 17:58:59.512842
- Title: Quantifying the Agreement Between Data-Influence and Data-Similarity to Understand LLM Behavior
- Title（参考訳）: LLMの挙動を理解するためのデータ影響とデータ相似性の一致の定量化
- Authors: Christopher J. Anders, Henrique Da Silva Gameiro, Nico Daheim, Mohammad Emtiyaz Khan,
- Abstract要約: データ類似性( data-similarity)とデータ影響( data-influence)である。
両尺度の共通点と相違点を定量化する。
非対称性を利用して、良好なコスト精度のトレードオフを得る。
- 参考スコア（独自算出の注目度）: 16.268536036730318
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One way to understand LLM behavior is to trace its output back to the training data. Two types of measures are commonly used for output tracing: data-similarity and data-influence. The former is cheaper while the latter is believed to be more accurate. Even though many works have compared them for ground-truth tasks, no such comparisons exist for output tracing. Here, we fill this gap and precisely quantify the commonalities and differences between the two measures. We do this by first ranking the training documents according to each measure and then computing the overlap between the two rankings. Our main finding is that the two rankings agree significantly, but there is an asymmetry between them: The top documents of data-similarity are assigned more consistent ranks by data-influence than the other way around. This result is valid across a range of experiments involving OLMo2-1B, Qwen3-1.7B, LlaMa3.2-1B, Gemma3-1B, and GPT2. We exploit the asymmetry to obtain a favorable cost-accuracy trade-off by using the costly data-influence to refine the results of data-similarity.
- Abstract（参考訳）: LLMの振る舞いを理解する1つの方法は、その出力をトレーニングデータに遡ることである。
データ類似性( data-similarity)とデータ影響( data-influence)である。
前者は安く、後者はより正確であると考えられている。
多くの研究が地道なタスクと比較しているが、出力トレースにはそのような比較は存在しない。
ここでは、このギャップを埋め、この2つの尺度の共通点と相違点を正確に定量化する。
まず、各尺度に従ってトレーニング文書をランク付けし、2つのランキングの重なりを計算します。
主な発見は、2つのランキングに大きく一致するが、両者の間には非対称性がある: データ類似性の上位文書は、データ影響によって、より一貫性のあるランクに割り当てられる。
この結果は、OLMo2-1B、Qwen3-1.7B、LlaMa3.2-1B、Gemma3-1B、GPT2を含む様々な実験で有効である。
我々は、この非対称性を利用して、コストの高いデータ影響を利用して、データ類似性の結果を洗練することにより、良好なコスト精度のトレードオフを得る。
関連論文リスト
- Extracting alignment data in open models [50.81383232591576]
訓練後モデルから大量のアライメントトレーニングデータを抽出できることが示唆された。
このデータは、長期コンテキスト推論、安全性、命令追従、数学などの特定の機能を改善するためにモデルを操縦するのに有用である。
SFT や RL のような後トレーニングフェーズで使用されたトレーニングデータを,モデルが容易に再学習できることが判明した。
論文 参考訳（メタデータ） (2025-10-21T12:06:00Z) - Understanding Data Influence with Differential Approximation [63.817689230826595]
我々は,Diff-Inと呼ばれる連続学習ステップ間の影響の差を蓄積することにより,サンプルの影響を近似する新しい定式化を導入する。
2次近似を用いることで、これらの差分項を高精度に近似し、既存の手法で必要となるモデル凸性を排除した。
Diff-In は既存の影響推定器に比べて近似誤差が著しく低いことを示す。
論文 参考訳（メタデータ） (2025-08-20T11:59:32Z) - Beyond Contrastive Learning: Synthetic Data Enables List-wise Training with Multiple Levels of Relevance [30.879299174443812]
本研究では,実際の文書やアノテーションを定式化し,大規模な言語モデルを用いて合成文書を生成する。
MARCO と BEIR のベンチマーク実験により,提案手法は従来の InfoNCE を用いたトレーニングよりも高い性能を示した。
論文 参考訳（メタデータ） (2025-03-29T22:33:22Z) - Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。
エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。
また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
論文 参考訳（メタデータ） (2024-07-09T08:14:29Z) - MIM4DD: Mutual Information Maximization for Dataset Distillation [15.847690902246727]
合成データセットと実データセット間の共有情報を定量化する指標として相互情報(MI)を導入する。
コントラスト学習フレームワーク内で,MIを最適化可能な新しい設計により,MIM4DDを数値的に最大化する手法を考案する。
実験の結果,MIM4DDは既存のSoTA DDメソッドのアドオンモジュールとして実装可能であることがわかった。
論文 参考訳（メタデータ） (2023-12-27T16:22:50Z) - Fairness-Aware Data Valuation for Supervised Learning [4.874780144224057]
本研究では,Fairness-Aware Data vauatiOn (FADO)を提案する。
FADOを不公平化前処理技術の基礎として活用する方法を示す。
提案手法は,最大40ppの公正度を,ベースラインに比べて性能が1pp以下で向上することを示す。
論文 参考訳（メタデータ） (2023-03-29T18:51:13Z) - Conditional Feature Importance for Mixed Data [1.6114012813668934]
ノックオフサンプリングを用いた条件付き予測インパクト(CPI)フレームワークを開発した。
提案するワークフローは,I型エラーを制御し,高い出力を達成し,他の条件FI測定結果と一致していることを示す。
本研究は,混合データに対して,統計的に適切な,専門的な手法を開発することの必要性を強調した。
論文 参考訳（メタデータ） (2022-10-06T16:52:38Z) - Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
データセットバイアスは、機械学習における不公平な原因の1つです。
不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。
また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
論文 参考訳（メタデータ） (2021-04-14T14:20:22Z) - Secure Metric Learning via Differential Pairwise Privacy [36.946123614592054]
本稿では,距離メトリック学習において,攻撃者に対してペアワイズ情報を漏洩させる方法について,初めて検討する。
我々は、標準微分プライバシーの定義を一般化し、安全な計量学習のための微分ペアプライバシー(DPP)を開発する。
論文 参考訳（メタデータ） (2020-03-30T12:47:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。