論文の概要: Tracing LLM Behavior to the Training Data with Empirical Next-Token Distributions

• arxiv url: http://arxiv.org/abs/2607.14306v1
• Date: Wed, 15 Jul 2026 19:11:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:32.893731
• Title: Tracing LLM Behavior to the Training Data with Empirical Next-Token Distributions
• Title（参考訳）: 経験的次点分布を用いた訓練データへのLLMの追跡
• Abstract要約: LLMの出力分布と学習用データとの接続について検討する。 入力のかなりの部分において、LLMの分布は経験的次トーケン分布とほぼ完全に一致していることがわかった。
• 参考スコア（独自算出の注目度）: 4.305286834837173
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study the connection between an LLM's output distribution and the data used to train it. Specifically, we study the degree to which an LLM's next-token distribution agrees with the empirical next-token distribution (ENTD) given the context in the training data. The ENTD is an appealing target because it is the unrestricted global minimizer of the next-token cross entropy loss used for pretraining, as well as an easily interpretable function of the pretraining corpus. We find that for a significant fraction of inputs, the LLM's distribution agrees with the ENTD almost perfectly, and the average agreement increases with model scale and training compute. Nevertheless, there is a long tail of input sequences where the LLM and ENTD differ significantly, and we examine several possible sources of this discrepancy across the transformer architecture, training procedure, and finite-sample noise in the ENTD estimate itself. More broadly, we hope our findings will encourage more work on ``data-centric mechanistic interpretability,'' a complement to standard mechanistic interpretability that opens the black box of how model behaviors arise from the data, rather than how they are encoded in the learned weights.
• Abstract（参考訳）: 本稿では,LLMの出力分布と学習用データとの関係について検討する。 具体的には,LLMの次トーケン分布が,トレーニングデータの文脈から経験的次トーケン分布(ENTD)と一致する程度について検討する。 ENTDは、事前訓練に使用される次トーケンクロスエントロピー損失の制限のない大域的最小化器であり、事前訓練コーパスの容易に解釈可能な機能であるため、魅力的なターゲットである。 入力のかなりの部分において、LLMの分布はENTDとほぼ完全に一致しており、平均的な一致はモデルスケールとトレーニング計算で増加する。 しかしながら,LLM と ENTD の差が大きい入力列の長い尾があり,変換器のアーキテクチャ,トレーニング手順,および ENTD 推定自体における有限サンプルノイズとの相違点のいくつかについて検討する。 より広範に、我々の発見は、学習した重みにエンコードされる方法よりも、モデル行動がどのようにデータから生じるかのブラックボックスを開く標準的な機械的解釈可能性の補完となる、'データ中心の機械的解釈可能性'に関するさらなる研究を促進することを願っている。

関連論文リスト

• What Language Models Know But Don't Say: Non-Generative Prior Extraction for Generalization [5.663538370244175]
  ベイジアンロジスティック回帰のための情報的事前分布を抽出する決定論的手法であるLoIDを提案する。 生成したテキストに頼るのではなく、注意深く構築された文を通して、モデルが対立する意味的方向に対する自信を探索する。 合成アウトオブディストリビューション(OOD)設定下で10個の実世界のデータセット上でLoIDを評価する。
  論文  参考訳（メタデータ） (2026-01-24T22:05:01Z)
• MIST: Mutual Information Via Supervised Training [41.02529625643583]
  我々は、相互情報(MI)推定器を設計するための完全なデータ駆動アプローチを提案する。 任意のMI推定器は、2つの確率変数から観測されたサンプルの関数であるため、ニューラルネットワーク(MIST)を用いてこの関数をパラメータ化する。 625,000の合成関節分布の大規模なメタデータセット上で、既知の接地トラスMIを用いてトレーニングを行う。
  論文  参考訳（メタデータ） (2025-11-24T09:55:28Z)
• Grokking in LLM Pretraining? Monitor Memorization-to-Generalization without Test [22.499052329934603]
  LLMがトレーニングデータを記憶する時、下流タスクの一般化が改善し始める時、そして両者の間にラグがある場合、どうなるかを検討する。 我々の研究は、初めて、グラッキングが試験前混合物質(MoE)にまだ現れることを示した。 我々の第一の発見は、経路がランダムで非平滑な層をまたいで進化し、例えば、事前学習の損失が収束しているにもかかわらず、より構造化され、サンプル間で移動可能であることである。
  論文  参考訳（メタデータ） (2025-06-26T17:59:58Z)
• Efficient Distribution Matching of Representations via Noise-Injected Deep InfoMax [73.03684002513218]
  我々はDeep InfoMax(DIM)を拡張し、学習した表現を選択された事前分布に自動マッチングできるようにする。 このような修正により、一様かつ通常に分散した表現を学習できることを示す。 その結果,下流作業における性能とDMの品質の中間的なトレードオフが示唆された。
  論文  参考訳（メタデータ） (2024-10-09T15:40:04Z)
• Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
  本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。 我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
  論文  参考訳（メタデータ） (2024-09-23T07:55:35Z)
• Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
  モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。 エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。 また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
  論文  参考訳（メタデータ） (2024-07-09T08:14:29Z)
• Dataset Condensation with Latent Quantile Matching [5.466962214217334]
  電流分布マッチング (DM) に基づく直流法は, 合成外乱と実外乱の遅延埋め込みの平均をマッチングすることにより, 合成データセットを学習する。 本稿では,2つの分布間の適合試験統計量の良さを最小化するために,遅延埋め込みの量子化と一致する潜在量子マッチング(LQM)を提案する。
  論文  参考訳（メタデータ） (2024-06-14T09:20:44Z)
• Symmetric Equilibrium Learning of VAEs [56.56929742714685]
  可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。 本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
  論文  参考訳（メタデータ） (2023-07-19T10:27:34Z)
• Foundational Models for Continual Learning: An Empirical Study of Latent Replay [17.322679682451597]
  本稿では,下流の連続学習シナリオの基礎として,事前学習型視覚モデルの有効性について検討する。 大規模ベンチマークシナリオにおける各種事前学習モデルの有効性を,潜時および生データ空間におけるバニラ再生設定と比較した。
  論文  参考訳（メタデータ） (2022-04-30T19:11:37Z)
• On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets [74.11825654535895]
  大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。 我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
  論文  参考訳（メタデータ） (2021-09-08T10:39:57Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。