論文の概要: How Token Influence Decays with Distance: A Green-Function View of Trained Language Models

• arxiv url: http://arxiv.org/abs/2606.29139v1
• Date: Sun, 28 Jun 2026 01:00:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.801084
• Title: How Token Influence Decays with Distance: A Green-Function View of Trained Language Models
• Title（参考訳）: 距離によるトークンの影響:訓練言語モデルのグリーンファンクションビュー
• Abstract要約: 入力トークン埋め込みの小さな摂動の下で, 自己回帰トランスフォーマー言語モデルの次点予測がどう変化するかを検討する。 微分方程式に対する演算子学習と反復解法により動機付け, 訓練されたモデルにおいて, あるトークンが別のトークンの崩壊に与える影響について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We study how the next-token prediction of an autoregressive Transformer language model changes under small perturbations of earlier input token embeddings. Motivated by operator learning and iterative solvers for differential equations, we investigate how the influence of one token on another decays with distance in a trained model. In multilevel methods for differential equations, such as domain decomposition, multigrid, and multilevel preconditioning, one often exploits a separation between strong local interactions and weaker but essential global interactions. The latter correspond to the long tail of the Green's function and are typically handled by a coarse-level operator. Inspired by this perspective, we compute an empirical, distance-resolved gradient profile of token dependencies using autograd. Experiments on trained Pythia models and Qwen2.5-0.5B show that, over the measured distance range, the median Jacobian sensitivity is much better described by a power-law-type decay than by an exponential alternative: the diagonal-normalized profile is well described by $$\overline G(r) \approx γ+β(r+1)^{-p}$$ with exponents $p \approx 0.7$--$0.9$ (typically $0.8$--$0.9$). This behavior appears on coherent text from Gutenberg and WikiText-103. Token-shuffling experiments show that the power-law profile persists even when syntax and prediction quality collapse, whereas randomly initialized models do not exhibit it. The slowly decaying long-range sensitivity thus appears to be a learned property of trained autoregressive Transformer operators. These findings suggest that hierarchical or coarse-level mechanisms in language models may be able to exploit the long-tailed sensitivity profiles.
• Abstract（参考訳）: 入力トークン埋め込みの小さな摂動の下で, 自己回帰トランスフォーマー言語モデルの次点予測がどう変化するかを検討する。 微分方程式に対する演算子学習と反復解法により動機付け, 訓練されたモデルにおいて, あるトークンが別のトークンの崩壊に与える影響について検討する。 ドメイン分解、マルチグリッド、マルチレベルプレコンディショニングといった微分方程式の多段階法では、強い局所相互作用と弱いが不可欠な大域的相互作用の分離を利用することが多い。 後者はグリーン関数の長いテールに対応し、典型的には粗レベル作用素によって扱われる。 この観点から着想を得た私たちは,オートグレードを用いたトークン依存の実験的,距離分解された勾配プロファイルを計算した。 訓練されたピティアモデルとQwen2.5-0.5Bの実験では、測定距離の範囲で、中央のジャコビアン感度は指数的な代替よりも、パワー・ロー型崩壊によってよりよく説明されている:対角正規化プロファイルは、指数を持つ$$$$\overline G(r) \approx γ+β(r+1)^{-p}$$$$(通常$0.8$--$0.9$)でよく説明されている。 この振る舞いはGutenbergとWikiText-103の一貫性のあるテキストに現れる。 トッケンシャッフル実験により、構文や予測品質が崩壊しても、パワーロープロファイルは持続するが、ランダムに初期化されたモデルはそれを示さないことが示された。 したがって、ゆるやかに減衰する長距離感度は、訓練された自己回帰変換作用素の学習特性であるように見える。 これらの結果から,言語モデルにおける階層的あるいは粗大なメカニズムは,長鎖の感度プロファイルを活用できる可能性が示唆された。

関連論文リスト

• Learn from your own latents and not from tokens: A sample-complexity theory [53.5821824211418]
  本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。 潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。 これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
  論文  参考訳（メタデータ） (2026-05-26T22:16:42Z)
• A Hierarchical Language Model with Predictable Scaling Laws and Provable Benefits of Reasoning [15.789193816051911]
  階層構造を持つ合成言語群を紹介する。 自己回帰生成における文脈長と推論の役割を正確に分析することができる。
  論文  参考訳（メタデータ） (2026-05-13T15:42:26Z)
• Learning to Recall with Transformers Beyond Orthogonal Embeddings [42.18876773867171]
  簡単なトークン検索タスクにおいて,勾配降下法で学習したランダム埋め込みを用いた変圧器を解析する。 我々の分析は、勾配降下の初期段階'を追跡分析し、モデル記憶容量の明示的な公式を導出する。
  論文  参考訳（メタデータ） (2026-03-16T21:17:01Z)
• On the Entropy Calibration of Language Models [52.47557449370603]
  本研究では,言語モデルのエントロピーが人間のテキスト上でのログ損失と一致しているかを問うエントロピーキャリブレーションの問題について検討する。 観測されたスケーリングの挙動は、単純化された設定によって予測されるものと類似していることがわかった。 将来的なテキストのエントロピーを予測するために,モデルに適合するブラックボックスへのアクセスを前提にすれば,それが可能であることが証明できる。
  論文  参考訳（メタデータ） (2025-11-15T00:33:03Z)
• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• Why Can't Transformers Learn Multiplication? Reverse-Engineering Reveals Long-Range Dependency Pitfalls [54.57326125204404]
  言語モデルはますます能力が高くなっているが、多桁乗算という一見単純なタスクではまだ失敗している。 直観的連鎖を通して乗法をうまく学習するモデルをリバースエンジニアリングすることでなぜ研究する。
  論文  参考訳（メタデータ） (2025-09-30T19:03:26Z)
• Beyond Softmax: A Natural Parameterization for Categorical Random Variables [61.709831225296305]
  階層的なバイナリ分割のシーケンスで構成される関数である$textitcatnat$関数を紹介します。 実験により,提案した関数は学習効率を向上し,一貫した試験性能を特徴とするモデルが得られることを示した。
  論文  参考訳（メタデータ） (2025-09-29T12:55:50Z)
• Computational-Statistical Tradeoffs at the Next-Token Prediction Barrier: Autoregressive and Imitation Learning under Misspecification [50.717692060500696]
  対数損失を伴う次のトーケン予測は自己回帰シーケンスモデリングの基盤となる。 次トーケン予測は、適度な誤差増幅を表す$C=tilde O(H)$を達成するために堅牢にすることができる。 C=e(log H)1-Omega(1)$。
  論文  参考訳（メタデータ） (2025-02-18T02:52:00Z)
• Faster Language Models with Better Multi-Token Prediction Using Tensor Decomposition [5.575078692353885]
  本稿では, 精度を損なうことなくサンプリング効率を向上させることを目的とした, 変圧器のマルチトークン予測のための新しいモデルを提案する。 階数=r$標準確率分解に一般化することにより、複数のトークンを同時に予測する改良されたモデルを開発する。
  論文  参考訳（メタデータ） (2024-10-23T11:06:36Z)
• Knowledge Trees: Gradient Boosting Decision Trees on Knowledge Neurons as Probing Classifier [0.0]
  変圧器ニューラルネットワーク層の出力表現におけるロジスティック回帰は、言語モデルの構文特性の探索に最もよく用いられる。 本研究では, 変圧器層の出力表現におけるロジスティック回帰を用いた場合よりも, 知識ニューロン層での勾配向上決定木を用いた方が有利であることを示す。
  論文  参考訳（メタデータ） (2023-12-17T15:37:03Z)
• Robust Counterfactual Explanations for Neural Networks With Probabilistic Guarantees [11.841312820944774]
  我々は、微分可能なモデルに対する潜在的なモデル変更に対する反ファクトの堅牢性を定量化するために、 $textitStability$ と呼ぶ尺度を提案します。 私たちの主な貢献は、十分高い値のtextitStability$の反ファクトが、高い確率でポテンシャルモデルが変化した後も有効であることを示すことです。
  論文  参考訳（メタデータ） (2023-05-19T20:48:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。