論文の概要: Attention Mean Fields Predict Average Representation Dynamics and Reveal Context-Specific Computation

• arxiv url: http://arxiv.org/abs/2609.16382v1
• Date: Mon, 14 Sep 2026 21:47:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.251348
• Title: Attention Mean Fields Predict Average Representation Dynamics and Reveal Context-Specific Computation
• Title（参考訳）: 注意点平均表現ダイナミクスとReveal Context-Specific Computation
• Abstract要約: 注意力の平均場分析を導入する。 1つのトークンからの平均的な注意は、表現層層を運ぶカーネルを定義する。 コーパス全体の条件で、カーネルは表現幾何学の平均ケース進化を予測する。
• 参考スコア（独自算出の注目度）: 3.834280852935897
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A language model's representation geometry is not predetermined; it evolves as the model runs. A faithful account of that geometry must capture that dynamic process, and so cannot be based solely on model-independent statistics such as co-occurrence. Here we introduce a mean-field analysis of attention. The average attention from one token to another defines a kernel that carries representations layer to layer and can be iterated through the network to model how the geometry is transformed. We condition this average two ways. Conditioned on a whole corpus, the kernel predicts the average-case evolution of representation geometry. Conditioned instead on a single context, it predicts the expected geometry for that context. A head's departure from that prediction, its \emph{mean-field deviation}, isolates the context-specific computation that the mean field misses. Under the corpus-conditional reading, the kernel yields an open-loop model: from the input embeddings and the frozen weights alone, we can iterate the kernel and the model's own MLPs over token representations, never consulting a measured deviation at any layer. The resulting prediction is highly accurate. In early training the model and its corpus mean field are indistinguishable. Replace every attention head with its mean field, and the substitution leaves the loss on real text unchanged. Around the onset of induction, the two diverge, and the gap widens as representations become contextualized. Under the context-conditional reading, deviation from the mean field is a task-agnostic measure of context-specific computation. The residual decomposes additively into unusual attention routing and contextualization of the transported values. Across controlled induction and few-shot settings, greater deviation tracks greater reliance on in-context information.
• Abstract（参考訳）: 言語モデルの表現幾何学は所定のものではなく、モデルの実行に伴って進化する。 その幾何学の忠実な説明は、その動的な過程を捉えなければならないので、共起のようなモデルに依存しない統計にのみ基づくことはできない。 ここでは、注目度の平均フィールド分析を紹介する。 あるトークンから別のトークンへの平均的な注意は、表現層を層に運ぶカーネルを定義し、ネットワークを通して幾何が変換されるかをモデル化することができる。 私たちはこの平均的な2つの方法を条件にします。 コーパス全体の条件で、カーネルは表現幾何学の平均ケース進化を予測する。 単一のコンテキストで条件付きで、そのコンテキストに対して期待される幾何学を予測する。 その予測からヘッドの離脱する「emph{mean-field deviation}」は、平均場が見逃す文脈固有の計算を分離する。 入力埋め込みと凍結重みのみから、カーネルとモデル自身のMLPをトークン表現上で繰り返し、任意の層で測定された偏差に言及することはない。 結果の予測は極めて正確である。 初期の訓練では、モデルとそのコーパス平均場は区別できない。 すべてのアテンションヘッドを平均フィールドに置き換え、置換は実際のテキストに損失をそのまま残します。 誘導の開始の前後で、2つの分岐とギャップが広がり、表現が文脈化される。 文脈条件読解では、平均場からの偏差は文脈固有の計算のタスクに依存しない尺度である。 残余分解は、異常な注意ルーティングと輸送された値の文脈化に付加的に分解する。 制御された誘導と数発の設定によって、より大きな偏差は、コンテキスト内情報への依存度を高める。

関連論文リスト

• The Geometry of Ignorance: LLMs Know When to Temper Bayesian Priors [11.541745717034667]
  言語モデルでは,埋め込み行列の1つの方向を用いて,手掛かりがほとんどない場合を予測する。 最終的な予測状態をこの方向に投影すると、トーケン1つ当たりの負荷係数が$$である。 最終予測状態で$を引き上げたり下げたりすることで、KLの発散前のユニグラムから遠ざかる予測を導いたりする。
  論文  参考訳（メタデータ） (2026-09-02T05:05:50Z)
• Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability [51.56484100374058]
  機械論的解釈可能性プリミティブに対する最初の識別可能性定理を証明した。 スペクトルは、正当性分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
  論文  参考訳（メタデータ） (2026-08-10T19:42:01Z)
• Structure Before Collapse: Transient semantic geometry in next-token prediction [33.942301586178914]
  Neural Collapseは、バランスの取れたワンホット分類が、モデル表現を互いに等しく遠くにプッシュする、と予測する。 次世代の予測言語モデルは、主にワンホットラベルでトレーニングされる。 トレーニングの初期に意味幾何学が出現し,共有属性によるクラスタ表現が現れる。
  論文  参考訳（メタデータ） (2026-06-25T08:33:34Z)
• A geometric relation of the error introduced by sampling a language model's output distribution to its internal state [0.0]
  GPTスタイルの言語モデルは、予測確率分布が複数のトークンに分散する生成点における単一トークンの変化に敏感である。 このことから,トークン空間の幾何学はモデルが内部的に問題を表現する方法を直接反映していることが示唆された。
  論文  参考訳（メタデータ） (2026-05-06T13:28:16Z)
• Grid-World Representations in Transformers Reflect Predictive Geometry [0.0]
  次世代予測器は、しばしば潜伏世界の内部表現とその規則を発達させる。 ランダムウォークの正確な分布からサンプリングしたベクトルに対してデコーダのみの変換器を訓練する。 モデルと層をまたいで、学習された表現は基底真実の予測ベクトルと強く一致し、しばしば低次元である。 単純化された玩具システムで実証されているが、最適予測を支持する接頭辞表現は、ニューラルネットワークが文法やその他の構造的制約を内部化する方法を研究する上で有用なレンズとなる可能性がある。
  論文  参考訳（メタデータ） (2026-03-17T15:47:33Z)
• Learning and extrapolating scale-invariant processes [3.331543293568139]
  地震や雪崩のような力の法則の振る舞いを示すプロセスは、どのようにして、どれくらいの程度でスケールフリーなプロセスが適用できるのかという問題に取り組む。 我々は、モデルの外挿能力を必要とするトレーニングセットにおける希少事象など、大きな事象を予測することに興味を持っている。
  論文  参考訳（メタデータ） (2026-01-21T09:35:44Z)
• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• Generative prediction of flow fields around an obstacle using the diffusion model [12.094115138998745]
  本稿では,障害物まわりの流れ場を予測するために,障害物形状を入力として利用する幾何学的-フロー拡散モデルを提案する。 マルコフ過程は障害物形状に条件付けされ、各ステップで除去されるノイズを推定する。 我々は、円、楕円、長方形、三角形を含む単純な障害物を取り巻く流れのデータセットを用いて、幾何学と流れの拡散モデルを訓練する。
  論文  参考訳（メタデータ） (2024-06-30T15:48:57Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• An Indirect Rate-Distortion Characterization for Semantic Sources: General Model and the Case of Gaussian Observation [83.93224401261068]
  ソースモデルは、情報の意味的側面に対する最近の関心の高まりによって動機付けられている。 intrinsic状態は、一般に観測不可能なソースの意味的特徴に対応する。 レート歪み関数は、ソースのセマンティックレート歪み関数である。
  論文  参考訳（メタデータ） (2022-01-29T02:14:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。