論文の概要: A Conditional No-Hair Theorem for Transformers: How Language Models Forget Their Prompt

• arxiv url: http://arxiv.org/abs/2610.24133v1
• Date: Fri, 16 Oct 2026 19:03:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 10:48:01.85826
• Title: A Conditional No-Hair Theorem for Transformers: How Language Models Forget Their Prompt
• Title（参考訳）: 変圧器の条件付きノーヘア理論:言語モデルがいかにプロンプトを許すか
• Abstract要約: 自己回帰変換器がトークンを$t$を生成した後、そのプロンプトをどの程度保持するかを問う。 同じ継続文が続く2つの異なるプロンプトを考えると、隠れた状態の違いはプロンプトのみから生じる。 隠れた状態間の距離は、およそ$t-$の電力法則として崩壊し、$=1$は固定プロンプトの均一な注意のシェアが減少し、より小さな値がより長いメモリを意味する速度である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We ask how much an autoregressive transformer retains of its prompt after generating $t$ tokens. Consider two different prompts followed by the same continuation text, so that any difference in their hidden states comes from the prompt alone, and we find that the distance between their hidden states decays approximately as a power law $t^{-α}$, where $α=1$ is the rate at which a fixed prompt's share of uniform attention shrinks and smaller values mean longer memory. Trained models forget fast ($α\approx0.55$--$0.7$), untrained ones slowly ($α\approx0.2$--$0.5$). We prove that this offset is $O\big(P(\log t)^{L-1}/t\big)$ for a prompt of length $P$ and depth $L$. The bound holds for finite-depth pre-LN softmax transformers with bounded attention logits, under one additional condition: the pre-norm activations stay away from zero. The mechanism is geometric: the prompt's direct influence is diluted as the context grows, and \emph{relay} --- continuation tokens passing on what earlier tokens read from the prompt --- can only add logarithmic factors. This is what we call the \emph{conditional no-hair theorem}: given the text generated so far, the prompt's influence on the next token vanishes as $t$ grows, so any property of the prompt that survives, such as its language, must be carried by the text itself. An exactly solvable linear relay model shows that the bound cannot be improved and reproduces the rise of the local exponent towards $1$ seen in untrained networks. Cancelling the dilution with a logit bias stops the decay early in training and reverses it after, so dilution is necessary for the forgetting we measure; untrained networks and the solvable model show it is also sufficient.
• Abstract（参考訳）: 自己回帰変換器がトークンを$t$を生成した後、そのプロンプトをどの程度保持するかを問う。 2つの異なるプロンプトに同じ継続文が続くので、隠れた状態の差はプロンプトのみから生じ、隠れた状態間の距離は、約$t^{-α}$として崩壊し、そこでは、固定されたプロンプトの均一な注意のシェアが減少し、より小さな値がより長いメモリを意味する。 訓練されたモデルは高速(α\approx0.55$-0.7$)、訓練されていないものはゆっくりと(α\approx0.2$--0.5$)を忘れる。 このオフセットが$O\big(P(\log t)^{L-1}/t\big)$であることを示す。 有限深度プレLNソフトマックス変換器のバウンドホールドは1つの追加条件の下で有界な注意ロジットを持つ:プレノルム活性化はゼロに近づかない。 このメカニズムは幾何学的であり、プロンプトの直接的な影響は、コンテキストが大きくなるにつれて希薄になり、'emph{relay} ---- プロンプトから読み取ったトークンに渡される継続トークンは、対数要素を追加するだけでよい。 これまでのテキストが生成されると、次のトークンに対するプロンプトの影響は、$t$が成長するにつれて消滅するので、その言語のように生き残るプロンプトのあらゆる特性は、テキスト自身で持たなければならない。 正確に解ける線形リレーモデルでは、境界は改善できないことを示し、訓練されていないネットワークで見られる1ドルに対する局所指数の上昇を再現する。 ロジットバイアスによる希釈を達成することは、訓練の早い段階で減衰を停止させ、その後に逆転させるので、測定する忘れ物には希釈が必要である。

関連論文リスト

• Approximation Property of Dropout Neural Networks: Sobolev Rates and Confidence Bounds [1.0152838128195467]
  定数深さとサイズ$widetilde O_n,d(p-9varepsilon-maxd/n,2 log (1/)$。 この構成は、有界な局所ワーク、成功した近似事象の局所化、およびマルチスケールのテイラー分解を組み合わせたものである。
  論文  参考訳（メタデータ） (2026-09-30T19:19:07Z)
• Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
  一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。 スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
  論文  参考訳（メタデータ） (2026-09-07T01:38:41Z)
• Sharp Minimax Regret for Infinite-Memory Logistic Prediction [55.29259818039367]
  Lag $j$はスケール$r_j$の予測に影響を与え、$n_T,j=T-j+1$の予測ラウンドに入る。 すべての要約可能なエンベロープに対して、局所化された混合は$cR_T(r)leq C_T(r)$を証明する。 指数関数やエンベロープの場合、有限サンプル条件の下では、トープリッツ・デサインの逆は$cR_T(r)geq c_T(r)$である。
  論文  参考訳（メタデータ） (2026-08-27T01:31:46Z)
• Attention is Just Another Name for Coupling?: A Fast-Slow ODE Perspective on Hierarchical Pretraining [0.0]
  本稿では,ゼロ初期化ゲート補間により,時間的に遅い第2のカップリングが高速経路にフィードバックされるかどうかを問う。 本論文は、高速スローODE形式を具体的なニューラルネットワークとしてインスタンス化する。
  論文  参考訳（メタデータ） (2026-06-15T13:54:15Z)
• Transformers Provably Learn to Internalize Chain-of-Thought [65.41010769606844]
  Implicit Chain-of-Thought (ICoT) は、隠れた状態の中で中間段階を内部化するモデルを訓練する。 Log-ICoTはシンキングトークンを一度に削除し、$k$のリニアから対数へのステージ数を削減します。 多層変圧器の実験により理論が確認され、より深い層に段階的に推論がどのように吸収されるかが可視化される。
  論文  参考訳（メタデータ） (2026-05-27T15:17:06Z)
• Numerical Fragility in Transformers: A Layer-wise Theory for Explaining, Forecasting, and Mitigating Instability [0.0]
  エラーがいつどこで発生するかを予測する一階のモジュールワイズ理論を提示する。 自己注意のために、3つの解釈可能な診断に分解する層間境界を導出する。 また、精度と幅を意識したLayerNormインジケータ$rho_rm LN$も導入する。
  論文  参考訳（メタデータ） (2025-10-17T01:03:02Z)
• Towards Understanding the Universality of Transformers for Next-Token Prediction [20.300660057193017]
  因果変換器は、与えられたコンテキストに対して次のトークンを予測するように訓練される。 我々は,この現象を次々に予測するトランスフォーマーの近似能力について研究することで理解する。
  論文  参考訳（メタデータ） (2024-10-03T21:42:21Z)
• The Sample Complexity of Online Contract Design [120.9833763323407]
  オンライン環境での隠れアクションの主エージェント問題について検討する。 各ラウンドにおいて、主席は、各結果に基づいてエージェントへの支払いを指定する契約を投稿する。 エージェントは、自身のユーティリティを最大化する戦略的な行動選択を行うが、プリンシパルによって直接観察できない。
  論文  参考訳（メタデータ） (2022-11-10T17:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。