論文の概要: A Positional Realizability Theory of Length Generalization in Single-Head Attention

• arxiv url: http://arxiv.org/abs/2610.41218v1
• Date: Fri, 30 Oct 2026 03:54:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.610673
• Title: A Positional Realizability Theory of Length Generalization in Single-Head Attention
• Title（参考訳）: 単頭注意における長さ一般化の位置的実現可能性理論
• Abstract要約: 我々は、故意に制御された抽象、単一の位置のみの注意頭に対して、実現可能性理論を与える。 制御された単一頭型で$_L$は、分類学の一般化と非一般化(PE、タスク)細胞を正確に分離する。
• 参考スコア（独自算出の注目度）: 5.9093319913275435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Why does length generalization (LG) depend so sharply on the positional encoding (PE)? Relative schemes extrapolate fixed offsets, absolute schemes fix positions, and neither handles growing offsets. We give a realizability theory for a deliberately controlled abstraction, a single positional-only attention head, that derives this well-documented empirical pattern and says precisely where it holds and breaks. The device is a simulation transfer operator $T_L$ that re-evaluates a selected length-$L_0$-realizing positional kernel on the longer grid, with a scalar $α_L \in [0,1]$ read off before any training from $(Φ, t_n)$ alone. Here $α_L$ serves as the computable witness of that taxonomy's derivation, not as a stronger empirical predictor. Our results are a relative-head deep-row characterization for kernels with a strict unique global maximizer (Theorem 2), an absolute/relative duality that derives the pattern (Proposition 4), a learned-absolute underdetermination result, and a static expressivity bound; a sufficiency theorem (Theorem 1) bridges $α_L$ to LG, and the general deterministic case is a precise open conjecture (correcting a tempting but invalid "outside-colspan" argument). Experiments confirm the structure: in the controlled single-head regime $α_L$ exactly separates the taxonomy's generalizing and non-generalizing (PE, task) cells (2625 trained-model measurements; stable at vocab 64/d=128). Together, these results turn the received PE taxonomy into a positional-kernel transfer theorem, and identify the content and depth mechanisms that escape it. The theory concerns the positional channel alone: tasks whose targets depend on token content, including the standard length-generalization suite such as addition and sorting, fall outside Theorem 2.
• Abstract（参考訳）: なぜ長さ一般化(LG)は位置符号化(PE)に大きく依存するのか? 相対的なスキームは固定オフセットを外挿し、絶対的なスキームは位置を固定する。 我々は、故意に制御された抽象化、単一の位置のみの注意ヘッドに対して、このよく文書化された経験的パターンを導出し、それがどこに保持され、壊れるかを正確に述べる、実現可能性理論を提示する。 この装置は、選択した長さ−L_0$の実現位置カーネルを長グリッド上で再評価するシミュレーション転送演算子$T_L$であり、スカラー$α_L \in [0,1]$は、$(, t_n)$のみからのトレーニング前に読み取る。 ここでは、$α_L$は、その分類学の派生の計算可能な証人であり、より強い経験的予測者ではない。 我々の結果は、厳密な一意的な大域的最大値を持つカーネルの相対的頭部深部評価(Theorem 2)、このパターンを導出する絶対的/相対的双対性(Proposition 4)、学習的絶対的下決定結果、静的表現性バウンド; 十分定理(Theorem 1)がLGに$α_L$を橋渡し、一般決定論のケースは正確なオープン予想(テンポは正しいが、無効な「外界」の引数を補正する)である。 制御された単一ヘッド状態の$α_L$は、分類の一般化と非一般化(PE、タスク)細胞を正確に分離する(2625の訓練されたモデル測定; vocab 64/d=128で安定)。 これらの結果は、受信したPE分類を位置移動定理に変換し、そこから逃れる内容と深さのメカニズムを特定する。 目標がトークンの内容に依存するタスク、例えば加算やソートのような標準長一般化スイートは、Theorem 2の外に落ちます。

関連論文リスト

• Observation Design for Certified Control Authority: Projection--Estimability Separation and Active-Face Equivalence [2.7954473524479275]
  ゲートは認証可能なアクションのみを実行し、その観測がサポートするもののみを認証する。 本稿では,安全な行動の集合を最大化するために,どのように観測を設計すべきかを問う。
  論文  参考訳（メタデータ） (2026-09-05T07:57:04Z)
• The geometry of AI validation: Exact certification limits for iid best-of-N search [0.0]
  信頼性面上での検証とデプロイメントのルールをカーネルとして表現する。 B_m,N=1+2sum_r=1m(-1)rcos2Nr/[(m+1)]$
  論文  参考訳（メタデータ） (2026-08-21T15:18:11Z)
• The leading-soft cubic graviton self-interaction on the black-hole horizon [0.0]
  我々はアインシュタイン・ヒルベルト作用をシュワルツシルト地平線上の立方次へと拡張する。 ガッダム-グルーネンボーム-'t'フーフトフレームワーク上での立方体グラビトン自己相互作用を導出する。 我々は、IBM Qiskit/Aer上で得られたハミルトンのリアルタイムダイナミクスをシミュレートする。
  論文  参考訳（メタデータ） (2026-07-23T08:59:13Z)
• Provably Adaptive Linear Approximation for the Shapley Value and Beyond [73.0940890296463]
  基本的で長期にわたる課題は、その効率的な近似である。 一般に用いられるすべての半値に対して$P(|hatboldsymbol-boldsymbol|_2geq)leq$を必要とする線形空間アルゴリズムを開発する。 本アルゴリズムは,各ユーティリティ関数の平均二乗誤差の明示的最小化を可能にする。
  論文  参考訳（メタデータ） (2026-04-09T16:38:14Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• A Relative-Budget Theory for Reinforcement Learning with Verifiable Rewards in Large Language Model Reasoning [48.70183357021465]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルの推論能力を改善するための主要なパラダイムである。 本稿では, 相対予算$:= H/mathbbE[T]$という単一の量を用いて, この変動を説明する式式予算理論を提案する。 報奨の分散と情報トラジェクトリの確率を制御して,$$がサンプル効率を決定することを示す。
  論文  参考訳（メタデータ） (2026-02-02T01:31:52Z)
• A Probabilistic Inference Scaling Theory for LLM Self-Correction [49.42817548142699]
  大規模言語モデル(LLM)は、自己補正によって生成された回答を洗練する能力を示した。 本稿では,精度変化のダイナミクスをモデル化する確率論的理論を提案し,マルチラウンド自己補正で観測された性能改善について説明する。
  論文  参考訳（メタデータ） (2025-08-22T15:15:38Z)
• Generalised Kochen-Specker Theorem for Finite Non-Deterministic Outcome Assignments [0.0]
  Kochen-Specker (KS) の定理は、集合 $0, p, 1-p, 1$ for $p in [0,1/d) cup (1/d, 1/2]$ で結果を与えるような隠れ変数理論を規定する。
  論文  参考訳（メタデータ） (2024-02-14T14:02:37Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。