論文の概要: A Measure-Theoretic Analysis of Reasoning: Structural Generalization and Approximation Limits

• arxiv url: http://arxiv.org/abs/2605.19944v1
• Date: Tue, 19 May 2026 15:00:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.456652
• Title: A Measure-Theoretic Analysis of Reasoning: Structural Generalization and Approximation Limits
• Title（参考訳）: 推論の測度論的解析:構造一般化と近似限界
• Abstract要約: 離散軌跡を計量空間に投影し、領域シフトを定量化する。 カントロビッチ双対性を呼び起こすと、アーキテクチャ上のリプシッツ連続性と汎関数近似極限によるOOD一般化が成立する。
• 参考スコア（独自算出の注目度）: 17.425526755350948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While empirical scaling laws for LLM reasoning are well-documented, the theoretical mechanisms governing out-of-distribution (OOD) generalization remain elusive. We formalize reasoning via optimal transport, projecting discrete trajectories into a continuous metric space to quantify domain shifts using the Wasserstein-1 distance. Invoking Kantorovich duality, we bound OOD generalization via architectural Lipschitz continuity and functional approximation limits. This exposes two primary constraints. First, position-dependent attention (e.g., Absolute Positional Encoding) fails to preserve shift invariance, yielding an $Ω(1)$ Lipschitz constant and expected risk, whereas shift-invariant mechanisms (e.g., Rotary Embeddings) preserve equivariance and bound the error. Second, by mapping sequential backtracking to a Dyck-$k$ language, we establish a strict circuit depth lower bound for $\text{TC}^0$ Transformers. Scaling physical layer depth is necessary to avert representation collapse -- a constraint that scaling representation width cannot bypass due to irreducible approximation bounds in Barron spaces. Evaluations across 54 Transformer configurations on combinatorial search corroborate these bounds, demonstrating that generalization risk degrades monotonically with the Wasserstein domain shift.
• Abstract（参考訳）: LLM推論の実証的なスケーリング法則は十分に文書化されているが、アウト・オブ・ディストリビューション(OOD)の一般化を規定する理論的メカニズムはいまだ解明されていない。 最適な輸送によって推論を定式化し、離散軌跡を連続距離空間に投影し、ワッサーシュタイン-1距離を用いて領域シフトを定量化する。 カントロビッチ双対性を呼び起こすと、アーキテクチャ上のリプシッツ連続性と汎関数近似極限によるOOD一般化が成立する。 これは2つの主要な制約を露呈する。 第一に、位置依存的な注意(例えば絶対位置エンコーディング)はシフト不変性を保たず、$Ω(1)$リプシッツ定数と期待されるリスクをもたらすが、シフト不変機構(例えばロータリー埋め込み)は等分散を保ち、誤差を束縛する。 第二に、シーケンシャルなバックトラックをDyck-$k$言語にマッピングすることで、$\text{TC}^0$ Transformersの厳しい回路深さを低くする。 物理層深さのスケーリングは、表現の崩壊を避けるために必要であり、表現幅のスケーリングはバロン空間の既約近似境界によってバイパスできないという制約である。 組合せ探索における54のトランスフォーマー構成に対する評価はこれらの境界を相関させ、一般化リスクはワッサーシュタイン領域シフトと単調に低下することを示した。

関連論文リスト

• Discretization and Statistical Consistency of Functional Flow Matching [0.0]
  有限ランク再構成の強い一貫した列に対して、有限条件速度目標の強い$L2$収束を証明した。 学習フローに対して、集団重ね合わせ経路に直接結合すると、終端ワッサーシュタイン境界が得られる。
  論文  参考訳（メタデータ） (2026-08-05T07:05:47Z)
• A Compositional Theory of Causally Masked Transformers [50.88598486616582]
  モデルが実装した力学から直接表現性を導出する形式化を開発する。 各アテンションヘッドは、レイヤ内で独立して自身の状態を更新する。 修正されたソフトアテンションは、不可逆なチェックリストのような状態をサポートする。
  論文  参考訳（メタデータ） (2026-07-29T14:47:19Z)
• Phasor Attention: Mean Root Square Normalization for Phase Manifold Preservation [3.0459410574367314]
  平均根角正規化(MRSNorm)について紹介する。 MRSNormは数学的に従来のスケーリングパラダイムを反転させる。 我々は、この制約がピタゴラスのアイデンティティによって支配される組込み三角勾配クリッパーをもたらすことを解析的に実証した。
  論文  参考訳（メタデータ） (2026-07-20T11:10:51Z)
• Nonconvex Composite Functional Constraints via First-Order Augmented Lagrangian Methods under Local Regularity [10.643433352418915]
  一次非バランス性非コンケーブ最小値再構成の条件境界を均一に拡張した。 双対正則化では、大域的局所論はバイアスとともに議論される。 KKT。
  論文  参考訳（メタデータ） (2026-07-09T21:28:29Z)
• Deforming the Trail: Baseline Quantum Circuitry for $\text{SU(2)}_k$ Lattice Gauge Theory [0.0]
  我々は、ゲージ不変完備化の戦略を提供し、ユニタリティを計算ヒルベルト空間全体へ拡張する。 変形したプラケット作用素の物理的ヒルベルト空間次元は、定数係数の非変形的因子と同値であることを示す。 Q-変形は、量子回路合成の利点を提供する信頼性の高いトランケーションとして精査され続けている。
  論文  参考訳（メタデータ） (2026-05-14T17:01:35Z)
• Circuit Complexity of Hierarchical Knowledge Tracing and Implications for Log-Precision Transformers [2.688207424884465]
  経験的に、再帰不変木で訓練されたトランスフォーマーエンコーダは、置換不変ショートカットに収束する。 これらの知見は, 階層構造に基づく事前知識追跡のための構造認識的目的と反復的メカニズムを動機付けている。
  論文  参考訳（メタデータ） (2026-03-25T01:10:42Z)
• Grokking as a Variance-Limited Phase Transition: Spectral Gating and the Epsilon-Stability Threshold [0.0]
  一般化には、適応に固有のテクスタイニソトロピックな修正が必要であり、これは溶液の接空間にノイズを誘導する。 この研究は、モジュラー演算タスクにおけるAdamWのダイナミクスを分析し、一般化から記憶への遷移を制御するスペクトルゲーティングのメカニズムを明らかにする。
  論文  参考訳（メタデータ） (2026-03-16T16:18:18Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Riemannian Flow Matching for Disentangled Graph Domain Adaptation [51.98961391065951]
  グラフドメイン適応(GDA)は典型的には、ユークリッド空間におけるグラフ埋め込みの整列に逆学習を使用する。 DisRFMは、埋め込みとフローベースのトランスポートを統一する幾何学的なGDAフレームワークである。
  論文  参考訳（メタデータ） (2026-01-31T11:05:35Z)
• Random-Matrix-Induced Simplicity Bias in Over-parameterized Variational Quantum Circuits [72.0643009153473]
  本稿では,観測可能な期待値とパラメータ勾配の両方がシステムサイズに指数関数的に集中するHaar型普遍性クラスに,表現的変分アンサーゼが入ることを示す。 その結果、そのような回路によって誘導される仮説クラスは、近点関数の狭い族に高い確率で崩壊する。 テンソル-ネットワークベースおよびテンソル-ハイパーネットワークパラメータ化を含むテンソル構造VQCは、ハール型普遍性クラスの外にある。
  論文  参考訳（メタデータ） (2026-01-05T08:04:33Z)
• Variational Perturbation Theory in Open Quantum Systems for Efficient Steady State Computation [1.5689418447376589]
  摂動理論は参照パラメータの周りの定常状態を拡張することができる。 擬逆数に依存し、収束半径が有限である。 擬似逆計算を不要とする2つの数値戦略を考案する。
  論文  参考訳（メタデータ） (2025-03-31T18:00:01Z)
• Simulating scalar field theories on quantum computers with limited resources [62.997667081978825]
  量子ビットコンピュータ上での格子スカラー場理論を実装するための量子アルゴリズムを提案する。 このアルゴリズムは、通常の対称性相と壊れた対称性相の両方において、幅広い入力パラメータの効率的な$phi4$状態の準備を可能にする。
  論文  参考訳（メタデータ） (2022-10-14T17:28:15Z)
• Barycentric-alignment and reconstruction loss minimization for domain generalization [30.459247038765568]
  本稿では,機械学習におけるドメイン一般化(DG)の理論と実践を推し進める。 本稿では,WBAE (Wasserstein Barycenter Auto-Encoder) という新しいDGアルゴリズムを提案する。 数値計算により,提案手法は複数のデータセット上で現在最先端のDGアルゴリズムより優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-04T16:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。