論文の概要: Capability from Access Structure, Not Scale: Lower Bounds and Pre-Registered Tests for Hybrid Sequence Models
- arxiv url: http://arxiv.org/abs/2607.14144v1
- Date: Tue, 14 Jul 2026 05:52:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:32.838992
- Title: Capability from Access Structure, Not Scale: Lower Bounds and Pre-Registered Tests for Hybrid Sequence Models
- Title(参考訳): 大規模ではないアクセス構造からの能力:ハイブリッドシーケンスモデルにおける下位境界と事前登録試験
- Abstract要約: ネットワークがスケールするにつれて、異種ネットワークの表現は現実の共有モデルへと収束する。
O(Nb) 状態構造を持つシャノン壁,固定窓を持つ水平壁,固定深度のみの組成を持つ回路壁の3つの資源壁を命名した。
明示的な分離可能性の仮定の下では、ハイブリッドは各壁の価格を支払うことによって3つ全てを横切るので、その能力は厳密に超加法的である。
- 参考スコア(独自算出の注目度): 14.867869624585886
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Platonic Representation Hypothesis (PRH) holds that as models scale, representations of heterogeneous networks converge toward a shared model of reality. We propose its sequel and boundary, the Capability Convergence Hypothesis (CCH): under a fixed per-token inference budget, representational convergence does not entail capability convergence. Capability instead converges toward a class, the access-complete hybrid: any architecture holding both a compressive O(1)-state channel and a scalable verbatim-index channel. We anchor it on a witness task, the Newton's-apple problem in an infinite stream, and name three resource walls: a Shannon wall barring any o(Nb)-state architecture, a horizon wall barring any fixed window, and a circuit wall barring fixed-depth attention-only composition (conditional on TC0 != NC1). Under an explicit separability assumption a hybrid crosses all three by paying each wall's price, so capability is strictly super-additive under composition. We separate what we prove from what we conjecture: the access-completeness principle rests on information-theoretic lower bounds and pre-registered experiments, while the field-level convergence trend is an economics-motivated conjecture. We report the first pre-registered small-scale tests under criteria frozen before the data: the predicted scissors gap is measured (exact-retrieval error 0.994 vs. 0.000 once a 64-scalar state gains one global-attention layer), the state-tracking bifurcation lands at the registered boundary, and a conjunction witness shows an irreducibly two-channel solution; one prediction failed with its direction reversed and is reported as such. Representational convergence is given freely by scale; capability convergence must be purchased by access structure.
- Abstract(参考訳): プラトン表現仮説(Platonic Representation hypothesis、PRH)は、モデルがスケールするにつれて、異種ネットワークの表現は現実の共有モデルへと収束する。
我々は,その続編と境界,能力収束仮説(CCH: Capability Convergence hypothesis)を提案する。
代わりに、アクセス完全ハイブリッドであるクラスに収束する: 圧縮的なO(1)状態チャネルとスケーラブルな冗長インデックスチャネルの両方を保持するアーキテクチャ。
証人タスク、ニュートン・アップル問題(英語版)を無限のストリームに固定し、シャノンの壁は任意の o(Nb)-ステートアーキテクチャ、水平壁は固定窓、回路壁は固定深度のみのコンポジション(TC0 !=NC1で条件付き)である。
明示的な分離可能性の仮定の下では、ハイブリッドは各壁の価格を支払うことによって3つ全てを横切るので、その能力は厳密に超加法的である。
アクセス完全性原理は情報理論的な下界と事前登録された実験に依存し、場レベルの収束傾向は経済に動機づけられた予想である。
予測したハサミギャップ(64スカラー状態が1つのグローバルアテンション層を獲得すれば0.994対0.000)、登録境界における状態追跡分岐領域、および同伴証人は、不可解な2チャネル解を示し、その方向が逆転して1つの予測が失敗したことを報告した。
表現収束はスケールによって自由に与えられ、能力収束はアクセス構造によって購入されなければならない。
関連論文リスト
- Compute-Bounded Security Assurance - Coverage, Verification, and Response under Resource Constraints [0.0]
追加の推論計算は、正しく解決されたセキュリティ保証タスクの数を増やすことができる。
我々は、成功、ユニークなカバレッジ、承認された証拠、運用上の保護を分離するリソース制約のあるフレームワークを開発する。
概念的防御アーキテクチャは、証拠分析、判断、運用権限を分離する。
論文 参考訳(メタデータ) (2026-09-07T13:07:55Z) - Diffusion Flow Matching: Dimension-Improved KL Bounds and Wasserstein Guarantees [15.697611355182005]
我々は,ブラウン運動に基づくDFMの収束保証を行い,離散化誤差に着目した。
解析はクルバック・リーブラー(KL)の発散と2-ワッサーシュタイン距離で行う。
論文 参考訳(メタデータ) (2026-06-15T12:00:13Z) - Convergence Theory for Iterative LLM-Based Neural Architecture Search: A Parametric Cross-Entropy Framework with Closed-Form Proxy Reliability [48.83701310501069]
大規模言語モデル(LLM)は、反復型ニューラルアーキテクチャサーチ(NAS)におけるジェネレータとしてますます使われている。
我々は,LCM-NASを,実行可能プログラム上でのパラメトリッククロスエントロピー(CE)法としてモデル化する。
我々は,(1)エリートアーキテクチャの反復LEM微調整は,LLMファミリーに制限されたCE更新と同等であり,(2)期待されるアーキテクチャ品質はサイクル毎に単調に低下せず,(3)エリートセットの確率は幾何率で一定点に収束する,という6つの結果を示した。
論文 参考訳(メタデータ) (2026-05-28T15:45:19Z) - The Digital Twin Counterfactual Framework: A Validation Architecture for Simulated Potential Outcomes [0.0]
Digital Twin Counterfactual Framework (DTCF)
五段階検証アーキテクチャは、シミュレーターが正しい反事実を生成できるという不当な主張を、観測可能なデータに対する偽証可能なテストに変換する。
分解は因果量から極端に検証されるものへと分離する。
共同因果関係の主張は明示的な前提付きとなる。
論文 参考訳(メタデータ) (2026-04-01T19:04:15Z) - Causal Identification from Counterfactual Data: Completeness and Bounding Results [54.147490305295456]
本研究では,任意のレイヤ3分布の集合から対実的なクエリを識別するアルゴリズムを開発した。
我々は、物理的に実現可能な分布から反事実を特定できる理論的限界を確立する。
我々は、そのような量の新たな解析的境界を、実現可能な対実データを用いて導出する。
論文 参考訳(メタデータ) (2026-02-26T22:48:12Z) - Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。
本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
論文 参考訳(メタデータ) (2025-12-31T12:08:29Z) - From Tail Universality to Bernstein-von Mises: A Unified Statistical Theory of Semi-Implicit Variational Inference [0.12183405753834557]
半単純変分推論 (SIVI) は$q() = int k(| z) r(dz)$ という形の近似後部を構成する
本稿では,このような家族に対する「近似最適化統計学」を統一的に展開する。
論文 参考訳(メタデータ) (2025-12-05T19:26:25Z) - Comprehensive Validation of Replica Symmetry Breaking via Quantum Annealing: From Ground States to Topological Collapse [0.0]
我々はジョルジョ・パリシのシェリントン・カークパトリックスピンガラスの正確な解を4000スピンに拡張する。
レプリカ対称性の破れの出現と崩壊を調査する。
この包括的検証は、複素系における基本的な統計力学を探索するための量子的優位性を確立する。
論文 参考訳(メタデータ) (2025-11-09T14:33:22Z) - Counterfactual Realizability [52.85109506684737]
本稿では, 正規化可能性の定義, 分布からサンプルを抽出する能力を導入し, 任意の反事実分布が実現可能であるかどうかを判定する完全アルゴリズムを開発する。
本稿では、因果的公正さと因果的強化学習のモチベーション例を用いて、この新たな反ファクト的データ収集フレームワークの意義を説明する。
論文 参考訳(メタデータ) (2025-03-14T20:54:27Z) - Exploiting hidden structures in non-convex games for convergence to Nash
equilibrium [62.88214569402201]
現代の機械学習アプリケーションは、非協調的なナッシュリリアとして定式化することができる。
決定論的環境と決定論的環境の両方に明確な収束保証を提供する。
論文 参考訳(メタデータ) (2023-12-27T15:21:25Z) - Max-Margin Works while Large Margin Fails: Generalization without
Uniform Convergence [55.26547500184405]
既存のツールでは、テストの損失がトレーニングの損失に近いことを保証し、候補モデルのクラスを均一に制御するエム統一コンバージェンス(UC)に依存している。
Nagarajan と Kolter は、ある単純な線形および神経ネットワークの設定において、任意の一様収束境界は空であり、UC が失敗する環境での一般化の証明方法に関する疑問を解き放つことを示している。
我々は、ある信号対雑音のしきい値を超えると、これらの2つの設定でほぼテスト損失が得られないことを示す新しいタイプのマージン境界を証明した。
論文 参考訳(メタデータ) (2022-06-16T02:46:26Z) - Sharp Bounds for Federated Averaging (Local SGD) and Continuous
Perspective [49.17352150219212]
Federated AveragingFedAvg(ローカルSGD)は、Federated Learning(FL)で最も人気のあるアルゴリズムの1つである。
微分方程式(SDE)の観点から、この量を解析する方法を示す。
論文 参考訳(メタデータ) (2021-11-05T22:16:11Z) - From Information Theory Puzzles in Deletion Channels to Deniability in
Quantum Cryptography [0.0]
まず、実験データに基づいて、後部のエントロピーが定数列によって最小化されることを予想する。
次に,DC-QKEを提案するために,隠蔽通信とデニビリティの接続を確立する。
完全ホモモルフィック暗号をベースとした,効率的な耐保磁・量子セキュリティ投票方式を提案する。
論文 参考訳(メタデータ) (2020-03-25T22:20:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。