論文の概要: The Deterministic Horizon: Impossibility Results as Design Specifications for Trustworthy AI Systems
- arxiv url: http://arxiv.org/abs/2605.23024v1
- Date: Thu, 21 May 2026 20:48:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:20.091002
- Title: The Deterministic Horizon: Impossibility Results as Design Specifications for Trustworthy AI Systems
- Title(参考訳): 決定論的水平:信頼に値するAIシステムの設計仕様としての不可能な結果
- Authors: Dongxin Guo,
- Abstract要約: この論文は、好奇心から不合理性の結果を設計規則に変える。
そのフラッグシップとなる結果は、アーキテクチャだけで設定された精度の高い天井を証明している。
同じ引数がサブフィールドにまたがって再キャストされる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models now write software, draft legal documents, and produce clinical notes, yet fundamental limits, from Turing and Arrow to the No Free Lunch theorems, shape what computation can do. This thesis turns such impossibility results from curiosities into design rules. Its flagship result proves an accuracy ceiling set by architecture alone: past a critical reasoning depth, no amount of training moves it, at any adapter rank, sample size, or loss function. Computable before deployment from layer count and embedding width, this Deterministic Horizon is measured between nineteen and thirty-one across twelve transformer architectures, and fine-tuning on optimal-length traces recovers under four percentage points. The mechanism is a capacity invariant of the residual stream, and an information-theoretic conversion yields super-exponential accuracy decay past the horizon. An unconditional circuit-complexity lower bound for modular exponentiation against constant-depth prime-modulus circuits complements this result. The same argument recasts across subfields: preference learning under any misspecified model jumps discontinuously in sample complexity; multi-stage retrieval pipelines require at least as many independent metrics as stages; standard truthful auctions fail for agents with prompt-dependent valuations; and zero-knowledge verification of neural inference pays a measured overhead of one hundred ten to one hundred ninety times per non-linear activation. Together these form a catalogue of sixteen specifications, each pairing a computable boundary, a quantified violation cost, and a constructive design rule: two compositions are proved, one pairing is an honest obstruction, and four remain open. The impossibility-specification methodology is offered for the generative research programme that trustworthy AI may need. Every fundamental limit of AI is also a design rule.
- Abstract(参考訳): 大規模言語モデルでは、ソフトウェアを作成し、法的文書を起草し、チューリングやアローからノー・フリー・ランチの定理まで基本的な限界を定め、計算ができることを形作る。
この論文は、キュリオシティによるそのような不合理性の結果を設計規則に変える。
重要な推論の深さを過ぎても、どんなアダプタのランクやサンプルサイズ、損失関数でも、トレーニングの量は動かない。
層数と埋め込み幅から展開する前に計算可能であり、この決定論的水平線は12のトランスフォーマーアーキテクチャで19から31の間隔で測定され、最適長トレースの微調整は4ポイント以下で回復する。
このメカニズムは残留流の容量不変量であり、情報理論変換は地平線を越えて超指数的精度の崩壊をもたらす。
非条件回路-複素度下界は、定数深さの素モジュラー回路に対するモジュラー指数に対して、この結果を補完する。
任意の不特定モデルの下での選好学習は、サンプルの複雑さにおいて不連続にジャンプする マルチステージのパイプラインは、少なくとも多くの独立したメトリクスをステージとして要求する 標準真理オークションは、即時依存のバリュエーションを持つエージェントには失敗する 神経推論のゼロ知識検証は、非線形アクティベーション毎に100から90倍のオーバーヘッドを支払う。
これらが16の仕様のカタログを形成し、それぞれが計算可能な境界、定量化される違反コスト、建設的な設計規則を組む。
不合理性特定手法は、信頼できるAIが必要とする生成研究プログラムのために提供される。
AIの基本的限度はすべて、デザインルールである。
関連論文リスト
- Forgetting That Sticks: Quantization-Permanent Unlearning via Circuit Attribution [3.6704226968275253]
量子化を乗り越える手法はモデルにほとんど変化しないが, 圧縮条件下では, 有意義な忘れ方を実現するための勾配に基づく手法を示す。
因果回路の属性を組み合わせることで両モードを解消し,最小限の差分集合部分グラフを分離するMANSUを提案する。
さらに,構造的消去と行動抑制を区別する機構的検証尺度であるCircuit Attribution Divergence(CAD)を導入する。
論文 参考訳(メタデータ) (2026-05-14T17:44:10Z) - INCRT: An Incremental Transformer That Determines Its Own Architecture [0.0]
INCRT(Incremental Transformer)は、トレーニング中に独自の構造を決定するアーキテクチャである。
各成長決定は、オンライン計算可能な1つの幾何学量によって駆動される。
SARS-CoV-2の変種分類とSST-2の感情分析の実験は、両方の結果を確認した。
論文 参考訳(メタデータ) (2026-04-12T15:56:47Z) - JANUS: Structured Bidirectional Generation for Guaranteed Constraints and Analytical Uncertainty [0.0]
JANUS(Joint Ancestral Network for Uncertainity and Synthesis)は、ベイズ決定木のDAGを用いて機能を統合するフレームワークである。
主な革新はReverse-Topological Back-fillingであり、因果グラフを通して制約を後方に伝播するアルゴリズムである。
Janusは最先端の忠実度(Detection Score 0.497)を実現し、不均衡なデータのモード崩壊を排除し、複雑なカラム間制約を正確に処理する。
論文 参考訳(メタデータ) (2026-03-04T05:36:11Z) - Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions [50.1404916337174]
大規模言語モデル(LLM)における母国語の確率的サンプリングの大規模,統計的に活用された最初の監査について述べる。
バッチ生成は, ほぼ完全に崩壊する一方, 中央値のパスレートが13%であり, 統計的妥当性はわずかであることがわかった。
現在のLCMには機能的な内部サンプルが欠如しており、統計的保証を必要とするアプリケーションに外部ツールを使う必要があると結論付けている。
論文 参考訳(メタデータ) (2026-01-08T22:33:12Z) - On the Fundamental Limits of LLMs at Scale [15.459708840379975]
大きな言語モデル(LLM)は、スケーリングから非常に恩恵を受けていますが、これらの利益には5つの基本的な制限があります。
この研究は、LLMスケーリングの本質的に理論的な天井を形式化する統一された証明インフォームド・フレームワークを提示する。
確率に基づくトレーニングは、推論よりもパターン補完を優先し、トークン制限下での検索はセマンティックドリフトとカップリングノイズに苦しむこと、マルチモーダルスケーリングが浅度なクロスモーダルアライメントをいかに継承するかを示す。
論文 参考訳(メタデータ) (2025-11-17T01:55:33Z) - Datarus-R1: An Adaptive Multi-Step Reasoning LLM for Automated Data Analysis [0.0]
本稿では,Qwen 2.5-14B-Instructの言語モデルであるDatarus-R1-14Bを提案する。
Datarusは、独立した問合せペアではなく、推論ステップ、コード実行、エラートレース、自己補正、最終的な結論を含む完全な分析トラジェクトリに基づいて訓練されている。
論文 参考訳(メタデータ) (2025-08-18T21:58:18Z) - Refined Risk Bounds for Unbounded Losses via Transductive Priors [67.12679195076387]
線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。
我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
論文 参考訳(メタデータ) (2024-10-29T00:01:04Z) - Neuro-Symbolic Entropy Regularization [78.16196949641079]
構造化予測では、目的は構造化されたオブジェクトをエンコードする多くの出力変数を共同で予測することである。
エントロピー正則化(Entropy regularization)という1つのアプローチは、決定境界が低確率領域にあるべきであることを示唆している。
我々は、モデルが有効対象を確実に予測することを奨励する損失、ニューロシンボリックエントロピー正規化を提案する。
論文 参考訳(メタデータ) (2022-01-25T06:23:10Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳(メタデータ) (2021-06-06T18:05:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。