論文の概要: Descriptive versus Regulatory Uncertainty in Bounded Predictive Systems

• arxiv url: http://arxiv.org/abs/2605.18909v1
• Date: Sun, 17 May 2026 17:41:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.870391
• Title: Descriptive versus Regulatory Uncertainty in Bounded Predictive Systems
• Title（参考訳）: 境界予測システムにおける記述的・規制的不確かさ
• Authors: Ahmed Gamal Eldin,
• Abstract要約: 現在のトランスフォーマーアーキテクチャは推論における記述的不確実性に限られていることを証明する。 トークンレベルのシャノンエントロピーは、パターン検索、因果作用素応用、分布外因果一般化にまたがるタスクで統計的に不変である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Any system that models the world under finite representational capacity must compress; any compression entails a prior; and the prior is the system's bias. What has not been established is whether uncertainty participates in the dynamics governing future behavior, or merely describes the output distribution without consequence. We introduce a structural distinction between descriptive uncertainty, which does not recursively modulate the system's policy, and regulatory uncertainty, which directly enters the optimization landscape and drives persistent adaptive restructuring. We prove formally that current transformer architectures are confined to descriptive uncertainty at inference. We ground this in thermodynamics via Landauer's principle: for uncertainty to be regulatory, epistemic error must cost real energy; in a decoupled system, hallucinations and correct derivations dissipate identical energy. We test this empirically across three locally-deployed language models (3B, 8B, 70B parameters). Token-level Shannon entropy is statistically invariant across tasks spanning pattern retrieval, causal operator application, and out-of-distribution causal generalization in all three models (all pairwise p >= 0.568; within-model ranges 0.011-0.028 nats), while task accuracy varies substantially across the same conditions (0%-100%). Entropy and accuracy are orthogonal. The decoupling is scale-invariant: larger models achieve higher accuracy but identical entropy flatness. This structural incapacity is not resolvable by additional parameters or training data. Genuine epistemic grounding requires physical coupling between thermodynamic substrate state and information processing cost.
• Abstract（参考訳）: 有限表現容量で世界をモデル化するシステムは、圧縮されなければならない。 確立されていないのは、将来の行動を管理するダイナミクスに不確実性が関与するかどうか、あるいは単に結果のない出力分布を記述するだけなのかである。 本稿では,システムの方針を再帰的に変更しない記述的不確実性と,最適化環境に直接侵入し,永続的な適応的再構成を促進する規制不確実性とを,構造的に区別する。 我々は、現在のトランスフォーマーアーキテクチャが推論における記述的不確実性に制限されていることを正式に証明する。 ランダウアーの原理により、これを熱力学に基礎づける: 規制が不確実であるためには、疫学的な誤りは実際のエネルギーを消費しなければならない; 分離されたシステムでは、幻覚と正しい導出は同一エネルギーを散布する。 これを3つの局所展開言語モデル(3B,8B,70Bパラメータ)で実証的に検証する。 トークンレベルのシャノンエントロピーは、パターン検索、因果演算、分布外因果一般化を含む3つのモデル(全て対p >=0.568; モデル内範囲0.011-0.028ナット)で統計的に不変であるが、タスク精度は同じ条件(0%-100%)で大きく異なる。 エントロピーと精度は直交する。 デカップリングはスケール不変であり、より大きなモデルはより高い精度でエントロピー平坦性を実現する。 この構造的非能力は、追加のパラメータやトレーニングデータによって解決できない。 遺伝性てんかんの接地には、熱力学的基質状態と情報処理コストの物理的結合が必要である。

関連論文リスト

• Structure-Aware Epistemic Uncertainty Quantification for Neural Operator PDE Surrogates [10.39662017167378]
  不確かさの定量化(UQ)は、計算的に効率的かつ空間的に忠実でなければならない。 本稿では,現代のNOに共通するモジュラー・アナロジーを利用した構造対応UQスキームを提案する。 挑戦的なPDEベンチマークの実験では、提案された構造認識設計により、より信頼性の高いカバレッジ、よりタイトなバンド、残留不確実性アライメントの改善が示されている。
  論文  参考訳（メタデータ） (2026-02-24T10:17:24Z)
• Entropy-Adaptive Fine-Tuning: Resolving Confident Conflicts to Mitigate Forgetting [44.23640219583819]
  強化ファインチューニング(Reinforced Fine-Tuning, SFT)はドメイン適応の標準パラダイムである。 本稿では,この問題を解決するためにエントロピー適応ファインチューニング(EAFT)を提案する。 EAFTは標準SFTの下流性能と一貫して一致し、汎用能力の劣化を著しく軽減する。
  論文  参考訳（メタデータ） (2026-01-05T14:28:17Z)
• Random-Matrix-Induced Simplicity Bias in Over-parameterized Variational Quantum Circuits [72.0643009153473]
  本稿では,観測可能な期待値とパラメータ勾配の両方がシステムサイズに指数関数的に集中するHaar型普遍性クラスに,表現的変分アンサーゼが入ることを示す。 その結果、そのような回路によって誘導される仮説クラスは、近点関数の狭い族に高い確率で崩壊する。 テンソル-ネットワークベースおよびテンソル-ハイパーネットワークパラメータ化を含むテンソル構造VQCは、ハール型普遍性クラスの外にある。
  論文  参考訳（メタデータ） (2026-01-05T08:04:33Z)
• Gradient Descent as Implicit EM in Distance-Based Neural Models [0.0]
  標準目的で訓練されたニューラルネットワークは確率的推論の特徴を持つ振る舞いを示す。 これらの現象を説明する直接的な導出を提供する。 推論が最適化に埋め込まれているため、明示的な推論アルゴリズムは不要である。
  論文  参考訳（メタデータ） (2025-12-31T10:56:43Z)
• Information-Theoretic Bounds and Task-Centric Learning Complexity for Real-World Dynamic Nonlinear Systems [0.6875312133832079]
  動的非線形系は静的および動的効果の結合による歪みを示す。 本稿では, 構造化分解, 分散解析, タスク中心の複雑性境界に基づく理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-09-08T12:08:02Z)
• Energy-based Epistemic Uncertainty for Graph Neural Networks [47.52218144839666]
  高品質な不確実性推定を提供するエネルギーベースモデル(EBM)を提案する。 我々は、エネルギー関数を正則化することにより、データ空間の可積分密度を確実に誘導する。 我々のフレームワークは、様々な分散シフトに敏感な事前学習GNNに適用可能な、シンプルで効果的なポストホック手法である。
  論文  参考訳（メタデータ） (2024-06-06T13:13:29Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Unifying supervised learning and VAEs -- coverage, systematics and goodness-of-fit in normalizing-flow based neural network models for astro-particle reconstructions [0.0]
  統計的不確実性、包括性、体系的不確実性、あるいは適度な尺度はしばしば計算されない。 データとラベルの共分散のKL分割の目的は、教師付き学習と変分オートエンコーダの統合を可能にすることを示す。 本稿では,特定の「基本順序」輪郭の数値積分を伴わずにカバレッジ確率を計算する方法について論じる。
  論文  参考訳（メタデータ） (2020-08-13T11:28:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。