論文の概要: The Need for an External Observer Formalizing the Sufficiency Gap: A Mathematical Extension of Mixture Identifiability and Contextual Grounding in Sequence Models
- arxiv url: http://arxiv.org/abs/2605.26711v2
- Date: Fri, 29 May 2026 12:17:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 13:54:20.981808
- Title: The Need for an External Observer Formalizing the Sufficiency Gap: A Mathematical Extension of Mixture Identifiability and Contextual Grounding in Sequence Models
- Title（参考訳）: 十分ギャップを定式化する外部オブザーバの必要性:連続モデルにおける混合識別性と文脈グラウンドの数学的拡張
- Abstract要約: 我々は、決定論的テキスト構造と、保存されていない潜在状態によって支配される1つのランダム構造を持つ2元混合登録プロセスを構築した。
結果として生じるエントロピー差は通常の最適化誤差ではない。
補正信号は、その忠実度が誤解を招く状態に割り当てられたテキストのみの後方重みを超えると、テキスト履歴によって引き起こされる後続のオッズを正確に反転させる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We construct a binary mixed-regime process with one deterministic textual regime and one random regime governed by an unobserved latent state. Even an ideal infinite-capacity sequence predictor that exactly recovers the text-only marginal law can become overconfident when the observed prefix is compatible with the wrong latent regime. The resulting entropy difference is not an ordinary optimization error; it is a sufficiency gap caused by marginalization over an unobserved state. We then formalize retrieval, tool use, and external grounding through an auxiliary binary signal with fidelity $γ\in [1/2,1]$. The resulting Bayesian update yields a contextual dominance threshold: a corrective signal reverses the posterior odds induced by the textual history exactly when its fidelity exceeds the text-only posterior weight assigned to the misleading regime. This threshold reduces, but does not generally eliminate, the sufficiency gap; complete closure requires perfect revelation of the relevant latent state or an equivalent verification mechanism. The analysis clarifies why temperature scaling cannot restore missing context, why grounding mechanisms must be both informative and learnably usable by the model, and why autonomous sequence models require structurally decoupled observers or verifiers in high-stakes domains.
- Abstract（参考訳）: 我々は、決定論的テキスト構造と、保存されていない潜在状態によって支配される1つのランダム構造を持つ2元混合登録プロセスを構築した。
テキストのみの限界法則を正確に回復する理想的な無限容量シーケンス予測器でさえ、観察されたプレフィックスが間違った潜伏状態と互換性があるときに過信される。
結果として生じるエントロピー差は通常の最適化誤差ではない。
次に、検索、ツール使用、および外部グラウンドを、フィデリティが$γ\in [1/2,1]$の補助バイナリ信号を通して形式化する。
補正信号は、その忠実度が、誤解を招く体制に割り当てられたテキストのみの後方重みを超えると、テキスト履歴によって引き起こされる後続のオッズを正確に反転させる。
この閾値は減少するが、一般的には排除しないが、充足ギャップは十分であり、完全閉包には関連する潜伏状態や等価な検証機構の完全な啓示が必要である。
この分析は、なぜ温度スケーリングが失われたコンテキストを回復できないのか、なぜ基底機構がモデルによって情報的かつ学習的に有用でなければならないのか、そしてなぜ自律的なシーケンスモデルが高領域における構造的に分離されたオブザーバや検証器を必要とするのかを明らかにしている。
関連論文リスト
- Koopman-Based Robust Model Predictive Control for Nonlinear Systems with Stochastic Intermittent Measurements [11.153670606528545]
間欠状態測定は、制約付き非線形システムの予測制御をモデル化するための根本的な課題を提起する。
本稿では,確率的に歪んだソフト制約を持つクープマンベースのMPCフレームワークを開発する。
論文 参考訳（メタデータ） (2026-09-02T04:08:49Z) - Simplex Relaxation for Discrete Diffusion [58.33696160279345]
Simplax(Simplax)はディリクレ(Dirichlet)のカテゴリー拡張で、それぞれが崩壊したカテゴリ状態と補助的単純度値変数を結合する。
Simplaxは生成パープレキシティーを改善する。-無条件のOpenWebText生成におけるエントロピートレードオフ。
論文 参考訳（メタデータ） (2026-08-11T07:58:17Z) - Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability [51.56484100374058]
機械論的解釈可能性プリミティブに対する最初の識別可能性定理を証明した。
スペクトルは、正当性分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
論文 参考訳（メタデータ） (2026-08-10T19:42:01Z) - Bayesian Repetition Penalty: A Principled Adjacent-Conditional Framework for Reversing Attention Collapse in Autoregressive Language Models [9.240704665480939]
本稿では, 崩壊した生成パターンから生じる異常な信頼度を解析し, 補償する原理的枠組みを提案する。
結果として生じる自己正規化ペナルティ比$R=f(m,n,p)/f(np,n,p)$は、アドホックな標準化を必要としない。
論文 参考訳（メタデータ） (2026-07-17T17:01:57Z) - Replicating Belief, Not Bits: Epistemic State Replication for Agentic Systems [2.124730017640531]
分散システムにおいて、古典的ステートマシンレプリケーションモデルは、正しいレプリカが決定論的遷移を実行し、同じビットワイズ状態を生成すると仮定する。
本稿では,複製境界をデータ可視性から知識可視性へシフトさせるエージェント型分散システムのための信念複製層であるEpistemic State Replication (ESR)を提案する。
論文 参考訳（メタデータ） (2026-07-03T19:59:03Z) - Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。
両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。
我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
論文 参考訳（メタデータ） (2026-06-07T02:35:56Z) - Learning Context-conditioned Gaussian Overbounds for Convolution-Based Uncertainty Propagation [4.891998873486944]
本稿では,ニューラルネットワークを用いて文脈認識型ガウスオーバーバウンドを生成する統合学習フレームワークを提案する。
本稿では、離散連続保守主義とコンパクト領域目的正規性のスコープ解析について述べる。
このフレームワークはモダリティに依存しず、保守的で特徴条件のある不確実性推定を必要とする学習システムに適用できる。
論文 参考訳（メタデータ） (2026-05-15T09:47:05Z) - The Cost of Context: Mitigating Textual Bias in Multimodal Retrieval-Augmented Generation [18.83395586542378]
MLLM(Multimodal Large Language Models)とRAG(Retrieval-Augmented Generation)の統合が進んでいる
再破壊現象を特定し, 定式化した上で, 完全に正確な「おかしな」コンテキストを導入することで, 有能なモデルが早期に正しい予測を放棄する。
本稿では,BAIR(Bottleneck Attention Intervention for Recovery)を提案する。
論文 参考訳（メタデータ） (2026-05-07T02:27:04Z) - Out of Context: Reliability in Multimodal Anomaly Detection Requires Contextual Inference [54.774686416991386]
我々は、マルチモーダルな異常検出は、クロスモーダルな文脈推論問題として再編成されるべきであると主張している。
この観点はモデル設計、評価プロトコル、ベンチマーク構築に影響を及ぼす。
論文 参考訳（メタデータ） (2026-04-14T19:32:55Z) - Bias Inheritance in Neural-Symbolic Discovery of Constitutive Closures Under Function-Class Mismatch [1.6249267147413524]
PDE構造を持つ非線形反応拡散系における閉包のデータの駆動的発見について検討する。
物理的制約下で数値的代理を学習し、これらの代理を制限可能な記号族に圧縮し、未知の初期条件で明示的な前方シミュレーションによってシンボル的クロージャを検証する3段階のニューラルネットワーク・シンボリック・フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-01T19:39:04Z) - Verifying Closed-Loop Contractivity of Learning-Based Controllers via Partitioning [52.23804865017831]
本稿では,ニューラルネットワークによるパラメータ化を行う非線形制御系における閉ループ収縮の検証問題に対処する。
我々は、対称メッツラー行列の優越的固有値が非正であることを確かめるために、閉ループの縮約性に対するトラクタブルでスケーラブルな十分条件を導出する。
論文 参考訳（メタデータ） (2025-12-01T23:06:56Z) - The Mirror Loop: Recursive Non-Convergence in Generative Reasoning Systems [0.0]
外部からのフィードバックのない再帰的な自己評価は、進歩よりもむしろ改革をもたらすことが多い。
3つのモデル(OpenAI GPT-4o-mini, Anthropic Claude 3 Haiku, Google Gemini 2.0 Flash)と4つのタスクファミリー(パラメータ、コード、説明、リフレクション)にまたがる144の推論シーケンスについて検討する。
我々はこれを、生成的推論における自己補正の構造的限界の証拠として解釈する。
論文 参考訳（メタデータ） (2025-10-23T07:53:26Z) - Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
現実の時系列では欠落値が一般的である。
現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。
このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。
本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
論文 参考訳（メタデータ） (2025-09-27T20:57:48Z) - Beyond Progress Measures: Theoretical Insights into the Mechanism of Grokking [50.465604300990904]
グロキング(Grokking)とは、オーバーフィッティングの拡張後のテスト精度の急激な改善を指す。
本研究では、素数演算のタスクにおいて、Transformerの基盤となるグルーキング機構について検討する。
論文 参考訳（メタデータ） (2025-04-04T04:42:38Z) - Neuro-Symbolic Entropy Regularization [78.16196949641079]
構造化予測では、目的は構造化されたオブジェクトをエンコードする多くの出力変数を共同で予測することである。
エントロピー正則化(Entropy regularization)という1つのアプローチは、決定境界が低確率領域にあるべきであることを示唆している。
我々は、モデルが有効対象を確実に予測することを奨励する損失、ニューロシンボリックエントロピー正規化を提案する。
論文 参考訳（メタデータ） (2022-01-25T06:23:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。