論文の概要: Intrinsic Information Rates of Summaries in Simulation-Based Inference

• arxiv url: http://arxiv.org/abs/2610.34703v1
• Date: Mon, 26 Oct 2026 01:49:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.675617
• Title: Intrinsic Information Rates of Summaries in Simulation-Based Inference
• Title（参考訳）: シミュレーションに基づく推測における要約の内在的情報率
• Abstract要約: シミュレーションベースの推論は、しばしば観測値を$Y$で固定次元の要約を$S$にエンコードし、後続条件は$S$に限られる。 本稿では,要約を$Y$から$S$の損失チャネルとしてモデル化することによって,予算の明確化を図る。
• 参考スコア（独自算出の注目度）: 0.9176056742068814
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Simulation-based inference often encodes observations $Y$ into a fixed-dimensional summary $S$, with the posterior conditioning only on $S$. While exact preservation often requires infinite information, any such summary imposes a finite information budget on inference which is rarely an explicit choice or measurement. In this paper, we make the budget explicit by modeling the summary as a lossy channel from $Y$ to $S$, and ask two questions: how large must the budget be, and how best is it spent? First, we show for parametric models that this budget, measured by the mutual information $I(Y;S)$, grows unboundedly as the posterior concentrates, even when fixed-dimensional sufficient statistics exist. More generally, the required budget is set by the distribution of the random posterior, and we bound it from above by quantizing posteriors and from below by converses that weight each posterior state by its probability. Second, we show that a finite budget is best spent stochastically. Under a common-support condition on the simulator, covering the continuous observation spaces typical of simulators, a deterministic summary necessarily loses something: a stochastic summary achieves \emph{strictly} lower distortion than every deterministic summary and every time-shared mixture of deterministic summaries at every positive budget too small for exact preservation. Motivated by these results, we insert a binary bottleneck into neural posterior estimators, measure each trained summary's rate, and compare summaries at matched rate. Across four simulator benchmarks and several encoder families, stochastic bottlenecks achieve favorable rate--loss tradeoffs, and architecture rankings change at different information budgets.
• Abstract（参考訳）: シミュレーションベースの推論は、しばしば観測値を$Y$で固定次元の要約を$S$にエンコードし、後続条件は$S$に限られる。 正確な保存はしばしば無限の情報を必要とするが、そのような要約は推論に有限の情報予算を課す。 本稿では,要約を$Y$から$S$の損失チャネルとしてモデル化することによって,予算の明確化を図る。 まず, 相互情報$I(Y;S)$で測定されたこの予算は, 固定次元の十分な統計量が存在する場合でも, 後部集中度が大きくなるにつれて非有界的に増大することを示す。 より一般的に、要求される予算はランダムな後面の分布によって設定され、後面の量子化と、その確率によって各後面の重みを逆転することによって上から有界となる。 第二に、有限の予算が確率的に使われるのが最適であることを示す。 シミュレータの共通支持条件の下では、シミュレータの典型的な連続的な観測空間をカバーする決定論的要約は、必ず何かを失う: 確率的要約は、すべての決定論的要約と、正確に保存するには小さすぎる全ての正の予算における決定論的要約の時間的混合よりも低い歪みを達成する。 これらの結果から,2次ボトルネックを神経後部推定器に挿入し,訓練された各要約の速度を測定し,一致した速度で要約を比較する。 4つのシミュレータベンチマークといくつかのエンコーダファミリ、確率的ボトルネックが好適なレート-ロストレードオフを実現し、異なる情報予算でアーキテクチャランキングが変化する。

関連論文リスト

• Score-Repellent Monte Carlo: Toward Efficient Non-Markovian Sampler with Constant Memory in General State Spaces [48.37754141688874]
  本稿では,スコアと状態表現の次元である$Rd$のスコア評価の実行平均で履歴を要約するフレームワークを提案する。 この歴史は指数的なスコア傾きによって代理対象に変換され、歴史に基づく反発の大きさを制御する際の反発の強さを表す$$がインデックス付けされる。 連続目標モデルと離散エネルギーベースモデルの実験では、メモリ使用率を$O(d)$に抑えつつ、推定値の分散とモードカバレッジを改善した。
  論文  参考訳（メタデータ） (2026-04-24T18:39:50Z)
• Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
  分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。 主な課題は、敵の計測と非同期である。 その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
  論文  参考訳（メタデータ） (2026-04-07T11:45:55Z)
• Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
  我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。 我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-20T19:34:53Z)
• SGD with Dependent Data: Optimal Estimation, Regret, and Inference [3.038061705362137]
  勾配降下 (SGD) は, 広範囲の段階的スケジュールと探索率スキームの下で, 独立情報と依存情報の両方に対応できることが示されている。 SGDは統計的に最適な推定誤差と後悔を同時に達成し,既存の結果を拡張し,改善することを示す。 オンラインのスパースレグレッションのために、我々はSGDベースの新しいアルゴリズムを開発し、ストレージの$d$のみを使用し、1イテレーションあたり$O(d)$フロップを必要とする。
  論文  参考訳（メタデータ） (2026-01-04T04:52:11Z)
• Robust Variational Bayes by Min-Max Median Aggregation [13.102667562202386]
  本稿では,データセットの汚染と流出率を処理するための頑健なベイズフレームワークを提案する。 提案手法では,データを$m$不整合部分集合に分割し,ロバストなアグリゲーション原理に基づく共同最適化問題を定式化する。 以上の結果より,2段階のアプローチは,$m$の局所的後肢を直接集約するよりも,近似誤差が小さいことが示唆された。
  論文  参考訳（メタデータ） (2025-12-14T13:02:00Z)
• Precise Asymptotics of Bagging Regularized M-estimators [20.077783679095443]
  我々は,アンサンブル推定器の正方形予測リスクを,正規化M値推定器のサブタグ化(サブサンプルブートストラップ集約)により特徴付ける。 我々の分析の鍵は、重なり合うサブサンプル上の推定値と残差との相関関係の結合挙動に関する新しい結果である。 サブサンプルサイズ,アンサンブルサイズ,正規化の併用最適化は,全データに対してのみ,正規化器の最適化を著しく上回る。
  論文  参考訳（メタデータ） (2024-09-23T17:48:28Z)
• Quantization for decentralized learning under subspace constraints [61.59416703323886]
  エージェントがサブスペース制約を最小化するために個々のコスト関数を持つ分散最適化問題を考察する。 本稿では,エージェントが確率化量子化器を用いて推定値を圧縮する適応分散型戦略を提案し,検討する。 この分析は、量子化ノイズのいくつかの一般的な条件下では、平均二乗誤差と平均ビットレートの両方で戦略が安定であることを示している。
  論文  参考訳（メタデータ） (2022-09-16T09:38:38Z)
• BRIO: Bringing Order to Abstractive Summarization [107.97378285293507]
  非決定論的分布を前提とした新しい学習パラダイムを提案する。 提案手法は, CNN/DailyMail (47.78 ROUGE-1) と XSum (49.07 ROUGE-1) のデータセット上で, 最新の結果が得られる。
  論文  参考訳（メタデータ） (2022-03-31T05:19:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。