論文の概要: Mitigating Representation Gaps in Amortized Bayesian Inference with Auxiliary Supervision
- arxiv url: http://arxiv.org/abs/2609.39525v1
- Date: Wed, 30 Sep 2026 11:21:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.602602
- Title: Mitigating Representation Gaps in Amortized Bayesian Inference with Auxiliary Supervision
- Title（参考訳）: Auxiliary Supervisionによる償却ベイズ推論における表現ギャップの緩和
- Abstract要約: 本稿では、内部表現に適応した補助的なガイダンス損失を伴って、トレーニングダイナミクスを改善する汎用的な代替案を提案する。
具体的には、トレーニングデータが豊富である場合には、そのようなガイダンスがより早く収束し、少ない場合にはパフォーマンスが向上することを示す。
我々は,特徴学習を行うネットワークと条件分布学習を行うネットワーク間の情報ボトルネックを,局所的な最適に抑えるように表現ギャップを定式化する。
- 参考スコア（独自算出の注目度）: 5.051692791192589
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Casting Bayesian inference as a neural network optimization problem targeting an amortized posterior is attractive, as it extends to otherwise intractable statistical models and offers near instantaneous inference for new datasets after prepaying the training cost. Although theory guarantees faithfulness under ideal convergence, practical amortized inference still requires iterating over architectures and optimization choices and ultimately ``satisficing'' under finite simulation, compute, and time budgets. Even the best-performing solution may thus retain avoidable representation gaps that typically require problem-specific fixes. Here, we propose a generic alternative which improves training dynamics with auxiliary guidance losses applied to internal representations. Specifically, we show how such guidance leads to faster convergence when training data is abundant and to better performance when it is scarce. We formalize representation gaps as getting stuck in a local optimum at the information bottleneck between the parts of the network tasked with feature learning and those tasked with conditional distribution learning, and offer a generic diagnostic to separate summary failures from inference failures. Finally, we demonstrate that auxiliary supervision improves convergence speed and accuracy on a range of challenging real-world inference problems.
- Abstract（参考訳）: 償却後部を対象とするニューラルネットワーク最適化問題としてのベイズ推論のキャスティングは、他の難解な統計モデルに拡張され、トレーニングコストを前払いした後、新しいデータセットにほぼ瞬時に推論を提供するため、魅力的である。
理論は理想的な収束の下で忠実さを保証しているが、実際的な償却推論はアーキテクチャと最適化の選択を反復し、究極的には有限のシミュレーション、計算、時間予算の下で「満足」を必要とする。
したがって、最高の性能のソリューションでさえ、通常は問題固有の修正を必要とする、回避可能な表現ギャップを保持することができる。
本稿では、内部表現に適応した補助的なガイダンス損失を伴って、トレーニングダイナミクスを改善する汎用的な方法を提案する。
具体的には、トレーニングデータが豊富である場合には、そのようなガイダンスがより早く収束し、少ない場合にはパフォーマンスが向上することを示す。
本研究では,特徴学習を行うネットワークと条件分布学習を行うネットワーク間の情報ボトルネックに対して,局所的な最適点に収まるように表現ギャップを定式化し,要約失敗と推論失敗を区別するための一般的な診断を行う。
最後に,様々な現実の推論問題に対するコンバージェンス速度と精度の向上を実証する。
関連論文リスト
- Adaptive Recurrent Message Passing for Test Time Computing on Graphs [80.56829418752513]
繰り返しグラフモデルでは,グラフデータとアーキテクチャ設計の固有のミスマッチを克服できることを示す。
本稿では,アダプティブ・リカレントグラフモデルであるAdaRを提案する。
論文 参考訳（メタデータ） (2026-06-21T12:14:11Z) - Optimal Data Acquisition for Reinforcement Learning: A Large Deviations Perspective [5.848643785361479]
本稿では,政策選択誤差確率の指数的減衰率を原理的効率指標として紹介する。
我々は、ネストされた問題の最適解という観点から、最適性の相補的な2つの概念を定式化する。
得られた強化学習アルゴリズムは, 最適性基準の下でほぼロマンスに最適であることが証明された。
論文 参考訳（メタデータ） (2026-05-27T16:08:56Z) - Bridging Training and Merging Through Momentum-Aware Optimization [8.035521056416242]
大規模ニューラルネットワークとタスク固有の計算モデルのトレーニングには、パラメータの重要度推定が必要である。
トレーニング中に現在の計算曲率情報を処理し、それを破棄し、類似した情報をマージするために再計算する。
トレーニング中に運動量と曲率の統計を分解し、類似した情報をマージするために再計算する統合フレームワークを導入する。
論文 参考訳（メタデータ） (2025-12-18T22:37:33Z) - Optimizers Qualitatively Alter Solutions And We Should Leverage This [62.662640460717476]
ディープニューラルネットワーク(DNN)は、SGDのようなローカル情報のみを使用する場合、損失のグローバルな最小限に収束することを保証できない。
コミュニティは、既存のメソッドのバイアスを理解すること、また、ソリューションの特定の特性を誘発する明示的な意図で、新しいDNNを構築することを目的としている。
論文 参考訳（メタデータ） (2025-07-16T13:33:31Z) - In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。
これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。
本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-04T03:39:28Z) - Optimization Proxies using Limited Labeled Data and Training Time -- A Semi-Supervised Bayesian Neural Network Approach [3.26805553822503]
制約付き最適化問題は、在庫管理や電力網など、さまざまなエンジニアリングシステムで発生する。
標準ディープニューラルネットワーク(DNN)ベースの機械学習プロキシは、ラベル付きデータが不足し、トレーニング時間が制限された実用的な環境では有効ではない。
論文 参考訳（メタデータ） (2024-10-04T02:10:20Z) - Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
論文 参考訳（メタデータ） (2023-11-03T03:18:40Z) - On Accelerating Distributed Convex Optimizations [0.0]
本稿では,分散マルチエージェント凸最適化問題について検討する。
提案アルゴリズムは, 従来の勾配偏光法よりも収束率を向上し, 線形収束することを示す。
実ロジスティック回帰問題の解法として,従来の分散アルゴリズムと比較して,アルゴリズムの性能が優れていることを示す。
論文 参考訳（メタデータ） (2021-08-19T13:19:54Z) - Decentralized Statistical Inference with Unrolled Graph Neural Networks [26.025935320024665]
分散最適化アルゴリズムをグラフニューラルネットワーク(GNN)にアンロールする学習ベースフレームワークを提案する。
エンドツーエンドトレーニングによるリカバリエラーを最小限にすることで、この学習ベースのフレームワークは、モデルのミスマッチ問題を解決する。
コンバージェンス解析により,学習したモデルパラメータがコンバージェンスを加速し,リカバリエラーを広範囲に低減できることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-04T07:52:34Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳（メタデータ） (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。