論文の概要: It Just Takes Two: Scaling Amortized Inference to Large Sets

• arxiv url: http://arxiv.org/abs/2605.07972v1
• Date: Fri, 08 May 2026 16:32:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.204513
• Title: It Just Takes Two: Scaling Amortized Inference to Large Sets
• Title（参考訳）: 修正された推論を大規模セットにスケーリングする2つの方法
• Authors: Antoine Wehenkel, Michael Kagan, Lukas Heinrich, Chris Pollard,
• Abstract要約: 後続モデルから表現学習を分離する戦略を導入する。 提案手法は平均プールのDeep Setを最大2個のセットで訓練し,任意のセットサイズに一般化するエンコーダを生成する。 私たちのアプローチは、計算のごく一部で標準ベースラインにマッチしたり、性能を上回ります。
• 参考スコア（独自算出の注目度）: 1.2879523047871226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural posterior estimation has emerged as a powerful tool for amortized inference, with growing adoption across scientific and applied domains. In many of these applications, the conditioning variable is a set of observations whose elements depend not only on the target but also on unknown factors shared across the set. Optimal inference therefore requires treating the set jointly, which in turn requires training the estimator at the deployment set size -- a regime where memory and compute quickly become prohibitive. We introduce a simple, theoretically grounded strategy that decouples representation learning from posterior modeling. Our method trains a mean-pool Deep Set on sets of size at most two, producing an encoder that generalizes to arbitrary set sizes. The inference head is then finetuned on pre-aggregated embeddings, making training cost essentially independent of the deployment set size N. Across scalar, image, multi-view 3D, molecular, and high-dimensional conditional generation benchmarks with N in the thousands, our approach matches or outperforms standard baselines at a fraction of the compute.
• Abstract（参考訳）: 神経後部推定は、科学的および応用領域にまたがって採用が増加する中で、償却推論の強力なツールとして登場した。 これらの応用の多くにおいて、条件変数は、対象だけでなく、集合全体で共有される未知の因子にも依存する観測の集合である。 そのため、最適な推論では、セットを共同で扱う必要があり、結果として、配置セットサイズで推定器をトレーニングする必要がある。 後続モデルから表現学習を分離する,単純で理論的に基礎的な戦略を導入する。 提案手法は平均プールのDeep Setを最大2個のセットで訓練し,任意のセットサイズに一般化するエンコーダを生成する。 インスケーラ,画像,マルチビュー3D,分子,高次元条件生成ベンチマークをNで数千回行った場合,我々のアプローチは計算のごく一部で標準ベースラインと一致し,性能が向上する。

関連論文リスト

• Making Foundation Models Probabilistic via Singular Value Ensembles [56.4174499669573]
  ファンデーションモデルは機械学習において支配的なパラダイムとなり、大規模な事前学習を通じて様々なタスクにまたがる顕著なパフォーマンスを実現している。 不確実性を定量化し、独立したモデルのアンサンブルを訓練する標準的なアプローチは、アンサンブルサイズと線形にスケールする禁制的な計算コストを発生させる。 本稿では,単純だが強力なコア仮定に基づいて,パラメータ効率の高い暗黙アンサンブル手法であるSVEを提案する。 本研究では,SVEの不確かさの定量化が,基本モデルのパラメータ数を1%以下に増加させながら,明示的な深層アンサンブルに匹敵することを示す。
  論文  参考訳（メタデータ） (2026-01-29T18:07:18Z)
• Tuning-Free Structured Sparse Recovery of Multiple Measurement Vectors using Implicit Regularization [13.378211527081582]
  複数の測定ベクトルにおけるスパース信号を復元するためのチューニング不要なフレームワークを提案する。 最適化力学は「モメンタムのような」効果を示し、真のサポートにおける行のノルムは他のものよりも著しく速く成長することを示した。
  論文  参考訳（メタデータ） (2025-12-03T02:53:11Z)
• RGM: A Robust Generalizable Matching Model [49.60975442871967]
  RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。 合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。 さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
  論文  参考訳（メタデータ） (2023-10-18T07:30:08Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。