論文の概要: Scalable Expectation Estimation with Subtractive Mixture Models

• arxiv url: http://arxiv.org/abs/2503.21346v1
• Date: Thu, 27 Mar 2025 10:25:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:53:51.689502
• Title: Scalable Expectation Estimation with Subtractive Mixture Models
• Title（参考訳）: 抽出混合モデルによるスケーラブルな期待推定
• Authors: Lena Zellinger, Nicola Branchini, Víctor Elvira, Antonio Vergari,
• Abstract要約: 負の混合モデル(SMM)はサンプリングを複雑にし、高次元ではスケールしないコストのかかる自己回帰手法やアセプション・リジェクトアルゴリズムを必要とする。 本研究では、SMMの差分表現を用いて、SMMからサンプルを除去する非バイアスのIS推定器(DeltatextEx$)を構築する。 実験の結果,$DeltatextEx$は自動回帰サンプリングに匹敵する推定精度を達成できるが,MC推定ではかなり高速であることがわかった。
• 参考スコア（独自算出の注目度）: 11.150301369804664
• License:
• Abstract: Many Monte Carlo (MC) and importance sampling (IS) methods use mixture models (MMs) for their simplicity and ability to capture multimodal distributions. Recently, subtractive mixture models (SMMs), i.e. MMs with negative coefficients, have shown greater expressiveness and success in generative modeling. However, their negative parameters complicate sampling, requiring costly auto-regressive techniques or accept-reject algorithms that do not scale in high dimensions. In this work, we use the difference representation of SMMs to construct an unbiased IS estimator ($\Delta\text{Ex}$) that removes the need to sample from the SMM, enabling high-dimensional expectation estimation with SMMs. In our experiments, we show that $\Delta\text{Ex}$ can achieve comparable estimation quality to auto-regressive sampling while being considerably faster in MC estimation. Moreover, we conduct initial experiments with $\Delta\text{Ex}$ using hand-crafted proposals, gaining first insights into how to construct safe proposals for $\Delta\text{Ex}$.
• Abstract（参考訳）: 多くのモンテカルロ (MC) および重要サンプリング (IS) 法は、その単純さとマルチモーダル分布を捉える能力に混合モデル (MM) を用いる。 近年, 負の係数を持つMM (Subtractive Mixed Model, SMMs) は, より表現性が高く, 生成モデルに成功している。 しかし、彼らの負のパラメータはサンプリングを複雑にし、高次元ではスケールしないコストのかかる自己回帰手法やアクセプション・リジェクトアルゴリズムを必要とする。 本研究では、SMMの差分表現を用いて、SMMからサンプルを除去し、SMMによる高次元予測推定を可能にする非バイアスIS推定器($\Delta\text{Ex}$)を構築する。 実験の結果,$\Delta\text{Ex}$は,MC推定においてかなり高速でありながら,自動回帰サンプリングに匹敵する推定精度が得られることがわかった。 さらに、手作りの提案を使って$\Delta\text{Ex}$で初期実験を行い、$\Delta\text{Ex}$に対して安全な提案を構築する方法について最初の洞察を得る。

関連論文リスト

• MM-RLHF: The Next Step Forward in Multimodal LLM Alignment [59.536850459059856]
  MM-RLHF, $mathbf120k$ fine-fine, human-annotated preference comparison pairsを含むデータセットを紹介する。 本稿では,報酬モデルの品質向上とアライメントアルゴリズムの効率向上のために,いくつかの重要なイノベーションを提案する。 我々のアプローチは、$mathbf10$の異なる次元と$mathbf27$のベンチマークで厳格に評価されている。
  論文  参考訳（メタデータ） (2025-02-14T18:59:51Z)
• On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
  決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。 我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。 本研究は,専門家の選択に重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-02-05T12:31:18Z)
• Efficient Propagation of Uncertainty via Reordering Monte Carlo Samples [0.7087237546722617]
  不確実性伝播は、入力変数の不確実性に基づいてモデル出力の不確実性を決定する技術である。 本研究は,全ての試料が平均的に有用であるにもかかわらず,他の試料よりも有用であるとする仮説を考察する。 本稿では、MCサンプルを適応的に並べ替える手法を導入し、UPプロセスの計算コストの削減をもたらす方法を示す。
  論文  参考訳（メタデータ） (2023-02-09T21:28:15Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)
• Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
  PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
  論文  参考訳（メタデータ） (2022-05-12T11:15:47Z)
• Bayesian Target-Vector Optimization for Efficient Parameter Reconstruction [0.0]
  対象ベクトル最適化方式を導入し,モデル関数のコントリビューションのすべてについて検討し,パラメータ再構成問題に特に適している。 また、実際のモデル関数の観測がほとんどない正確な不確実性推定を決定できる。
  論文  参考訳（メタデータ） (2022-02-23T15:13:32Z)
• MCCE: Monte Carlo sampling of realistic counterfactual explanations [2.156170153103442]
  MCCEは、新規なオン・マニフォールドで、動作可能で、有効な対実的説明法である。 可変特徴の共役分布をモデル化することにより、オン・マニフォールド、動作可能、有効な反事実を生成する。 我々は,MCCEを4つのよく知られたデータセットを用いて,最先端のmanifold法と比較した。
  論文  参考訳（メタデータ） (2021-11-18T16:40:44Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)
• Model Mismatch Trade-offs in LMMSE Estimation [0.0]
  モデルミスマッチを用いた線形最小平均二乗誤差(LMMSE)推定フレームワークについて検討する。 基底系の回帰器をランダム変数としてモデル化することにより、平均二乗誤差(MSE)の平均挙動を解析する。 本研究の結果は,MSEが標本数と基礎システムにおけるパラメータ数と推定モデルとの相互作用にどのように依存するかを定量的に検証した。
  論文  参考訳（メタデータ） (2021-05-25T14:16:45Z)
• Reversible Jump PDMP Samplers for Variable Selection [1.5469452301122175]
  分数的決定論的マルコフ過程(PDMP)に基づくモンテカルロアルゴリズムの新しいクラスは、最近大きな可能性を示している。 PDMPサンプリング装置は、ほぼ至る所で識別可能な後部密度からのみサンプリングすることができる。 モデルの離散空間とパラメータの連続空間を共同で探索できる可逆ジャンプPDMPサンプリング器の開発方法について述べる。
  論文  参考訳（メタデータ） (2020-10-22T14:46:33Z)
• Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
  本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。 最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。 対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-05-26T17:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。