論文の概要: A unifying view of contrastive learning, importance sampling, and bridge sampling for energy-based models

• arxiv url: http://arxiv.org/abs/2604.08116v1
• Date: Thu, 09 Apr 2026 11:36:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.88704
• Title: A unifying view of contrastive learning, importance sampling, and bridge sampling for energy-based models
• Title（参考訳）: エネルギーモデルのための対照的学習・重要サンプリング・橋梁サンプリングの統一的視点
• Authors: Luca Martino,
• Abstract要約: ノイズコントラスト推定(NCE)、逆ロジスティック回帰(RLR)、多重重要サンプリング(MIS)、橋梁サンプリングを接続する統合フレームワークを提供する。 この統合された視点は、既存の手法間の関係を明確にし、新しい推定器の開発を可能にする。 本研究は、その柔軟性と堅牢性の観点からNCEの成功を解明し、その性能をさらに改善できるシナリオを特定するのに役立つ。
• 参考スコア（独自算出の注目度）: 1.9459606412374646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the last decades, energy-based models (EBMs) have become an important class of probabilistic models in which a component of the likelihood is intractable and therefore cannot be evaluated explicitly. Consequently, parameter estimation in EBMs is challenging for conventional inference methods. In this work, we provide a unified framework that connects noise contrastive estimation (NCE), reverse logistic regression (RLR), multiple importance sampling (MIS), and bridge sampling within the context of EBMs. We further show that these methods are equivalent under specific conditions. This unified perspective clarifies relationships among existing methods and enables the development of new estimators, with the potential to improve statistical and computational efficiency. Furthermore, this study helps elucidate the success of NCE in terms of its flexibility and robustness, while also identifying scenarios in which its performance can be further improved. Hence, rather than being a purely descriptive review, this work offers a unifying perspective and additional methodological contributions. The MATLAB code used in the numerical experiments is also made freely available to support the reproducibility of the results.
• Abstract（参考訳）: 過去数十年間、エネルギーベースモデル(EBMs)は確率モデルの重要なクラスとなり、確率の成分が難解であり、従って明示的に評価できない。 その結果,従来の推定手法では,EMMのパラメータ推定が困難である。 本研究では、ノイズコントラスト推定(NCE)、逆ロジスティック回帰(RLR)、多重重要サンプリング(MIS)、橋梁サンプリングをEMMのコンテキスト内で接続する統合フレームワークを提供する。 さらに、これらの手法は特定の条件下で等価であることを示す。 この統一された視点は、既存の手法間の関係を明確にし、統計および計算効率を改善する可能性を持つ新しい推定器の開発を可能にする。 さらに,NCEの柔軟性と堅牢性の観点から,NCEの成功の解明に寄与すると同時に,その性能をさらに向上するシナリオの特定にも寄与する。 したがって、本書は純粋に記述的なレビューではなく、統一的な視点と追加の方法論的な貢献を提供する。 数値実験で使用されるMATLABコードは、結果の再現性をサポートするために自由に利用できる。

関連論文リスト

• CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
  チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。 我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。 我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
  論文  参考訳（メタデータ） (2025-07-10T21:32:18Z)
• Confidence in Large Language Model Evaluation: A Bayesian Approach to Limited-Sample Challenges [13.526258635654882]
  本研究では,大規模言語モデル(LLM)能力評価のためのベイズ的アプローチを提案する。 モデル機能を潜時変数として扱い、キュレートされたクエリセットを利用して識別応答を誘導する。 GPTシリーズモデルを用いた実験により,提案手法は従来の評価手法よりも優れた識別性が得られることが示された。
  論文  参考訳（メタデータ） (2025-04-30T04:24:50Z)
• BRiTE: Bootstrapping Reinforced Thinking Process to Enhance Language Model Reasoning [78.63421517563056]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な機能を示した。 本稿では,新しいグラフィカルモデルを用いてLLM推論を定式化する統一確率的フレームワークを提案する。 本稿では,Bootstrapping Reinforced Thinking Process (BRiTE)アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2025-01-31T02:39:07Z)
• Exogenous Matching: Learning Good Proposals for Tractable Counterfactual Estimation [1.9662978733004601]
  本稿では, 抽出可能かつ効率的な対実表現推定のための重要サンプリング手法を提案する。 対物推定器の共通上限を最小化することにより、分散最小化問題を条件分布学習問題に変換する。 構造因果モデル (Structure Causal Models, SCM) の様々なタイプと設定による実験による理論的結果の検証と, 対実推定タスクにおける性能の実証を行った。
  論文  参考訳（メタデータ） (2024-10-17T03:08:28Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• A Unified Contrastive Energy-based Model for Understanding the Generative Ability of Adversarial Training [64.71254710803368]
  Adversarial Training (AT) は、ディープニューラルネットワークの堅牢性を高める効果的なアプローチである。 我々は、Contrastive Energy-based Models(CEM)と呼ばれる統合確率的枠組みを開発することにより、この現象をデミステレーションする。 本稿では,逆学習法とサンプリング法を開発するための原則的手法を提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:33:34Z)
• Surrogate Likelihoods for Variational Annealed Importance Sampling [11.144915453864854]
  我々は他の変分パラメータと共同で学習できる代理可能性を導入する。 本手法は,確率的プログラミングフレームワークにおけるブラックボックス推論に適していることを示す。
  論文  参考訳（メタデータ） (2021-12-22T19:49:45Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。