論文の概要: Iterative Exact Discrete Guidance for Energy-Based Sampling
- arxiv url: http://arxiv.org/abs/2609.37043v1
- Date: Tue, 29 Sep 2026 08:51:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.343354
- Title: Iterative Exact Discrete Guidance for Energy-Based Sampling
- Title（参考訳）: エネルギーベースサンプリングのための反復的離散的ガイダンス
- Abstract要約: Iterative Exact Discrete Guidance (IEDG) は、非正規化された離散目標に対する、集団的かつ軌跡的ガイダンスフレームワークである。
各段階は、電流源の増分ボルツマン傾きに対する段階的局所的後補正を学習する。
個体群最適では、正確なステージ後部が正しいリバースダイナミクスを回復し、その正確なシミュレーションはターゲット分布を再現する。
- 参考スコア（独自算出の注目度）: 28.35783874661985
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sampling from unnormalized distributions over large discrete state spaces becomes difficult when a multimodal target is far from a tractable reference. We introduce Iterative Exact Discrete Guidance (IEDG), a population-exact, trajectory-wise guidance framework for unnormalized discrete targets. Rather than learn the full reference-to-target correction in one step, IEDG introduces a global Boltzmann tilt along an annealing trajectory. Each stage learns a stage-local posterior correction for an incremental Boltzmann tilt of the current source, while the resulting corrections are accumulated relative to a fixed analytic posterior. At the population optimum, exact stage posteriors recover the correct reverse dynamics, whose exact simulation reproduces the target distribution. IEDG chooses stage increments by relative effective sample size (rESS), which controls Rényi-2 displacement and locally adapts the step size to the thermodynamic geometry of the annealing path. Our stagewise total-variation analysis shows that limited overlap amplifies Bregman fitting error by $1/\sqrt{\mathrm{rESS}}$, while posterior, simulation, and truncation errors enter additively. IEDG improves all distribution-level errors over the neural baselines on ordered, exactly enumerated Ising $4\times4$, while substantially reducing one-shot errors on Ising/Potts $16\times16$ across thermodynamic regimes and attaining the best neural-sampler result on several reported local-statistic and phase-coverage metrics. On Max-Cut, its best-of-512 and average-sample ratios exceed all the baselines. Code and artifacts are available at https://github.com/StillFantasy123/iterative-exact-discrete-guidance.
- Abstract（参考訳）: 大規模離散状態空間上の非正規分布からのサンプリングは、マルチモーダルターゲットがトラクタブル参照から遠く離れている場合、困難になる。
IEDG(Iterative Exact Discrete Guidance)は,非正規化された離散目標に対する,集団的かつトラジェクトリ的なガイダンスフレームワークである。
IEDGは1ステップで完全な参照とターゲットの補正を学ぶのではなく、アニーリング軌道に沿ってグローバルなボルツマン傾きを導入する。
各段階は、電流源のインクリメンタルボルツマン傾きに対する段階的局所的後補正を学習し、その結果の補正は、固定された解析的後部に対して蓄積される。
個体群最適では、正確なステージ後部が正しいリバースダイナミクスを回復し、その正確なシミュレーションはターゲット分布を再現する。
IEDGは相対的な有効試料サイズ(rESS)によってステージインクリメントを選択し、レナイ2の変位を制御し、ステップサイズをアニーリング経路の熱力学幾何学に局所的に適応させる。
我々の段階的な全変分分析では、制限オーバーラップはブレグマンのフィッティング誤差を1/\sqrt{\mathrm{rESS}}$で増幅するが、後続、シミュレーション、トランケーションエラーは加法的に入力される。
IEDGは、注文されたニューラルネットワーク上のすべての分布レベルのエラーを正確に列挙し、Ising/Potts $116\times16$のワンショットエラーを大幅に削減し、いくつかの報告されたローカル統計およびフェーズカバレッジメトリクスで最高のニューラルサンプラー結果を得る。
Max-Cutでは、ベスト・オブ・512と平均サンプル比が全てのベースラインを上回っている。
コードとアーティファクトはhttps://github.com/StillFantasy123/iterative-exact-discrete-guidanceで入手できる。
関連論文リスト
- PosteriorBench: From Point Estimates to Posterior Matching in Evaluating Generative Inverse Solvers [58.87583368961845]
PosteriorBenchは、生成的逆解器の分布精度を評価するためのベンチマークである。
ダーシーフローの逆転、ポアソン源の回復、炭素捕獲と貯蔵、光輸送物質推論の4つの物理に基づく逆問題を評価する。
論文 参考訳（メタデータ） (2026-09-17T17:54:12Z) - EGGROLL, Unrolled: Understanding and Improving Low-Rank Evolution Strategies at Scale [9.562123195246393]
EGGROLL は高密度ガウス重摂動を低ランクガウス積に置き換えることで LLM の進化戦略を実践する。
有限人口推定器の誤差を解析する。
退避推定器であるLOO-ROLLは、EGGROLLの2つのアンチセティック評価を1方向に置き換えつつ、有限ランクの個体群を保存する。
論文 参考訳（メタデータ） (2026-09-10T01:58:02Z) - LC-GRPO: Bridging Train-Inference Gap for Flow-Based GRPO with Langevin Correction [59.32834240526981]
フローベース生成モデルは典型的には、決定論的常微分方程式(ODE)を解くことによってサンプリングされる
既存の流れモデルのためのGRPO法は、訓練中にオイラー時間ODEを非等方微分方程式(SDE)に置き換える。
本稿では,フローベースGRPOフレームワークであるLC-GRPOを紹介する。
論文 参考訳（メタデータ） (2026-08-06T04:47:57Z) - Local Fokker--Planck Geometry for Score Estimation: Heat-Ball Mean-Value Representations and Exact High-Dimensional Sampling [2.51205440996053]
スコアベースの生成モデルとランゲヴィンサンプルは、フォワード拡散のスコア関数 $nabla_xlog p_t(x)$ を推定することに依存する。
グローバルコンディショニングをローカルなパラボラ平均化に置き換えるローカルなFokker-Planckフレームワークを開発した。
256次元MNISTの2次元構造データに対して,本フレームワークの有効性を検証した。
論文 参考訳（メタデータ） (2026-06-26T10:48:45Z) - $Ω$: Operator-based Mixture Ensemble for Generative Assimilation [7.915816961228985]
$$は、条件付きガウス代用モデリング、教師なしスコアラーニング、生成サンプリングを統合するスケーラブルなフレームワークである。
$$は閉形式の条件付き後続分布を利用して、高次元の観測されていない成分を解析的に回収する。
$は、断続性と極端なイベントを持つ複数の乱流モデルで検証され、後続の精度が一貫して向上する。
論文 参考訳（メタデータ） (2026-06-18T20:19:44Z) - Extra-Merge: Tracing the Rank-1 Subspace of Model Merging in Language Model Pre-Training [56.323119575322146]
Extra-Mergeは、GPT-2およびLLaMAファミリーにわたる実験において、標準のマージベースラインを一貫して上回っている。
Pythia-12B下流のタスクに対して一貫したゼロショット精度のゲインを与え、Muon citepjordan2024muonに効果的に一般化する。
論文 参考訳（メタデータ） (2026-05-26T02:48:34Z) - Decentralized Time-Varying Optimization for Streaming Data via Temporal Weighting [26.702871313273942]
エージェントの分散ネットワーク上でのストリーミングデータによる最適化について検討する。
分散勾配降下(DGD)に重点を置いており,通信・計算の予算が限られている。
論文 参考訳（メタデータ） (2026-05-07T21:40:42Z) - From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。
LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。
共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
論文 参考訳（メタデータ） (2025-10-06T17:58:01Z) - Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。
従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。
本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文 参考訳（メタデータ） (2025-07-11T08:00:47Z) - Decentralized Stochastic Proximal Gradient Descent with Variance
Reduction over Time-varying Networks [30.231314171218994]
分散学習において、ノードのネットワークは、通常、その局所的な目的の有限サムである全体的な目的関数を最小化するために協力する。
そこで本研究では,分散縮小手法を利用して分散学習を高速化する新しいアルゴリズムDPSVRGを提案する。
論文 参考訳（メタデータ） (2021-12-20T08:23:36Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。