論文の概要: Parallel Tempering Initial Sampling in Inference-Time Reward Alignment

• arxiv url: http://arxiv.org/abs/2605.30991v1
• Date: Fri, 29 May 2026 08:26:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.470936
• Title: Parallel Tempering Initial Sampling in Inference-Time Reward Alignment
• Title（参考訳）: 推論時間逆アライメントにおける並列テンパリング初期サンプリング
• Abstract要約: 推論時報酬アライメントのステアリングは、事前訓練された拡散とフローベース生成モデルを用いて、再学習することなく、ユーザが特定した報酬を満たす。 PATHSは並列なテンパリングによって複数のサンプリングチェーンを結合する新しい手法である。 分析の結果,PATHSは希少な高層地域の有限予算探査を著しく促進することが明らかとなった。
• 参考スコア（独自算出の注目度）: 6.69087470775851
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inference-time reward alignment steers pretrained diffusion and flow-based generative models to satisfy user-specified rewards without retraining. Recently, Sequential Monte Carlo (SMC) has emerged as a powerful framework for this task by iteratively filtering and propagating multiple particles. However, we show that standard SMC-based methods often suffer from poor performance because they initialize particles from a standard prior, whereas high-reward regions in complex reward landscapes are extremely rare. Further, we show that even recent reward-aware initial sampling approaches remain vulnerable to getting trapped in local modes, as complex reward landscapes are often multi-modal. To overcome these limitations, we propose PATHS (PArallel Tempering for High-complexity reward Sampling), a novel initialization method that couples multiple sampling chains through parallel tempering. PATHS maintains a ladder of reward-tempered chains and periodically performs Metropolis swaps, enabling efficient exploration across flattened reward landscapes, thereby mitigating the mode-trapping issues. Our analysis reveals that this mechanism substantially enhances the finite-budget exploration of rare, high-reward regions that are typically challenging to sample. Experiments on layout-to-image and quantity-aware generation show that PATHS achieves consistent gains in alignment quality, particularly on complex prompts.
• Abstract（参考訳）: 推論時報酬アライメントのステアリングは、事前訓練された拡散とフローベース生成モデルを用いて、再学習することなく、ユーザが特定した報酬を満たす。 近年, 連続モンテカルロ (SMC) は, 複数の粒子を反復濾過・伝播することにより, この課題の強力な枠組みとして浮上している。 しかし,SMCをベースとした標準的な手法では,素粒子の初期化に苦しむ場合が多いが,複雑な報奨景観の高逆領域は極めて稀である。 さらに,最近の報奨型初期サンプリングアプローチにおいても,複雑な報奨ランドスケープがマルチモーダルであることから,局所的なモードに閉じ込められやすいことが示されている。 これらの制約を克服するために,並列テンパリングにより複数のサンプリングチェーンを結合する新しい初期化手法であるPATHS(Parallel Tempering for High-complexity reward Smpling)を提案する。 PATHSは報酬抑制チェーンのはしごを維持し、定期的にメトロポリススワップを実行し、平らな報酬ランドスケープの効率的な探索を可能にし、モードトラッピングの問題を軽減する。 分析の結果, この機構は, 試料採取が難しい希少な高率領域の有限予算探査を著しく促進することが明らかとなった。 レイアウト・ツー・イメージと量認識生成の実験により、PATHSはアライメント品質、特に複雑なプロンプトにおいて一貫した向上を達成することが示された。

関連論文リスト

• Nested Slice Sampling: Vectorized Nested Sampling for GPU-Accelerated Inference [0.4999814847776097]
  本稿では,Nested Slice Smpling (NSS)について紹介する。 チューニング解析により、スライス幅の設定、高次元の挙動の改善、ステップごとの計算をより予測可能な簡単な準最適ルールが得られる。
  論文  参考訳（メタデータ） (2026-01-30T18:20:32Z)
• Test-time scaling of diffusions with flow maps [68.79792714591564]
  テスト時の拡散モデルを改善するための一般的なレシピは、報酬の勾配を拡散そのものの力学に導入することである。 フローマップを直接扱うことで,簡単な解を提案する。 本研究では, 流図と流速場の関係を利用して, 従来のテスト時間法よりも精度の高いフローマップトラジェクトリ・ティルティング (FMTT) アルゴリズムを構築した。
  論文  参考訳（メタデータ） (2025-11-27T18:44:12Z)
• Efficiently Generating Correlated Sample Paths from Multi-step Time Series Foundation Models [66.60042743462175]
  時系列基礎モデルから正確な相関サンプルパスを効率的に生成するためのコプラに基づく手法を提案する。 提案手法は, 自己回帰サンプリングよりもはるかに高速に相関したサンプルパスを生成する。
  論文  参考訳（メタデータ） (2025-10-02T17:08:58Z)
• G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
  本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。 複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。 G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2025-10-02T12:57:12Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Ctrl-Z Sampling: Diffusion Sampling with Controlled Random Zigzag Explorations [17.357140159249496]
  本稿では,局所的な急激な最大値の検出と回避を適応的に行う新しいサンプリング戦略を提案する。 Ctrl-Zサンプリングは生成品質を著しく向上するが,元のNFEの7.72倍程度しか必要としないことを示す。
  論文  参考訳（メタデータ） (2025-06-25T10:01:00Z)
• Psi-Sampler: Initial Particle Sampling for SMC-Based Inference-Time Reward Alignment in Score Models [26.211711150915203]
  $Psi$-Samplerは、pCNLベースの初期粒子サンプリングを組み込んだSMCベースのフレームワークである。 スコアベース生成モデルとの推論時間報酬アライメントは、大きな注目を集めている。
  論文  参考訳（メタデータ） (2025-06-02T05:02:33Z)
• Enhancing Gradient-based Discrete Sampling via Parallel Tempering [8.195708231156546]
  勾配に基づく離散サンプリング器は、高次元のマルチモーダル離散分布において局所的なミニマに閉じ込められやすい。 我々は、並列テンパリング(レプリカ交換としても知られる)と離散ランゲヴィン提案を組み合わせた離散ランゲヴィン提案を開発する。 我々は,本アルゴリズムが非漸近的に目標エネルギーに収束し,単一鎖よりも高速な混合を示すことを示す。
  論文  参考訳（メタデータ） (2025-02-26T15:51:15Z)
• Beyond Simple Sum of Delayed Rewards: Non-Markovian Reward Modeling for Reinforcement Learning [44.770495418026734]
  強化学習(Reinforcement Learning, RL)は、報酬信号から学習することで、エージェントに様々なスキルを習得する権限を与える。 伝統的な手法では、マルコフ報酬の根底にある存在を仮定し、観測された遅延報酬は単にインスタンスレベルの報酬の和である。 本稿では,特殊なインシーケンスアテンション機構を備えた複合遅延逆変換器(CoDeTr)を提案する。
  論文  参考訳（メタデータ） (2024-10-26T13:12:27Z)
• Beyond Exponentially Fast Mixing in Average-Reward Reinforcement Learning via Multi-Level Monte Carlo Actor-Critic [61.968469104271676]
  本稿では,アクター・アクターとアクター・アクター・アクター・アルゴリズムに埋め込まれた平均報酬に対して,マルチレベルモンテカルロ推定器を用いて混合時間に適応したRL手法を提案する。 不安定な報酬を伴うRL問題において,安定性に要求される技術的条件の緩和効果が,実用上優れた性能に変換されることを実験的に示す。
  論文  参考訳（メタデータ） (2023-01-28T04:12:56Z)
• A Dynamical System View of Langevin-Based Non-Convex Sampling [44.002384711340966]
  非サンプリングは機械学習における重要な課題であり、ディープラーニングにおける非レート最適化の中心であり、その重要性を近似する。 既存の保証は通常、より望ましい最終段階の反復よりも平均距離のみを保持する。 我々は、理論システムからいくつかのツールを活用することにより、上記の問題を解消する新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2022-10-25T09:43:36Z)
• Dealing with Sparse Rewards in Continuous Control Robotics via Heavy-Tailed Policies [64.2210390071609]
  本稿では,連続制御問題におけるスパース報酬の課題に対処するため,HT-PSG(Heavy-Tailed Policy Gradient)アルゴリズムを提案する。 高平均累積報酬の観点から,全タスクに一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2022-06-12T04:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。