論文の概要: The Tilted Sampling Problem: Optimism, Posterior Sampling, and Logarithmic Regret

• arxiv url: http://arxiv.org/abs/2610.21908v1
• Date: Thu, 15 Oct 2026 13:58:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.099903
• Title: The Tilted Sampling Problem: Optimism, Posterior Sampling, and Logarithmic Regret
• Title（参考訳）: ティルトサンプリング問題:最適化、後部サンプリング、対数回帰
• Abstract要約: 本研究では,未知の報酬関数によって誘導されるギブズ分布から学習目標をサンプリングするオンライン学習問題である傾きサンプリングについて検討する。 我々は,学習者の分布とギブズ目標との温度正規化累積差として,サンプリング後悔を定義する。 本フレームワークは,最近のサンプリングベースおよびKL規則化定式化をバンディットと強化学習で一般化する。
• 参考スコア（独自算出の注目度）: 19.33791718924468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many modern learning systems are used not to select a single best action, but to sample diverse high-quality outputs. Examples include entropy-regularized reinforcement learning, RLHF, and reward-guided generative modeling. Motivated by these settings, we study tilted sampling: an online learning problem in which the goal is to sample from the Gibbs distribution induced by an unknown reward function. We define sampling regret as the temperature-normalized cumulative KL divergence between the learner's distribution and the Gibbs target, corresponding to the suboptimality gap in entropy-regularized reward maximization. Our framework generalizes recent sampling-based and KL-regularized formulations in bandits and reinforcement learning. Our main contribution is a general regret framework that captures the different uncertainty structure of tilted sampling and classical regret minimization. While standard regret scales as $\widetilde{O}(\sqrt{T})$ due to first-order uncertainty, sampling regret is governed by squared confidence widths, yielding logarithmic-in-$T$ regret in standard settings at fixed temperature. We develop sampling analogues of UCB and Thompson sampling (UCS and TS$^2$) and provide unified regret decompositions that explain and extend recent logarithmic guarantees, including the first Bayesian sampling-regret decomposition based on new bounds for posterior-random Gibbs distributions. Our results show that learning to sample from a soft-optimal distribution is statistically distinct from learning to identify a hard optimum.
• Abstract（参考訳）: 現代の多くの学習システムは、単一の最良の行動を選択するのではなく、様々な高品質な出力をサンプリングするために使われる。 例えば、エントロピー規則化強化学習、RLHF、報酬誘導生成モデリングなどがある。 これらの設定により、傾きサンプリング:未知の報酬関数によって誘導されるギブズ分布から、目標をサンプリングするオンライン学習問題を研究する。 本研究では,学習者の分布とギブズ目標との温度正規化累積KL偏差を,エントロピー正規化報酬最大化における準最適差に対応するものとして,サンプリング後悔を定義する。 本フレームワークは,最近のサンプリングベースおよびKL規則化定式化をバンディットと強化学習で一般化する。 我々の主な貢献は、傾きサンプリングと古典的後悔最小化の異なる不確実性構造を捉える一般的な後悔の枠組みである。 標準後悔は、一階の不確実性により$\widetilde{O}(\sqrt{T})$とスケールするが、サンプリング後悔は二乗の信頼幅によって支配され、固定温度の標準設定では対数-in-$T$となる。 UCBとトンプソンサンプリング(UCSとTS$^2$)のサンプリング類似体を開発し、最近の対数的保証を説明・拡張する統一的後悔分解を提供する。 その結果,ソフト・最適分布からの学習は,ハード・最適な学習と統計的に異なることがわかった。

関連論文リスト

• Halve-Then-Greedy: Adaptive Sampling for Posterior Success with Near-Optimal Instance Dependence [55.397453239422084]
  提案する設計の平均性能が目標を超えるという十分な事前証拠を得る確率を最大化することを目的とした固定予算適応実験について検討した。 ガウシアン以前のガウシアン・バンディットに対しては,大規模な初期均衡割り当て,逐次半減算,後グレーディサンプリングを組み合わせたEmphHalve-Then-Greedy (HTG)を提案する。 非好ましくない腕からの分離と、複数の好ましくない腕の存在の両方を捉えた後障害確率に対する、例依存的有限予算指数的境界を証明した。
  論文  参考訳（メタデータ） (2026-10-14T22:33:06Z)
• Sampling Allocation of LinUCB: Optimal Design Limits in the Small-Gap Regime [52.72674885287868]
  我々は,LinUCB の小ギャップ系におけるサンプリング割り当てについて検討し,報酬ギャップは決定地平線上で最大$n-1/2$である。 このスケーリングは、LinUCBが$n$の対数係数にほぼ最適であることが知られている、最悪の後悔の低いバウンダリの根底にあるハードインスタンスをキャプチャする。
  論文  参考訳（メタデータ） (2026-10-05T12:23:24Z)
• LC-GRPO: Bridging Train-Inference Gap for Flow-Based GRPO with Langevin Correction [59.32834240526981]
  フローベース生成モデルは典型的には、決定論的常微分方程式(ODE)を解くことによってサンプリングされる 既存の流れモデルのためのGRPO法は、訓練中にオイラー時間ODEを非等方微分方程式(SDE)に置き換える。 本稿では,フローベースGRPOフレームワークであるLC-GRPOを紹介する。
  論文  参考訳（メタデータ） (2026-08-06T04:47:57Z)
• Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
  制約を克服するオイラー法に対する全変分に基づく解析法を開発した。 その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。 全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
  論文  参考訳（メタデータ） (2026-02-26T00:47:51Z)
• Bregman geometry-aware split Gibbs sampling for Bayesian Poisson inverse problems [8.115032818930457]
  モンテカルロサンプリングアルゴリズムを用いて,逆問題の解法を提案する。 本手法は, 復元品質の点で競争性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-11-15T15:27:31Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• A New Formulation of Lipschitz Constrained With Functional Gradient Learning for GANs [52.55025869932486]
  本稿では,大規模データセット上でGAN(Generative Adversarial Networks)のトレーニングを行うための有望な代替手法を提案する。 本稿では,GANの学習を安定させるために,Lipschitz-Constrained Functional Gradient GANs Learning (Li-CFG)法を提案する。 判別器勾配のノルムを増大させることにより、潜在ベクトルの近傍サイズを小さくすることができることを示す。
  論文  参考訳（メタデータ） (2025-01-20T02:48:07Z)
• Weak Signal Asymptotics for Sequentially Randomized Experiments [2.28438857884398]
  マルチアームバンディット問題を解く際に発生するものを含む,逐次ランダム化実験のクラスについて検討する。 一連の逐次ランダム化実験のサンプルパスは拡散限界に弱収束することを示す。 ランダム化確率が観測データに連続的に依存する連続的な実験は、報酬ギャップが比較的大きい場合に、最適以下の後悔に悩まされることを示す。
  論文  参考訳（メタデータ） (2021-01-25T02:20:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。