論文の概要: Bootstrap Stochastic Interpolant Tree for Inference-time Search Under Sparse Reward
- arxiv url: http://arxiv.org/abs/2610.24185v1
- Date: Fri, 16 Oct 2026 20:03:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-26 10:21:35.93304
- Title: Bootstrap Stochastic Interpolant Tree for Inference-time Search Under Sparse Reward
- Title（参考訳）: スパースリワード下の推論時間探索のためのブーストラップ確率補間木
- Abstract要約: ツリーベースのサンプルは、スケーラブルな推論時間検索の魅力的な代替手段を提供する。
現代のツリーサンプリングはDDPMのような遷移に依存しており、子供の親しみやすい特徴のばらつきを制限している。
本稿では,子ノード生成を明示的な親依存性から分離する,シンプルで効果的な補間木(BSIT)サンプリング手法を提案する。
- 参考スコア（独自算出の注目度）: 26.488250231429774
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Tree-based samplers offer a compelling alternative for scalable inference-time search, bypassing the per-step reward and gradient dependencies that introduce systematic bias into SMC-style frameworks. Despite this advantage, contemporary tree samplers fail to achieve broad exploration. Their reliance on learned, DDPM-like transitions inherently couples neighbor states in a trajectory, thereby restricting child-parent feature divergence in the tree sampler. Consequently, these samplers suffer from restricted coverage of the target marginal distribution, severely hindering the exploration critical for efficient search under sparse reward. To overcome these limitations, we introduce a simple yet effective Bootstrap Stochastic Interpolant Tree (BSIT) sampler that decouples child node generation from explicit parent dependencies. By expanding the degrees of freedom during child node sampling, BSIT encourages diverse trajectory rollouts and unlocks broader path-space diversity-the exact catalyst needed for efficient exploration. Crucially, we show that BSIT's improved exploration accelerates convergence to the target distribution while achieving broader distributional coverage than samplers that rely on DDPM-like transitions for child-node generation, all without incurring additional function evaluations or reward feedback, thereby providing a highly efficient basis for rare target search. Extensive experiments across diverse search settings, including rare-species discovery and target-aligned molecule generation tasks, demonstrate BSIT's superior search efficiency over the baselines.
- Abstract（参考訳）: ツリーベースのサンプリングは、SMCスタイルのフレームワークに体系的なバイアスをもたらすステップごとの報酬と勾配の依存関係をバイパスして、スケーラブルな推論時間検索の魅力的な代替手段を提供する。
この利点にも拘わらず、現代の樹木の採集者は広い探検に失敗している。
DDPM様遷移の学習への依存は、本来は近隣の状態を軌道で結合させ、これにより、木のサンプルの親子性の特徴のばらつきを抑える。
その結果、これらのサンプルは目標限界分布の制限範囲に悩まされ、スパース報酬下での効率的な探索に欠かせない探索を困難にしている。
これらの制限を克服するために、明示的な親依存から子ノード生成を分離する単純なBootstrap Stochastic Interpolant Tree (BSIT) サンプルを導入します。
子ノードサンプリング中に自由度を拡大することにより、BSITは多様な軌道のロールアウトを奨励し、より広い経路空間の多様性(効率的な探索に必要な正確な触媒)を解放する。
要は,BSITの改良された探索は,子ノード生成におけるDDPM様遷移に依存するサンプルよりも広範囲な分布範囲を達成しつつ,目標分布への収束を加速することを示す。
希少種発見や標的に整合した分子生成タスクを含む多様な探索環境にわたる広範囲な実験は、BSITがベースラインよりも優れた探索効率を示す。
関連論文リスト
- LATS: Levy Adaptive Tree Sampling for Feedback-Driven Diverse Target Discovery [27.918142160227713]
Levy Adaptive Tree Search (LATS)は、オンラインフィードバック駆動検索のための原則的なサンプリングフレームワークである。
LATSはサンプルの忠実度と構造的多様性を保ちながら、低濃度で高ユーティリティな領域の発見に成功した。
論文 参考訳（メタデータ） (2026-09-06T18:00:02Z) - Process Reward Informed Tree Rollout for Effective Multi-Turn RL [58.392997761968566]
長期のエージェントタスクでは、均一なロールアウト戦略は、非形式的なデッドエンドの試みに予算を無駄にする可能性がある。
本稿では,マルチターンエージェントRLの品質を意識したロールアウトフレームワークであるProcess-Scorer Guided Adaptive Tree Rollout (PATR)を提案する。
PATRはタスクに適したプロセスフィードバックを使用して部分的軌跡をスコアし、将来性のある状態から選択的に分岐し、共有プレフィックスを再利用し、無駄なサンプリングを減らすために経路を保守的に停止する。
論文 参考訳（メタデータ） (2026-07-17T04:16:58Z) - Bootstrap Flow-Map Tree Sampling Enables Online Feedback Driven Search [26.617381371184635]
本稿では,Bootstrap Flow-Map-Tree (BFMT)を紹介した。
BFMTは単一関数評価を用いて任意の木の深さから完全な木道構築を可能にする。
多様な探索およびアライメントタスクにわたる大規模な実験と改善は、BFMTがベースラインアプローチを大幅に上回っていることを示す。
論文 参考訳（メタデータ） (2026-07-03T03:21:10Z) - Spend Search Where It Pays: Value-Guided Structured Sampling and Optimization for Generative Recommendation [16.991391135071513]
本稿では,価値誘導型サンプリングおよびツリー構造化アドバンテージ強化フレームワークであるV-STARを提案する。
V-STARは2つの相乗的成分を介して自己進化ループを形成する。まず、決定ノードを識別し、高次接頭辞を選択的に深めるために価値誘導効率復号法(VED)を開発する。
第2に、誘導木トポロジーを利用して兄弟関係の利点を計算し、決定的な分岐決定に学習信号に集中するシブリング-GRPOを提案する。
論文 参考訳（メタデータ） (2026-02-11T09:57:36Z) - G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。
複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。
G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
論文 参考訳（メタデータ） (2025-10-02T12:57:12Z) - SVDE: Scalable Value-Decomposition Exploration for Cooperative
Multi-Agent Reinforcement Learning [22.389803019100423]
本稿では、スケーラブルなトレーニング機構、本質的な報酬設計、爆発的体験再生を含む、スケーラブルな価値分解探索(SVDE)手法を提案する。
提案手法は,StarCraft IIマイクロマネジメントゲームにおいて,他の一般的なアルゴリズムと比較して,ほぼすべてのマップ上で最高の性能を実現する。
論文 参考訳（メタデータ） (2023-03-16T03:17:20Z) - Rewarding Episodic Visitation Discrepancy for Exploration in
Reinforcement Learning [64.8463574294237]
本稿では,効率的かつ定量的な探索手法として,Rewarding Episodic Visitation Discrepancy (REVD)を提案する。
REVDは、R'enyiの発散に基づくエピソード間の訪問不一致を評価することによって、本質的な報酬を提供する。
PyBullet Robotics EnvironmentsとAtariゲームでテストされている。
論文 参考訳（メタデータ） (2022-09-19T08:42:46Z) - On Reward-Free RL with Kernel and Neural Function Approximations:
Single-Agent MDP and Markov Game [140.19656665344917]
エージェントが事前に特定された報酬関数を使わずに環境を徹底的に探索することを目的とした報酬のないRL問題について検討する。
関数近似の文脈でこの問題に取り組み、強力な関数近似器を活用する。
我々は、カーネルとニューラルファンクション近似器を用いた、証明可能な効率の良い報酬なしRLアルゴリズムを確立した。
論文 参考訳（メタデータ） (2021-10-19T07:26:33Z) - MADE: Exploration via Maximizing Deviation from Explored Regions [48.49228309729319]
オンライン強化学習(RL)では、高次元環境における効率的な探索は依然として困難であり、報酬は少ない。
調査地域からの次の政策の逸脱を最大化することによる新たな探索手法を提案する。
提案手法は,最先端手法よりもサンプル効率を著しく向上させる。
論文 参考訳（メタデータ） (2021-06-18T17:57:00Z) - Multi-Scale Positive Sample Refinement for Few-Shot Object Detection [61.60255654558682]
Few-shot Object Detection (FSOD) は、ディテクターがトレーニングインスタンスをほとんど持たない未確認のクラスに適応するのに役立つ。
FSODにおけるオブジェクトスケールを拡張化するためのMPSR(Multi-scale Positive Sample Refinement)アプローチを提案する。
MPSRは、オブジェクトピラミッドとして多スケールの正のサンプルを生成し、様々なスケールで予測を洗練させる。
論文 参考訳（メタデータ） (2020-07-18T09:48:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。