論文の概要: Dynamic-TreeRPO: Breaking the Independent Trajectory Bottleneck with Structured Sampling

• arxiv url: http://arxiv.org/abs/2509.23352v2
• Date: Wed, 01 Oct 2025 04:11:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-02 12:11:26.780146
• Title: Dynamic-TreeRPO: Breaking the Independent Trajectory Bottleneck with Structured Sampling
• Title（参考訳）: Dynamic-TreeRPO:構造化サンプリングによる独立軌道ボルネックの破壊
• Authors: Xiaolong Fu, Lichen Ma, Zipeng Guo, Gaojing Zhou, Chongxiao Wang, ShiPing Dong, Shizhe Zhou, Shizhe Zhou, Ximan Liu, Jingling Fu, Tan Lit Sin, Yu Shi, Zhen Chen, Junshi Huang, Jason Li,
• Abstract要約: 本研究では,木構造による雑音強度の深さに沿って,スライディング・ウインドウ・サンプリング・ストラテジーを実装したDynamic-TreeRPOを提案する。 木層ごとによく設計されたノイズ強度により、Dynamic-TreeRPOは余分な計算コストを伴わずに探索のばらつきを高めることができる。
• 参考スコア（独自算出の注目度）: 14.415169190908676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The integration of Reinforcement Learning (RL) into flow matching models for text-to-image (T2I) generation has driven substantial advances in generation quality. However, these gains often come at the cost of exhaustive exploration and inefficient sampling strategies due to slight variation in the sampling group. Building on this insight, we propose Dynamic-TreeRPO, which implements the sliding-window sampling strategy as a tree-structured search with dynamic noise intensities along depth. We perform GRPO-guided optimization and constrained Stochastic Differential Equation (SDE) sampling within this tree structure. By sharing prefix paths of the tree, our design effectively amortizes the computational overhead of trajectory search. With well-designed noise intensities for each tree layer, Dynamic-TreeRPO can enhance the variation of exploration without any extra computational cost. Furthermore, we seamlessly integrate Supervised Fine-Tuning (SFT) and RL paradigm within Dynamic-TreeRPO to construct our proposed LayerTuning-RL, reformulating the loss function of SFT as a dynamically weighted Progress Reward Model (PRM) rather than a separate pretraining method. By associating this weighted PRM with dynamic-adaptive clipping bounds, the disruption of exploration process in Dynamic-TreeRPO is avoided. Benefiting from the tree-structured sampling and the LayerTuning-RL paradigm, our model dynamically explores a diverse search space along effective directions. Compared to existing baselines, our approach demonstrates significant superiority in terms of semantic consistency, visual fidelity, and human preference alignment on established benchmarks, including HPS-v2.1, PickScore, and ImageReward. In particular, our model outperforms SoTA by $4.9\%$, $5.91\%$, and $8.66\%$ on those benchmarks, respectively, while improving the training efficiency by nearly $50\%$.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)生成のためのフローマッチングモデルへの強化学習(RL)の統合により、生成品質が大幅に向上した。 しかし, サンプリング群がわずかに変動するため, 徹底的な探索と非効率なサンプリング戦略のコストがかかることが多い。 この知見に基づいて,木構造探索法として,深度方向の動的雑音強度を持つスライディングウインドウサンプリング戦略を実装したDynamic-TreeRPOを提案する。 この木構造内でGRPO誘導最適化と制約付き確率微分方程式(SDE)サンプリングを行う。 木の前置経路を共有することで,軌道探索の計算オーバーヘッドを効果的に補正する。 木層ごとによく設計されたノイズ強度により、Dynamic-TreeRPOは余分な計算コストを伴わずに探索のばらつきを高めることができる。 さらに,SFTの損失関数を個別の事前学習法ではなく,動的重み付きプログレッシブ・リワードモデル(PRM)として再構成し,動的トリアーRPOにスーパービジョンファインチューニング(SFT)とRLパラダイムをシームレスに統合する。 この重み付きPRMを動的適応クリッピング境界に関連付けることにより、ダイナミックトリエRPOにおける探索過程の破壊を回避することができる。 木構造サンプリングとLayerTuning-RLパラダイムにより,本モデルでは,効率的な方向に沿った多様な探索空間を動的に探索する。 既存のベースラインと比較して,HPS-v2.1, PickScore, ImageRewardなど,既存のベンチマーク上でのセマンティック一貫性, 視覚的忠実度, 人間の嗜好のアライメントの面で, 極めて優れていることを示す。 特に、我々のモデルは、SoTAを4.9 %、$5.91 %、$8.66 %で上回り、トレーニング効率を50 %近く改善している。

関連論文リスト

• Tree Search for LLM Agent Reinforcement Learning [23.7084695563981]
  Tree-based Group Relative Policy Optimization (Tree-GRPO) は、木探索に基づくグループ化エージェントRL法である。 共通のプレフィックスを共有することで、ツリー検索サンプリングは、達成可能なロールアウトの数を増やす。 木レベルでの相対的政策最適化の目的は、ステップレベルの直接選好学習と同等であることを示す。
  論文  参考訳（メタデータ） (2025-09-25T14:37:09Z)
• TreePO: Bridging the Gap of Policy Optimization and Efficacy and Inference Efficiency with Heuristic Tree-based Modeling [65.46347858249295]
  TreePOは自己誘導型ロールアウトアルゴリズムで、シーケンス生成を木構造検索プロセスとして見る。 TreePOは基本的に、探索の多様性を保存または強化しながら、更新毎の計算負担を削減します。
  論文  参考訳（メタデータ） (2025-08-24T16:52:37Z)
• TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree [52.44403214958304]
  本稿では階層的な勾配の類似性を利用して階層型アダプタを構築する新しい手法であるTreeLoRAを紹介する。 タスク類似度推定の計算負担を軽減するために,より低い信頼度境界に基づくアルゴリズムを開発するために,バンド手法を用いる。 視覚変換器 (ViTs) と大規模言語モデル (LLMs) の両方を用いた実験により, 提案手法の有効性と有効性を示す。
  論文  参考訳（メタデータ） (2025-06-12T05:25:35Z)
• Flow-GRPO: Training Flow Matching Models via Online RL [75.70017261794422]
  本稿では,オンライン強化学習(RL)をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では, 1 つの主要な戦略を用いる:(1) 決定論的正規方程式 (ODE) を, 1 つの時点における原モデルの限界分布に一致する等価な微分方程式 (SDE) に変換するODE-to-SDE 変換と、(2) 元の推論タイムステップ数を保ちながらトレーニングの段階を減らし,
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• Heterogeneous Learning Rate Scheduling for Neural Architecture Search on Long-Tailed Datasets [0.0]
  本稿では,DARTSのアーキテクチャパラメータに適した適応学習率スケジューリング手法を提案する。 提案手法は,学習エポックに基づくアーキテクチャパラメータの学習率を動的に調整し,よく訓練された表現の破壊を防止する。
  論文  参考訳（メタデータ） (2024-06-11T07:32:25Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• Dynamic PlenOctree for Adaptive Sampling Refinement in Explicit NeRF [6.135925201075925]
  PlenOctree DOTは,シーンの複雑さの変化に対応するために,サンプル分布を適応的に改良する。 POTと比較して、私たちのDOTは視覚的品質を高め、パラメータを55.15ドル/68.84%以上削減し、NeRF合成とタンクにそれぞれ1.7/1.9 FPSを提供する。
  論文  参考訳（メタデータ） (2023-07-28T06:21:42Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• DessiLBI: Exploring Structural Sparsity of Deep Networks via Differential Inclusion Paths [45.947140164621096]
  逆スケール空間の差分包摂に基づく新しい手法を提案する。 DessiLBIが早期に「優勝チケット」を発表することを示す。
  論文  参考訳（メタデータ） (2020-07-04T04:40:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。