論文の概要: Behavioral Mode Discovery for Fine-tuning Multimodal Generative Policies

• arxiv url: http://arxiv.org/abs/2605.11387v1
• Date: Tue, 12 May 2026 01:19:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.510551
• Title: Behavioral Mode Discovery for Fine-tuning Multimodal Generative Policies
• Title（参考訳）: 微調整型マルチモーダルジェネレータの動作モード発見
• Authors: Alberta Longhini, David Emukpere, Jean-Michel Renders, Seungsu Kim,
• Abstract要約: 強化学習(RL)を用いた微調整事前学習政策の課題に対処する。 生成ポリシーの既存のRL微調整法は、様々な振る舞いを1つの報酬最大化モードに分解する。 生成ポリシー内での潜在行動モードを明らかにするための教師なしモード発見フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.282730307270664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the problem of fine-tuning pre-trained generative policies with reinforcement learning (RL) while preserving the multimodality of their action distributions. Existing methods for RL fine-tuning of generative policies (e.g., diffusion policies) improve task performance but often collapse diverse behaviors into a single reward-maximizing mode. To mitigate this issue, we propose an unsupervised mode discovery framework that uncovers latent behavioral modes within generative policies. The discovered modes enable the use of mutual information as an intrinsic reward, regularizing RL fine-tuning to enhance task success while maintaining behavioral diversity. Experiments on robotic manipulation tasks demonstrate that our method consistently outperforms conventional fine-tuning approaches, achieving higher success rates and preserving richer multimodal action distributions.
• Abstract（参考訳）: 本稿では, 強化学習(RL)を用いた微調整事前学習型生成ポリシーの課題に対処し, 動作分布の多様さを保ちながら対処する。 生成ポリシー(拡散ポリシーなど)の既存のRL微調整手法はタスク性能を改善するが、様々な振る舞いを1つの報酬最大化モードに分解することが多い。 この問題を軽減するために,生成ポリシー内の潜在行動モードを明らかにする非教師なしモード発見フレームワークを提案する。 発見モードは、相互情報を本質的な報酬として利用し、RL微調整を規則化し、行動多様性を維持しながらタスク成功を高める。 ロボット操作タスクの実験では,従来の微調整手法を一貫して上回り,高い成功率を達成し,よりリッチなマルチモーダル動作分布を維持することが実証された。

関連論文リスト

• Polychromic Objectives for Reinforcement Learning [63.37185057794815]
  強化学習微調整(Reinforcement Learning fine-tuning, RLFT)は、下流タスクの事前訓練されたポリシーを改善するための主要なパラダイムである。 多様な世代の探索・改良を明示的に実施する政策手法の目的について紹介する。 この目的を最適化するために、PPO(Pximal Policy Optimization)をどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2025-09-29T19:32:11Z)
• Categorical Policies: Multimodal Policy Learning and Exploration in Continuous Control [1.7495213911983414]
  中間カテゴリー分布を持つマルチモーダルな動作モードをモデル化するためにカテゴリーポリシーを導入する。 動作モードを選択するために潜在カテゴリー分布を利用することで、本手法はサンプリングトリックを通して完全に微分可能でありながら、マルチモーダル性を自然に表現する。 その結果, カテゴリー分布は, 連続制御における構造的探索と多モーダルな行動表現の強力なツールとして機能することが示唆された。
  論文  参考訳（メタデータ） (2025-08-19T15:18:01Z)
• Decision Flow Policy Optimization [53.825268058199825]
  生成モデルは、複雑なマルチモーダルな動作分布を効果的にモデル化し、連続的な動作空間において優れたロボット制御を実現することができることを示す。 従来の手法は通常、データセットからの状態条件付きアクション分布に適合する振る舞いモデルとして生成モデルを採用する。 マルチモーダルな行動分布モデリングとポリシー最適化を統合した統合フレームワークDecision Flowを提案する。
  論文  参考訳（メタデータ） (2025-05-26T03:42:20Z)
• Learning on One Mode: Addressing Multi-modality in Offline Reinforcement Learning [9.38848713730931]
  オフライン強化学習は、環境と対話することなく、静的データセットから最適なポリシーを学習しようとする。 既存の方法は、しばしば一助的行動ポリシーを仮定し、この仮定が破られたとき、最適以下のパフォーマンスをもたらす。 本稿では,行動方針の単一かつ有望なモードから学習することに焦点を当てた新しいアプローチである,1モードでの模倣学習(LOM)を提案する。
  論文  参考訳（メタデータ） (2024-12-04T11:57:36Z)
• Learning Multimodal Behaviors from Scratch with Diffusion Policy Gradient [26.675822002049372]
  Deep Diffusion Policy Gradient (DDiffPG)は、マルチモーダルポリシーから学習する新しいアクター批判アルゴリズムである。 DDiffPGはマルチモーダルトレーニングバッチを形成し、モード固有のQ-ラーニングを使用して、RL目的の固有の欲求を緩和する。 さらに,本手法では,学習モードを明示的に制御するために,モード固有の埋め込みにポリシーを条件付けることができる。
  論文  参考訳（メタデータ） (2024-06-02T09:32:28Z)
• Reparameterized Policy Learning for Multimodal Trajectory Optimization [61.13228961771765]
  本研究では,高次元連続行動空間における強化学習のためのパラメータ化政策の課題について検討する。 本稿では,連続RLポリシーを最適軌道の生成モデルとしてモデル化する原理的フレームワークを提案する。 本稿では,マルチモーダルポリシーパラメータ化と学習世界モデルを活用した実用的モデルベースRL手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T09:05:46Z)
• Offline Reinforcement Learning with Closed-Form Policy Improvement Operators [88.54210578912554]
  行動制約付きポリシー最適化は、オフライン強化学習に対処するための成功パラダイムであることが示されている。 本稿では,閉形式政策改善演算子を提案する。 我々は、標準的なD4RLベンチマークにおいて、最先端アルゴリズムに対するそれらの効果を実証的に実証した。
  論文  参考訳（メタデータ） (2022-11-29T06:29:26Z)
• Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning [70.20191211010847]
  オフライン強化学習(RL)は、以前に収集した静的データセットを使って最適なポリシーを学ぶことを目的としている。 本稿では,条件付き拡散モデルを用いたディフュージョンQ-ラーニング(Diffusion-QL)を提案する。 本手法はD4RLベンチマークタスクの大部分において最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-08-12T09:54:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。