論文の概要: TCPO: Thought-Centric Preference Optimization for Effective Embodied Decision-making

• arxiv url: http://arxiv.org/abs/2509.08500v1
• Date: Wed, 10 Sep 2025 11:16:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.405515
• Title: TCPO: Thought-Centric Preference Optimization for Effective Embodied Decision-making
• Title（参考訳）: TCPO:効果的な身体的意思決定のための思考中心の選好最適化
• Authors: Kechen Jiao, Zhirui Fang, Jiahao Liu, Bei Li, Qifan Wang, Xinyu Liu, Junhao Ruan, Zhongjian Qiao, Yifan Zhu, Yaxin Xu, Jingang Wang, Xiu Li,
• Abstract要約: 本稿では,効果的な具体的意思決定のための思考中心推論最適化(TCPO)を提案する。 モデルの中間的推論プロセスの整合性を強調し、モデル劣化の問題を緩和する。 ALFWorld環境での実験では、平均成功率は26.67%であり、RL4VLMよりも6%向上している。
• 参考スコア（独自算出の注目度）: 75.29820290660065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Using effective generalization capabilities of vision language models (VLMs) in context-specific dynamic tasks for embodied artificial intelligence remains a significant challenge. Although supervised fine-tuned models can better align with the real physical world, they still exhibit sluggish responses and hallucination issues in dynamically changing environments, necessitating further alignment. Existing post-SFT methods, reliant on reinforcement learning and chain-of-thought (CoT) approaches, are constrained by sparse rewards and action-only optimization, resulting in low sample efficiency, poor consistency, and model degradation. To address these issues, this paper proposes Thought-Centric Preference Optimization (TCPO) for effective embodied decision-making. Specifically, TCPO introduces a stepwise preference-based optimization approach, transforming sparse reward signals into richer step sample pairs. It emphasizes the alignment of the model's intermediate reasoning process, mitigating the problem of model degradation. Moreover, by incorporating Action Policy Consistency Constraint (APC), it further imposes consistency constraints on the model output. Experiments in the ALFWorld environment demonstrate an average success rate of 26.67%, achieving a 6% improvement over RL4VLM and validating the effectiveness of our approach in mitigating model degradation after fine-tuning. These results highlight the potential of integrating preference-based learning techniques with CoT processes to enhance the decision-making capabilities of vision-language models in embodied agents.
• Abstract（参考訳）: 視覚言語モデル(VLM)の効果的な一般化機能をコンテキスト固有の動的タスクに応用することは、依然として重要な課題である。 教師付き微調整モデルでは実世界との整合性が向上するが、動的に変化する環境において、いまだに緩やかな反応と幻覚の問題があるため、さらなる整合が必要とされる。 既存のSFT法は、強化学習とチェーン・オブ・シント(CoT)アプローチに依存しており、スパース報酬とアクションのみの最適化によって制約され、サンプル効率の低下、一貫性の低下、モデル劣化をもたらす。 これらの問題に対処するために,本研究では,効果的な具体的意思決定のための思考中心的選好最適化(TCPO)を提案する。 特に、TCPOは、スパース報酬信号をよりリッチなステップサンプルペアに変換する、ステップワイズ優先に基づく最適化アプローチを導入している。 モデルの中間的推論プロセスの整合性を強調し、モデル劣化の問題を緩和する。 さらに、APC(Action Policy Consistency Constraint)を組み込むことで、モデル出力に一貫性の制約を課す。 ALFWorld環境での実験では、平均成功率は26.67%であり、RL4VLMよりも6%向上し、微調整後のモデル劣化軽減におけるアプローチの有効性が検証された。 これらの結果は、好みに基づく学習技術をCoTプロセスに統合し、具体的エージェントにおける視覚言語モデルの意思決定能力を向上する可能性を強調している。

関連論文リスト

• Preference Optimization for Combinatorial Optimization Problems [54.87466279363487]
  強化学習(Reinforcement Learning, RL)は、ニューラルネットワーク最適化のための強力なツールとして登場した。 大幅な進歩にもかかわらず、既存のRLアプローチは報酬信号の減少や大規模な行動空間における非効率な探索といった課題に直面している。 統計的比較モデルを用いて定量的報酬信号を定性的選好信号に変換する新しい手法であるPreference Optimizationを提案する。
  論文  参考訳（メタデータ） (2025-05-13T16:47:00Z)
• Self-Consistent Model-based Adaptation for Visual Reinforcement Learning [27.701421196547674]
  視覚強化学習エージェントは、視覚障害による実世界のアプリケーションの性能低下に直面している。 既存の方法は、手作りの拡張でポリシーの表現を微調整することに依存している。 本稿では、ポリシーを変更することなくロバスト適応を促進する新しい手法である自己一貫性モデルベース適応(SCMA)を提案する。
  論文  参考訳（メタデータ） (2025-02-14T05:23:56Z)
• Learning Dynamic Representations via An Optimally-Weighted Maximum Mean Discrepancy Optimization Framework for Continual Learning [16.10753846850319]
  継続的な学習は、モデルを永続的に取得し、保持することを可能にする。 悲惨な忘れ物は モデルパフォーマンスを著しく損なう 本稿では,表現変更に対する罰則を課す,OPMMD(Optimally-Weighted Mean Discrepancy)と呼ばれる新しいフレームワークを紹介する。
  論文  参考訳（メタデータ） (2025-01-21T13:33:45Z)
• TSO: Self-Training with Scaled Preference Optimization [14.3799656174528]
  我々は、追加の報酬モデルを訓練することなく、自己学習による選好学習を行う、選好最適化のためのフレームワークTSOを提案する。 TSOは、モデル行列を構築し、人間の嗜好応答を取り入れることで、応答の多様性を高める。 実験の結果、TSOは様々なアライメント評価ベンチマークにおいて、既存の主流手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-31T05:37:01Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。