論文の概要: Critic Architecture Matters: Dual vs. Unified Critics for Humanoid Loco-Manipulation

• arxiv url: http://arxiv.org/abs/2606.11891v1
• Date: Wed, 10 Jun 2026 10:21:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.406873
• Title: Critic Architecture Matters: Dual vs. Unified Critics for Humanoid Loco-Manipulation
• Title（参考訳）: 批判的アーキテクチャ - ヒューマノイド・ロコ・マニピュレーションのための二重対統一的批判
• Authors: Mehmet Turan Yardımcı,
• Abstract要約: ヒューマノイドロボットのための多目的強化学習は、単一のポリシーで移動と操作を調整する必要がある。 NVIDIA Isaac Lab における Unitree G1 humanoid (23 active DoF) の比較を行った。 批判的アーキテクチャは、多目的のヒューマノイドRLにおける主要な、そしてしばしば見落とされがちな設計選択である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-objective reinforcement learning for humanoid robots must coordinate locomotion and manipulation within a single policy. A natural design choice is whether to use a single (unified) critic that estimates the combined value of all objectives, or separate (dual) critics with disjoint reward signals. We present a controlled comparison on the Unitree G1 humanoid (23 active DoF) in NVIDIA Isaac Lab, training loco-manipulation policies through a sequential curriculum spanning 13 levels from stationary reaching to walking with variable-orientation targets. In standardized evaluation, dual-critic policies reach targets 3.5$\times$ faster (6.5 vs. 22.6 simulation steps), achieve 2$\times$ higher throughput (14.3 vs. 7.0 validated reaches per 1,000 steps), and attain higher validated reach rates (65.2% vs. 53.8%) compared to the unified-critic policy. Notably, additional anti-gaming reward mechanisms provide no further improvement beyond the architectural change alone (60.9% vs. 65.2%). These results have direct implications for the emerging paradigm of RL fine-tuning of imitation-learned policies: when refining a pre-trained manipulation policy with RL, a unified critic risks suppressing the learned behavior through competing locomotion gradients. These findings demonstrate that critic architecture is a primary - and often overlooked - design choice in multi-objective humanoid RL, with greater impact than reward engineering on reaching efficiency.
• Abstract（参考訳）: ヒューマノイドロボットのための多目的強化学習は、単一のポリシーで移動と操作を調整する必要がある。 自然な設計選択は、全ての目的の結合した価値を見積もる単一の(統一された)批評家を使うか、または不結合の報酬信号を持つ2つの(二重)批評家を分離するかである。 NVIDIA Isaac Lab の Unitree G1 ヒューマノイド (23 能動 DoF) の制御比較を行い,定位から可変方向の目標を持つ歩行までの13段階にわたる連続的なカリキュラムを通して,ロコ操作ポリシーを訓練した。 標準化された評価では、二重批判ポリシーは3.5$\times$高速(6.5対22.6のシミュレーションステップ)、2$\times$高スループット(14.3対7.0の検証された1000ステップあたりの到達)を達成し、統一批判ポリシーよりも高い評価(65.2%対53.8%)を達成する。 特に、追加のアンチゲーム報酬機構はアーキテクチャの変更だけでは改善しない(60.9%対65.2%)。 これらの結果は、事前訓練された操作ポリシーをRLで精錬する際、競合する移動勾配を通じて学習行動を抑える統一的な批評家のリスクという、模倣学習ポリシーを微調整する新たなパラダイムに直接的な意味を持つ。 これらの結果は、批評家アーキテクチャが、多目的ヒューマノイドRLにおける主要な、そしてしばしば見落とされがちな設計選択であることを示している。

関連論文リスト

• Preference-Calibrated Human-in-the-Loop Reinforcement Learning for Robotic Manipulation [40.17737666526493]
  PACT(Preference-calibrated Actor-Critic Training framework)を提案する。 まず、人間の実演から学習し、信用補正のための最適部分を特定するプログレスモデルを設計する。 次に、選好ペアを構築して、同定された準最適セグメントのベルマン目標をペナルティ化する反ファクト的優位性を定義する。
  論文  参考訳（メタデータ） (2026-06-02T17:38:25Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Metis: Learning to Jailbreak LLMs via Self-Evolving Metacognitive Policy Optimization [51.11398557420066]
  我々は、推論時ポリシー最適化としてジェイルブレイクを改定するフレームワークであるMetisを紹介する。 メティスは比較手法の中でも89.2%で最強のアタック成功率(ASR)を達成している。 冗長な探索を最適化に置き換えることで、Metisはトークンコストを平均8.2倍、最大11.4倍に削減する。
  論文  参考訳（メタデータ） (2026-05-11T06:45:00Z)
• Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
  ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。 本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
  論文  参考訳（メタデータ） (2026-05-07T06:31:34Z)
• Safeguarding Efficacy in Large Language Models: Evaluating Resistance to Human-Written and Algorithmic Adversarial Prompts [0.0]
  本稿では,敵対的攻撃ベクトルに対する大規模言語モデル(LLM)の体系的セキュリティ評価について述べる。 我々はPhi-2, Llama-2-7B-Chat, GPT-3.5-Turbo, GPT-4の4つの異なる攻撃カテゴリ(人書きプロンプト, AutoDAN, Greedy Coordinate Gradient (GCG), Tree-of-Attacks-with-pruning (TAP))を評価した。
  論文  参考訳（メタデータ） (2025-10-12T21:48:34Z)
• LLaVA-Critic-R1: Your Critic Model is Secretly a Strong Policy Model [99.71684530652942]
  LLaVA-Critic-R1は高い評価を受けた批評家としてだけでなく、競争政策モデルとしても現れることを示す。 テスト時に自己批判を適用すると、5つの代表的な推論タスクに対して平均+13.8%の改善が得られる。 その結果,評価と生成の両面において優れた統一モデルが得られることがわかった。
  論文  参考訳（メタデータ） (2025-08-31T03:08:02Z)
• Pre-Trained Policy Discriminators are General Reward Models [81.3974586561645]
  政策差別学習(POLAR)という,スケーラブルな事前学習手法を提案する。 POLARは報酬モデル(RM)を訓練し、同一のポリシーを識別し、異なるポリシーを識別する。 実証実験の結果、POLARは従来の非事前学習法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-07-07T16:56:31Z)
• Adversarial Preference Learning for Robust LLM Alignment [24.217309343426297]
  逆選択学習(英: Adversarial Preference Learning, APL)は、3つの重要な革新を取り入れた反復的逆選択学習法である。 第一に、モデル固有の嗜好確率に基づく直接的な有害度指標。 第二に、入力固有の逆数変化を合成する条件生成攻撃者。
  論文  参考訳（メタデータ） (2025-05-30T09:02:07Z)
• Alternating Objectives Generates Stronger PGD-Based Adversarial Attacks [78.2700757742992]
  Projected Gradient Descent (PGD) は、そのような敵を生成するための最も効果的で概念的にシンプルなアルゴリズムの1つである。 この主張を合成データの例で実験的に検証し、提案手法を25の$ell_infty$-robustモデルと3つのデータセットで評価した。 私たちの最強の敵攻撃は、AutoAttackアンサンブルのすべてのホワイトボックスコンポーネントより優れています。
  論文  参考訳（メタデータ） (2022-12-15T17:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。