論文の概要: FIERCE: From Generalist Robot Policies to Fast Specialists via Progress-Failure Feedback
- arxiv url: http://arxiv.org/abs/2609.18651v1
- Date: Wed, 16 Sep 2026 13:34:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.821277
- Title: FIERCE: From Generalist Robot Policies to Fast Specialists via Progress-Failure Feedback
- Title（参考訳）: FIERCE:ジェネラリストロボットからプログレッシブフェイルフィードバックによるファストスペシャリストへ
- Abstract要約: 汎用的なロボットポリシーは役に立つが、限定的な物理的相互作用を通じてコンパクトなスペシャリストを磨き直すには、情報的学習のフィードバックが必要である。
FIERCEは,タスク適応型プログレッシブ・フェール評価器を統合化した汎用的な強化学習フレームワークである。
この評価は、フィードバック品質、ポリシー学習効率、シミュレーション全体にわたるデプロイメントコストと2つのコンタクトリッチな実際のタスクを分離する。
- 参考スコア（独自算出の注目度）: 32.98143466079881
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generalist robot policies offer useful initialization, but refining compact specialists through limited physical interaction requires informative learning feedback. We present FIERCE, a generalist-initialized reinforcement learning framework centered on a unified, task-adaptive progress-failure evaluator. Its architecture shares an observation-language representation between an observed-progress head and an action-conditioned latent predictor whose past and current predictions feed a causal sequence head for task-failure estimation. Joint supervision from progress and preference labels, synchronized commands and observations, and terminal outcomes trains the evaluator; target-task rollouts support adaptation and calibration. Fixed evaluator snapshots provide progress shaping and failure-risk penalties alongside independently verified terminal rewards, while evaluator and policy updates alternate as new experience is collected. Refinement requires neither continued generalist action queries nor a dedicated target-task simulator or manually annotated dense rewards. Only the compact specialist is retained at deployment. The evaluation separates feedback quality, policy-learning efficiency, and deployment cost across simulation and two contact-rich real tasks. Code, model weights, and data-restoration tools are released at https://github.com/ar-mine/FIERCE.
- Abstract（参考訳）: 汎用的なロボットポリシーは有用な初期化を提供するが、限定的な物理的相互作用を通じてコンパクトなスペシャリストを精錬するには、情報的な学習フィードバックが必要である。
FIERCEは,タスク適応型プログレッシブ・フェール評価器を中心に,汎用的な強化学習フレームワークである。
そのアーキテクチャは、観測されたプログレスヘッドと過去の予測と現在の予測がタスク障害推定のために因果シーケンスヘッドを供給している動作条件付き潜在予測器との間の観察言語表現を共有している。
進捗と選好ラベル、同期されたコマンドと観測、および最終結果は評価者を訓練し、ターゲットタスクのロールアウトは適応とキャリブレーションをサポートする。
固定評価器スナップショットは、個別に確認された端末報酬とともに、進捗のシェーピングと失敗リスクのペナルティを提供するが、新しいエクスペリエンスが収集されるにつれて、評価器とポリシーの更新が交互に行われる。
リファインメントは、継続するジェネリストのアクションクエリや専用のターゲットタスクシミュレータ、手動で注釈付けされた高額な報酬を必要としない。
小型のスペシャリストのみが配備時に保持される。
この評価は、フィードバック品質、ポリシー学習効率、シミュレーション全体にわたるデプロイメントコストと2つのコンタクトリッチな実際のタスクを分離する。
コード、モデルウェイト、データ復元ツールはhttps://github.com/ar-mine/FIERCE.orgで公開されている。
関連論文リスト
- Evaluation-Conditioned Training: Teaching Models to Generalize to Stronger Oversight Regimes [0.0]
現在のトレーニング後の方法の鍵となる制限は、人間のアノテータと自動報酬関数が、私たちが提供したいフィードバックを忠実に捉えることができないことである。
我々は、自然言語を用いて、フィードバックの忠実度を各トレーニングサンプルに条件付けする後トレーニングフレームワークであるAudiment-Conditioned Training (ECT)を紹介した。
ECTは不完全なフィードバック下でのパフォーマンス向上を目的としており、SFTやPPOといった既存のアルゴリズムのアドオンとして機能する。
論文 参考訳（メタデータ） (2026-08-10T20:22:13Z) - Judgment-Grounded Expansion for Peer Review Generation [68.04679314462481]
我々は、評価的クレームを提供する人間とAIの協調モードである判断基盤の拡張を定式化し、レビューコメント候補に拡張する(s)。
本研究は,スケーラブルな評価と候補セットのキュレーションの2つの実践的課題について検討する。
本研究は,具体的な課題として判断基盤の拡大を確立し,今後の共同レビュー生成システムの設計のための実証的,方法論的基盤を提供する。
論文 参考訳（メタデータ） (2026-06-22T12:20:11Z) - From Question Answering to Task Completion: A Survey on Agent System and Harness Design [67.8241530947325]
本研究はモデルハーネスレンズを用いてLCMをベースとしたエージェントについて検討する。
まず, LLMをベースとしたエージェントを基礎モデルと実行ハーネスとして, エージェントの機能的定義と実装の視点を明らかにする。
次に、モデル中心のスケーリングの限界を分析し、エージェントエンジニアリングの4つのパラダイムをトレースし、実行ハーネスを6つの結合ランタイム責任に分解する。
論文 参考訳（メタデータ） (2026-06-14T05:40:16Z) - HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。
HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
論文 参考訳（メタデータ） (2026-06-10T01:35:34Z) - From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。
我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
論文 参考訳（メタデータ） (2026-06-07T13:34:55Z) - A Rubric-Supervised Critic from Sparse Real-World Outcomes [87.11204512676193]
現実のコーディングエージェントは、成功信号がノイズが多く、遅延し、スパースであるループで人間と動作します。
本稿では,RLに基づくトレーニングや推論時間スケーリングの報奨モデルとして,スパースとノイズの相互作用データから"批判的"モデルを学習するプロセスを提案する。
論文 参考訳（メタデータ） (2026-03-04T07:23:54Z) - From Transcripts to AI Agents: Knowledge Extraction, RAG Integration, and Robust Evaluation of Conversational AI Assistants [0.0]
顧客向け産業向けの信頼できる会話AIアシスタントの構築は、ノイズの多い会話データ、断片化された知識、正確なヒューマンハンドオフの必要性により、依然として困難である。
本稿では,履歴書から直接対話型AIアシスタントを構築し,評価するためのエンドツーエンドフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-26T07:44:47Z) - A Unified Framework for Real-Time Failure Handling in Robotics Using Vision-Language Models, Reactive Planner and Behavior Trees [1.3481665321936716]
本稿では,リアクティブプランナであるVLM(Vision-Language Models)とBT(Behavior Trees)を組み合わせて,リアルタイムの障害処理を実現する,統合された障害復旧フレームワークを提案する。
当社のアプローチには、実行前の潜在的な障害をチェックする事前実行検証と、実行中の障害を検出し修正するリアクティブ障害処理が含まれている。
我々は、ペグ挿入、オブジェクトソート、引き手の配置といったタスクにおいて、ABB YuMiロボットを用いた実世界の実験を通して、我々のフレームワークを評価する。
論文 参考訳（メタデータ） (2025-03-19T13:40:56Z) - PROGRESSOR: A Perceptually Guided Reward Estimator with Self-Supervised Online Refinement [16.768912344111946]
本稿では,タスクに依存しない報酬関数をビデオから学習するフレームワークであるProgESSORを提案する。
ProGRESSORは、ロボットが外部の監督なしに複雑な動作を学習できるようにする。
論文 参考訳（メタデータ） (2024-11-26T04:17:51Z) - Hierarchical Decomposition of Prompt-Based Continual Learning:
Rethinking Obscured Sub-optimality [55.88910947643436]
大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。
HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。
実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
論文 参考訳（メタデータ） (2023-10-11T06:51:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。