論文の概要: Behavior-Skill: A Fine-Grained Benchmark for Evaluating Vision-Language-Action Policies in Long-Horizon Tasks

• arxiv url: http://arxiv.org/abs/2608.30536v1
• Date: Mon, 31 Aug 2026 10:03:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.341254
• Title: Behavior-Skill: A Fine-Grained Benchmark for Evaluating Vision-Language-Action Policies in Long-Horizon Tasks
• Title（参考訳）: 行動スキル:長距離作業における視覚・言語・行動ポリシー評価のための細粒度ベンチマーク
• Abstract要約: 本稿では,長期タスクの学習と評価を改定するベンチマークであるBehavior-Skillを提案する。 50世帯のタスクにまたがる1万件のデモから、34のセマンティックスキルカテゴリから235,492のスキルインスタンスが含まれている。 本研究では,長期VLAポリシーの分析と改善のための中間機能プロファイルを公開することで,行動スキルがフルタスク評価を補完することを示す。
• 参考スコア（独自算出の注目度）: 39.959375504916494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable execution of long-horizon mobile manipulation tasks remains challenging because overall task success depends on the successful completion of multiple constituent skills. Existing benchmarks, however, still rely primarily on full-task rollouts and aggregate task-level metrics, making intermediate failures difficult to observe and analyze. We present Behavior-Skill, a benchmark that reformulates the learning and evaluation of long-horizon tasks around executable constituent skills. It contains 235,492 skill instances from 10,000 demonstrations across 50 household tasks and 34 semantic skill categories. Each instance pairs a skill instruction with an aligned observation-action segment, and is further associated with a restorable intermediate state and a skill success condition to enable independent evaluation under valid preconditions. We further introduce trajectory-level and skill-level metrics to characterize policy capability beyond aggregate task success. Extensive experiments across representative VLA policies including pi0.5 and GR00T on the complete 50-task benchmark show that failures are highly non-uniform across skills, with contact-rich manipulation skills forming persistent bottlenecks. These results demonstrate that Behavior-Skill complements full-task evaluation by exposing intermediate capability profiles for analyzing and improving long-horizon VLA policies. Behavior-Skill is publicly available at https://github.com/nubot-nudt/Behavior-Skill.
• Abstract（参考訳）: 長時間の移動操作タスクの信頼性の高い実行は、複数の構成スキルの完成に依存しているため、依然として困難である。 しかし、既存のベンチマークは、主にフルタスクのロールアウトとタスクレベルのメトリクスの集約に依存しており、中間障害の観察と解析が困難である。 本稿では,実行可能構成スキルに関する長期タスクの学習と評価を改定するベンチマークである振舞いスキルを提案する。 50世帯のタスクにまたがる1万件のデモから、34のセマンティックスキルカテゴリから235,492のスキルインスタンスが含まれている。 各インスタンスは、アライメントされた観察動作セグメントとスキルインストラクションをペアリングし、さらに復元可能な中間状態とスキル成功条件とを関連付けて、有効な前提条件下での独立評価を可能にする。 さらに,タスク成功以上の政策能力を特徴付けるために,トラジェクトリレベルの指標とスキルレベルの指標を導入する。 完全な50タスクのベンチマークでは、pi0.5やGR00Tなど、VLAの代表的ポリシに対する広範な実験によって、障害はスキル全体で非常に一様ではないことが示され、コンタクトリッチな操作スキルが永続的なボトルネックを形成している。 これらの結果は,長期VLAポリシーの分析と改善のための中間機能プロファイルを公開することで,行動スキルがフルタスク評価を補完することを示す。 Behavior-Skillはhttps://github.com/nubot-nudt/Behavior-Skill.comで公開されている。

関連論文リスト

• EmbodiedSkills: A Unified Framework for Orchestrating, Training, and Deploying VLA Agents [56.25120535601186]
  視覚言語アクション(VLA)モデルは、視覚観察と言語指示を直接ロボットアクションにマッピングする。 本稿では,各スキル決定を実行提案として扱うフレームワークであるEmbodiedSkillsを提案する。 共有可能スキルインタフェースは、ハイレベルスキル選択、バウンドローレベルVLA実行、ポストアクション検証を接続する。
  論文  参考訳（メタデータ） (2026-09-01T14:14:47Z)
• Hierarchical Skill Retrieval for Data-Efficient Adaptation of Vision-Language-Action Models [10.94594187411586]
  Hierarchical Skill Retrieval (HSR)は、データ効率のよいVLA適応のための検索フレームワークである。 我々は、HSRが最強のベースラインに対して平均成功率を10.3%、21.3%改善することを示した。
  論文  参考訳（メタデータ） (2026-08-25T04:04:49Z)
• SkillRise: Agentic Reinforcement Learning for Cross-Task Skill Evolution [39.74364990208475]
  大規模な言語モデルエージェントは、しばしば再利用可能なソリューションパターンを共有する、関連するが独立したタスクに遭遇する。 タスク間のスキル学習のための統合強化学習フレームワークであるSkillRiseを紹介する。
  論文  参考訳（メタデータ） (2026-07-29T11:26:33Z)
• Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills [53.15216425100295]
  本稿では,提案者,解決者,スキルコントローラからなる共進化型フレームワークであるスキルセルフプレイ(スキルSP)を紹介する。 プロジェクタは動的にサンプリングされたスキルを前提とした挑戦的なタスクを生成し、ソルバは能力境界を押し上げるための候補ソリューションを探索し、スキルコントローラは実行フィードバックを収集してスキルライブラリを更新および拡張する。 このインタラクティブな共進化は、構造化された検証とオープンな調査の間のギャップを効果的に埋める。
  論文  参考訳（メタデータ） (2026-07-24T17:59:22Z)
• Diagnosing Semantic Handoff Failures in Agent-Orchestrated Vision-Language-Action Skill Composition [10.276503485743111]
  ロングホライゾンの家庭作業は、多くの言語条件のスキルを構成するロボットを必要とする。 スキルは、ロボットを次のスキルが確実に開始できない状態に置きながら、自身のポストコンディションを満たすことができる。 BEHAVIOR-1Kにおけるこのセマンティックハンドオフ問題について,エージェントオーケストレートな視覚言語-アクション実行ハーネスを用いて検討する。
  論文  参考訳（メタデータ） (2026-07-07T13:24:37Z)
• DexJoCo: A Benchmark and Toolkit for Task-Oriented Dexterous Manipulation on MuJoCo [82.73355932907565]
  DexJoCoはタスク指向のデクサラス操作のためのベンチマークとツールキットである。 本研究は,ツール使用,双方向調整,長期実行,推論などを評価する機能的なタスクを11個提示する。 我々は、視覚的・動的ランダム化、マルチタスクトレーニング、アクションヘッド適応など、多様な設定で最新のモデルをベンチマークする。
  論文  参考訳（メタデータ） (2026-05-15T17:59:51Z)
• Evidence Over Plans: Online Trajectory Verification for Skill Distillation [59.17625804241461]
  後方蒸留指数 (Posterior Distillation Index, PDI) は、タスク環境証拠に蒸留技術がどの程度うまく根付いているかを測る軌跡レベルの指標である。 SPARKはPDIを計算するのに使用される環境検証トラジェクトリを生成する。 本研究では,SPARK生成スキルが非スキルベースラインを一貫して上回り,学生モデルにおける人書きスキルを上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-09T22:15:13Z)
• SkillFlow:Benchmarking Lifelong Skill Discovery and Evolution for Autonomous Agents [33.117459452689964]
  SkillFlowは、20家族にわたる166のタスクのベンチマークで、各家族内のタスク構成がドメインに依存しない実行フロー(DAEF)に従う。 エージェントはAgentic Lifelong Learningプロトコルで評価され、スキルなしで開始し、各ファミリー内でタスクをシーケンシャルに解決し、トラジェクトリおよびルーリック駆動のスキルパッチを通じてレッスンを外部化し、更新されたライブラリを前進させる。
  論文  参考訳（メタデータ） (2026-04-19T07:51:46Z)
• LongCLI-Bench: A Preliminary Benchmark and Study for Long-horizon Agentic Programming in Command-Line Interfaces [65.11019654023978]
  LongCLI-Benchは、長期にわたる現実的なタスクにまたがるエージェント能力を評価するために設計されたベンチマークである。 私たちは、1000以上のコンピュータサイエンスの課題と現実世界のタスクから、20の高品質で長い水平タスクをキュレートしました。 実験によると、最先端のエージェントでさえLongCLI-Benchの20%未満のパスレートを達成する。
  論文  参考訳（メタデータ） (2026-02-15T23:12:57Z)
• EVOLVE-VLA: Test-Time Training from Environment Feedback for Vision-Language-Action Models [57.75717492488268]
  VLA(Vision-Language-Action)モデルは、大きな言語モデルを活用することで高度なロボット操作を行う。 Supervised Finetuning (SFT) では、タスク毎の数百のデモ、厳格に軌跡を記憶すること、デプロイメント条件がトレーニングから逸脱したときに適応できないことなどが求められている。 EVOLVE-VLA(EVOLVE-VLA)は、VLAが最小またはゼロのタスク固有のデモで環境相互作用を通じて継続的に適応できるテストタイムトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-12-16T18:26:38Z)
• STAP: Sequencing Task-Agnostic Policies [22.25415946972336]
  本稿では,長期的課題を解決するために,操作スキルを訓練し,それらの幾何学的依存関係を計画時に調整するためのシークエンシングタスク非依存ポリシー(STAP)を提案する。 実験により, この目的関数が真理計画の実現可能性に近似していることが示唆された。 タスクプランナが提供したスキルシーケンスの幾何学的実現可能性を評価することで,STAPがタスク計画や動作計画にどのように使えるかを実証する。
  論文  参考訳（メタデータ） (2022-10-21T21:09:37Z)
• Design of Negative Sampling Strategies for Distantly Supervised Skill Extraction [19.43668931500507]
  本稿では,リテラルマッチングによる遠隔監視に基づく,スキル抽出のためのエンドツーエンドシステムを提案する。 ESCO分類を用いて、関連するスキルからネガティブな例を選択することで、最大の改善が得られます。 我々は,タスクのさらなる研究を促進するために,研究目的のベンチマークデータセットをリリースする。
  論文  参考訳（メタデータ） (2022-09-13T13:37:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。