論文の概要: Temporal and Semantic Evaluation Metrics for Foundation Models in Post-Hoc Analysis of Robotic Sub-tasks

• arxiv url: http://arxiv.org/abs/2403.17238v1
• Date: Mon, 25 Mar 2024 22:39:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 19:16:39.636137
• Title: Temporal and Semantic Evaluation Metrics for Foundation Models in Post-Hoc Analysis of Robotic Sub-tasks
• Title（参考訳）: ロボットサブタスクのポストホック解析における基礎モデルの時間的・意味的評価指標
• Authors: Jonathan Salfity, Selma Wanna, Minkyu Choi, Mitch Pryor,
• Abstract要約: 本稿では,トラジェクトリデータを時間的境界と自然言語に基づく記述サブタスクに分解するフレームワークを提案する。 我々のフレームワークは、全軌道を構成する低レベルのサブタスクに対して、時間ベースの記述と言語ベースの記述の両方を提供する。 この尺度は2つのサブタスク分解の間の言語記述の時間的アライメントと意味的忠実度を測定する。
• 参考スコア（独自算出の注目度）: 1.8124328823188356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works in Task and Motion Planning (TAMP) show that training control policies on language-supervised robot trajectories with quality labeled data markedly improves agent task success rates. However, the scarcity of such data presents a significant hurdle to extending these methods to general use cases. To address this concern, we present an automated framework to decompose trajectory data into temporally bounded and natural language-based descriptive sub-tasks by leveraging recent prompting strategies for Foundation Models (FMs) including both Large Language Models (LLMs) and Vision Language Models (VLMs). Our framework provides both time-based and language-based descriptions for lower-level sub-tasks that comprise full trajectories. To rigorously evaluate the quality of our automatic labeling framework, we contribute an algorithm SIMILARITY to produce two novel metrics, temporal similarity and semantic similarity. The metrics measure the temporal alignment and semantic fidelity of language descriptions between two sub-task decompositions, namely an FM sub-task decomposition prediction and a ground-truth sub-task decomposition. We present scores for temporal similarity and semantic similarity above 90%, compared to 30% of a randomized baseline, for multiple robotic environments, demonstrating the effectiveness of our proposed framework. Our results enable building diverse, large-scale, language-supervised datasets for improved robotic TAMP.
• Abstract（参考訳）: タスク・アンド・モーション・プランニング(TAMP)における最近の研究は、品質ラベル付きデータによる言語制御ロボット軌道のトレーニング制御ポリシーが、エージェント・タスクの成功率を著しく向上させることを示している。 しかし、そのようなデータの不足は、これらの手法を一般的なユースケースに拡張する上で大きなハードルとなる。 この問題に対処するため,我々は,大規模言語モデル (LLM) と視覚言語モデル (VLM) を含む最近の基礎モデル (FM) のプロンプト戦略を活用することにより,トラジェクトリデータを時間的境界と自然言語に基づく記述サブタスクに分解する自動フレームワークを提案する。 我々のフレームワークは、全軌道を構成する低レベルのサブタスクに対して、時間ベースの記述と言語ベースの記述の両方を提供する。 自動ラベリングフレームワークの品質を厳格に評価するために,時間的類似性と意味的類似性という2つの新しい指標を生成するアルゴリズムSIMILARITYを提案する。 このメトリクスは,2つのサブタスク分解,すなわちFMサブタスク分解予測と基底トラックサブタスク分解の間の言語記述の時間的アライメントと意味的忠実度を測定する。 提案手法の有効性を実証し,複数のロボット環境におけるランダム化されたベースラインの30%に対して,時間的類似度と意味的類似度が90%以上であることを示す。 この結果から,ロボットTAMPの改良を目的とした多種多様な大規模言語教師付きデータセットの構築が可能となった。

関連論文リスト

• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• A Multi-Task Semantic Decomposition Framework with Task-specific Pre-training for Few-Shot NER [26.008350261239617]
  マルチタスク・セマンティック・デコンストラクション・フレームワークを提案する。 本稿では,MLM(Demonstration-based Masked Language Modeling)とクラスコントラスト識別(Class Contrastive Discrimination)の2つの新しい事前学習タスクを紹介する。 下流のメインタスクでは,エンティティ分類のための2つの異なるセマンティック情報の統合を容易にするセマンティックデコンポーザリング手法を用いたマルチタスク共同最適化フレームワークを導入する。
  論文  参考訳（メタデータ） (2023-08-28T12:46:21Z)
• Towards Generalized Models for Task-oriented Dialogue Modeling on Spoken Conversations [22.894541507068933]
  本稿では,DSTC-10の音声対話課題における知識ベースタスク指向対話モデリングのための一般化モデルの構築について述べる。 我々は,人工誤り注入やラウンドトリップ音声変換など,手書きデータに対する広範なデータ拡張戦略を採用している。 本手法は, 客観的評価では3位, 最終公式評価では2位である。
  論文  参考訳（メタデータ） (2022-03-08T12:26:57Z)
• Incorporating Linguistic Knowledge for Abstractive Multi-document Summarization [20.572283625521784]
  ニューラルネットワークに基づく抽象的多文書要約(MDS)モデルを開発した。 依存関係情報を言語誘導型注意機構に処理する。 言語信号の助けを借りて、文レベルの関係を正しく捉えることができる。
  論文  参考訳（メタデータ） (2021-09-23T08:13:35Z)
• Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
  我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。 マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。 タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-28T16:45:56Z)
• Structured Prediction as Translation between Augmented Natural Languages [109.50236248762877]
  本研究では,構造化予測言語の課題を解決するために,新しいフレームワークであるTANL(Translation between Augmented Natural Languages)を提案する。 タスク固有の差別を訓練することで問題に取り組む代わりに、拡張自然言語間の翻訳タスクとして位置づける。 提案手法は, タスク固有のモデルに適合するか, 性能に優れ, 特に, 共同エンティティと関係抽出に関する新たな最先端結果が得られる。
  論文  参考訳（メタデータ） (2021-01-14T18:32:21Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。