論文の概要: How Users Understand Robot Foundation Model Performance through Task Success Rates and Beyond

• arxiv url: http://arxiv.org/abs/2602.03920v1
• Date: Tue, 03 Feb 2026 18:36:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:41.147431
• Title: How Users Understand Robot Foundation Model Performance through Task Success Rates and Beyond
• Title（参考訳）: タスク成功率などによるロボットファンデーションモデルパフォーマンスの理解
• Abstract要約: 本研究では,ロボットファンデーションモデルの評価から,非ロボティクス主義者がパフォーマンス情報をどう解釈するかを検討する。 本研究では,タスク成功率(TSR)や障害事例記述など,実際の評価データについて検討した。 我々は,RTMの過去の評価結果から実際のデータにアクセスし,ロボットが新しいタスクでどれだけうまくやるかを推定する。
• 参考スコア（独自算出の注目度）: 0.0651484487606029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robot Foundation Models (RFMs) represent a promising approach to developing general-purpose home robots. Given the broad capabilities of RFMs, users will inevitably ask an RFM-based robot to perform tasks that the RFM was not trained or evaluated on. In these cases, it is crucial that users understand the risks associated with attempting novel tasks due to the relatively high cost of failure. Furthermore, an informed user who understands an RFM's capabilities will know what situations and tasks the robot can handle. In this paper, we study how non-roboticists interpret performance information from RFM evaluations. These evaluations typically report task success rate (TSR) as the primary performance metric. While TSR is intuitive to experts, it is necessary to validate whether novices also use this information as intended. Toward this end, we conducted a study in which users saw real evaluation data, including TSR, failure case descriptions, and videos from multiple published RFM research projects. The results highlight that non-experts not only use TSR in a manner consistent with expert expectations but also highly value other information types, such as failure cases that are not often reported in RFM evaluations. Furthermore, we find that users want access to both real data from previous evaluations of the RFM and estimates from the robot about how well it will do on a novel task.
• Abstract（参考訳）: ロボットファウンデーションモデル(RFM)は、汎用ホームロボットの開発において有望なアプローチである。 RFMの幅広い能力を考えると、ユーザーは必然的にRAMベースのロボットに、RAMが訓練や評価を受けていないタスクを実行するよう要求する。 このような場合、比較的高い失敗コストのため、新規タスクの試行に伴うリスクをユーザが理解することが重要である。 さらに、RAMの機能を理解する情報利用者は、ロボットが処理できる状況やタスクを知ることができる。 本稿では,非ロボティクス主義者がRAM評価からパフォーマンス情報をどう解釈するかを検討する。 これらの評価は通常、タスク成功率(TSR)を主要なパフォーマンス指標として報告する。 TSRは専門家にとって直感的であるが、初心者が意図した通りにこの情報を使用するかどうかを検証する必要がある。 そこで本研究では,TSR,障害事例記述,複数のRCM研究プロジェクトのビデオなど,実際の評価データについて検討した。 その結果、専門家以外の者は、専門家の期待と一致した方法でTSRを使用するだけでなく、RAM評価でしばしば報告されない障害事例など、他の情報タイプを高く評価することが明らかとなった。 さらに, RFMの過去の評価結果から得られた実データと, ロボットによる新たなタスクにおける有効性の推定の両方に, ユーザがアクセスしたいことがわかった。

関連論文リスト

• Skill Following: Evaluating Actual Skill Use in Retrieval-Enabled LLM Agents [14.569054900961921]
  大きな言語モデル(LLM)エージェントは、ますます外部スキルに依存している。 この実使用能力を測定するために、我々は「スキル追従(SF)」を定式化し、検索誘導実使用効果(RAE)を導入する。 RAEは、エージェントが積極的にスキルを回収したタスクにのみ条件付きで、マッチしたスキル対応実行とスキル障害実行の間の同じタスク結果の差を計算する。
  論文  参考訳（メタデータ） (2026-09-01T01:33:57Z)
• Investigating LLM Variability in Personalized Conversational Information Retrieval [14.220276130333849]
  Moらは、個人用テキスト知識ベース(PTKB)を大規模言語モデル(LLM)に組み込むためのいくつかの戦略を探求した。 提案手法を新しいTREC iKAT 2024データセットに適用し,Llama (1B-70B), Qwen-7B, GPT-4o-miniを含む多種多様なモデルの評価を行った。 その結果,人間の選択したPTKBは連続的に検索性能を向上する一方,LLMに基づく選択法は手作業による選択を確実に上回るものではないことがわかった。
  論文  参考訳（メタデータ） (2025-10-04T12:13:19Z)
• CRMArena: Understanding the Capacity of LLM Agents to Perform Professional CRM Tasks in Realistic Environments [90.29937153770835]
  CRMArenaは、プロフェッショナルな作業環境に根ざした現実的なタスクにおいて、AIエージェントを評価するために設計されたベンチマークである。 現状のLDMエージェントはReActプロンプトのタスクの40%以下で成功し,機能呼び出し能力でも55%以下であった。 この結果から,実環境に展開する関数呼び出しやルールフォローにおいて,エージェント機能の向上の必要性が示唆された。
  論文  参考訳（メタデータ） (2024-11-04T17:30:51Z)
• Knowledge graph enhanced retrieval-augmented generation for failure mode and effects analysis [1.8849131083278732]
  本稿では,FMEAデータに対する集合理論の標準化とスキーマ,FMEA-KGからベクトル埋め込みを生成するアルゴリズム,KG拡張RAGフレームワークを提案する。 提案手法は,ユーザエクスペリエンス設計研究を通じて検証され,コンテキストリコールの精度と性能を計測する。
  論文  参考訳（メタデータ） (2024-06-26T07:02:49Z)
• On the Evaluation of Speech Foundation Models for Spoken Language Understanding [87.52911510306011]
  Spoken Language Understanding Evaluation (SLUE) というベンチマークタスクスイートが最近導入され、オープンリソースやベンチマークの必要性に対処している。 このベンチマークは、これらのSLUタスクに事前訓練された音声基礎モデル(SFM)を使用することで、予備的な成功を収めた。 どのSFMがこれらの複雑なSLUタスクに最も恩恵をもたらすか、そしてこれらのSFMを組み込む上で最も効果的なアプローチは何か?
  論文  参考訳（メタデータ） (2024-06-14T14:37:52Z)
• Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
  大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。 検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。 SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
  論文  参考訳（メタデータ） (2023-10-08T04:22:33Z)
• FETA: Towards Specializing Foundation Models for Expert Task Applications [49.57393504125937]
  ファンデーションモデル(FM)は、ゼロショット学習、高忠実度データ合成、ドメインの一般化など、前例のない機能を示した。 この論文では、FMは、まだ専門家のタスクにおいて、出来の悪いパフォーマンスを保っていることを示します。 本稿では,FMに技術資料の理解を促すことを目的として,その第1のFETAベンチマークを提案する。
  論文  参考訳（メタデータ） (2022-09-08T08:47:57Z)
• Explanations of Machine Learning predictions: a mandatory step for its application to Operational Processes [61.20223338508952]
  信用リスクモデリングは重要な役割を果たす。 近年,機械学習や深層学習の手法が採用されている。 この分野における説明可能性問題に LIME 手法を適用することを提案する。
  論文  参考訳（メタデータ） (2020-12-30T10:27:59Z)
• Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
  我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。 APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。 我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
  論文  参考訳（メタデータ） (2020-04-09T09:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。