論文の概要: Hallmarks of Human-Machine Collaboration: A framework for assessment in
the DARPA Communicating with Computers Program
- arxiv url: http://arxiv.org/abs/2102.04958v1
- Date: Tue, 9 Feb 2021 17:13:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-10 17:39:35.171237
- Title: Hallmarks of Human-Machine Collaboration: A framework for assessment in
the DARPA Communicating with Computers Program
- Title（参考訳）: ヒューマン・マシン・コラボレーションの論点--darpaとコンピュータ・プログラムにおける評価の枠組み
- Authors: Robyn Kozierok, John Aberdeen, Cheryl Clark, Christopher Garay,
Bradley Goodman, Tonia Korves, Lynette Hirschman, Patricia L. McDermott,
Matthew W. Peterson
- Abstract要約: オープンエンドの複雑なシナリオに係わるシステムを評価するためのフレームワークについて述べる。
成功しているシステムで示さなければならない重要な特性を特定します。
ホールマークは研究の方向性を導くための目標として機能することを意図している。
- 参考スコア（独自算出の注目度）: 0.851218146348961
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There is a growing desire to create computer systems that can communicate
effectively to collaborate with humans on complex, open-ended activities.
Assessing these systems presents significant challenges. We describe a
framework for evaluating systems engaged in open-ended complex scenarios where
evaluators do not have the luxury of comparing performance to a single right
answer. This framework has been used to evaluate human-machine creative
collaborations across story and music generation, interactive block building,
and exploration of molecular mechanisms in cancer. These activities are
fundamentally different from the more constrained tasks performed by most
contemporary personal assistants as they are generally open-ended, with no
single correct solution, and often no obvious completion criteria.
We identified the Key Properties that must be exhibited by successful
systems. From there we identified "Hallmarks" of success -- capabilities and
features that evaluators can observe that would be indicative of progress
toward achieving a Key Property. In addition to being a framework for
assessment, the Key Properties and Hallmarks are intended to serve as goals in
guiding research direction.
- Abstract（参考訳）: 複雑でオープンな活動で人間と協力するために効果的にコミュニケーションできるコンピュータシステムを作りたいという欲求が高まっている。
これらのシステムの評価には大きな課題がある。
提案手法は,評価者が単一回答に対して性能を比較できないような,オープンエンドの複雑なシナリオに係わるシステムを評価するためのフレームワークである。
このフレームワークは、ストーリーと音楽の生成、インタラクティブなブロック構築、がんの分子メカニズムの探索にわたる人間と機械の創造的なコラボレーションを評価するために使用されます。
これらの活動は、一般的にオープンエンドであり、単一の正しい解決策がなく、しばしば明らかな完了基準がないため、ほとんどの現代のパーソナルアシスタントによって実行されるより制限されたタスクと根本的に異なります。
成功したシステムで示さなければならない重要な特性を特定しました。
そこから、評価者が観察できる能力と機能、つまりキープロパティの達成に向けた進歩を示す「ホールマーク」を特定しました。
評価の枠組みであることに加えて、キープロパティとホールマークは研究の方向性を導くための目標として機能することを意図している。
関連論文リスト
- Constrained Human-AI Cooperation: An Inclusive Embodied Social Intelligence Challenge [47.74313897705183]
CHAICは、インボディードエージェントの社会的知覚と協力をテストするために設計された包括的インボディード・ソーシャル・インテリジェンス・チャレンジである。
CHAICの目標は、身体的制約の下で活動している可能性がある人間を支援するために、自我中心の観察装置を備えたエンボディエージェントである。
我々は,この課題に対する計画ベースラインと学習ベースラインのベンチマークを行い,大規模言語モデルと行動モデリングを活用した新しい手法を提案する。
論文 参考訳（メタデータ） (2024-11-04T04:41:12Z) - Fostering Microservice Maintainability Assurance through a Comprehensive Framework [0.0]
このプロジェクトの目的は、マイクロサービスベースのシステムに対する保守性保証を提供することだ。
マイクロサービスアーキテクチャに適した自動アセスメントフレームワークが導入されている。
このフレームワークは、アーティファクトからシステム特性の全体像まで、さまざまなレベルに対処する。
論文 参考訳（メタデータ） (2024-07-23T22:45:29Z) - Evaluating Human-AI Collaboration: A Review and Methodological Framework [4.41358655687435]
人間-AIコラボレーション(Human-AI Collaboration、HAIC)として知られる個人との作業環境における人工知能(AI)の利用が不可欠である。
HAICの有効性を評価することは、関連するコンポーネントの複雑な相互作用のため、依然として困難である。
本稿では,既存のHAIC評価手法を詳細に分析し,これらのシステムをより効果的に評価するための新しいパラダイムを開発する。
論文 参考訳（メタデータ） (2024-07-09T12:52:22Z) - WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks? [83.19032025950986]
本稿では,Webブラウザを介してソフトウェアと対話する大規模言語モデルベースエージェントについて検討する。
WorkArenaは、広く使用されているServiceNowプラットフォームに基づく33のタスクのベンチマークである。
BrowserGymは、そのようなエージェントの設計と評価のための環境である。
論文 参考訳（メタデータ） (2024-03-12T14:58:45Z) - Understanding the Application of Utility Theory in Robotics and
Artificial Intelligence: A Survey [5.168741399695988]
このユーティリティは、経済学、ゲーム理論、およびオペレーション研究において、ロボティクスとAI分野においても統一された概念である。
本稿では,エージェントのインタラクション間の相互関係を記述し,評価するためのユーティリティ指向の要求パラダイムを提案する。
論文 参考訳（メタデータ） (2023-06-15T18:55:48Z) - Learning Action-Effect Dynamics for Hypothetical Vision-Language
Reasoning Task [50.72283841720014]
本研究では,行動の効果に関する推論を改善する新しい学習戦略を提案する。
本稿では,提案手法の有効性を実証し,性能,データ効率,一般化能力の観点から,従来のベースラインに対する優位性を論じる。
論文 参考訳（メタデータ） (2022-12-07T05:41:58Z) - Automatic Context-Driven Inference of Engagement in HMI: A Survey [6.479224589451863]
本稿では,人間と機械の相互作用に関するエンゲージメント推論について述べる。
これには、学際的定義、エンゲージメントコンポーネントと要因、公開データセット、地上真実の評価、そして最も一般的に使用される機能と方法が含まれる。
これは、信頼性の高いコンテキスト認識エンゲージメント推論機能を備えた、将来の人間と機械のインタラクションインターフェースの開発のためのガイドとして機能する。
論文 参考訳（メタデータ） (2022-09-30T10:46:13Z) - Autonomous Open-Ended Learning of Tasks with Non-Stationary
Interdependencies [64.0476282000118]
固有のモチベーションは、目標間のトレーニング時間を適切に割り当てるタスクに依存しないシグナルを生成することが証明されている。
内在的に動機付けられたオープンエンドラーニングの分野におけるほとんどの研究は、目標が互いに独立しているシナリオに焦点を当てているが、相互依存タスクの自律的な獲得を研究するのはごくわずかである。
特に,タスク間の関係に関する情報をアーキテクチャのより高レベルなレベルで組み込むことの重要性を示す。
そして、自律的に取得したシーケンスを格納する新しい学習層を追加することで、前者を拡張する新しいシステムであるH-GRAILを紹介する。
論文 参考訳（メタデータ） (2022-05-16T10:43:01Z) - Human-Algorithm Collaboration: Achieving Complementarity and Avoiding
Unfairness [92.26039686430204]
慎重に設計されたシステムであっても、補完的な性能はあり得ないことを示す。
まず,簡単な人間アルゴリズムをモデル化するための理論的枠組みを提案する。
次に、このモデルを用いて相補性が不可能な条件を証明する。
論文 参考訳（メタデータ） (2022-02-17T18:44:41Z) - Watch-And-Help: A Challenge for Social Perception and Human-AI
Collaboration [116.28433607265573]
我々は、AIエージェントでソーシャルインテリジェンスをテストするための課題であるWatch-And-Help(WAH)を紹介する。
WAHでは、AIエージェントは、人間のようなエージェントが複雑な家庭用タスクを効率的に実行するのを助ける必要がある。
マルチエージェントの家庭環境であるVirtualHome-Socialを構築し、計画と学習ベースのベースラインを含むベンチマークを提供する。
論文 参考訳（メタデータ） (2020-10-19T21:48:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。