論文の概要: Improving the State of the Art for Training Human-AI Teams: Technical
Report #3 -- Analysis of Testbed Alternatives
- arxiv url: http://arxiv.org/abs/2309.03213v1
- Date: Tue, 29 Aug 2023 14:06:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-10 03:38:25.195270
- Title: Improving the State of the Art for Training Human-AI Teams: Technical
Report #3 -- Analysis of Testbed Alternatives
- Title（参考訳）: 人間-AIチームトレーニングのための最先端技術:技術報告3 -- テストベッドの代替品の分析
- Authors: Lillian Asiala, James E. McCarthy, Lixiao Huang
- Abstract要約: Sonalystsは、Human-Artificial Intelligence (AI)チームとのコラボレーションにおける専門知識を拡張するイニシアチブに取り組んでいる。
この研究の基盤として、SonalystsはSynthetic Task Environmentの開発について調査している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sonalysts is working on an initiative to expand our current expertise in
teaming to Human-Artificial Intelligence (AI) teams by developing original
research in this area. To provide a foundation for that research, Sonalysts is
investigating the development of a Synthetic Task Environment (STE). In a
previous report, we documented the findings of a recent outreach effort in
which we asked military Subject Matter Experts (SMEs) and other researchers in
the Human-AI teaming domain to identify the qualities that they most valued in
a testbed. A surprising finding from that outreach was that several respondents
recommended that our team look into existing human-AI teaming testbeds, rather
than creating something new. Based on that recommendation, we conducted a
systematic investigation of the associated landscape. In this report, we
describe the results of that investigation. Building on the survey results, we
developed testbed evaluation criteria, identified potential testbeds, and
conducted qualitative and quantitative evaluations of candidate testbeds. The
evaluation process led to five candidate testbeds for the research team to
consider. In the coming months, we will assess the viability of the various
alternatives and begin to execute our program of research.
- Abstract（参考訳）: Sonalystsは、この領域でオリジナルの研究を開発することで、人間と人工知能(AI)チームとのコラボレーションにおける現在の専門知識を拡張するイニシアティブに取り組んでいる。
この研究の基礎として、SonalystsはSTE(Synthetic Task Environment)の開発について調査している。
先程の報告で、我々は、テストベッドで最も評価された品質を特定するために、軍事的課題専門専門家(SMEs)や他の人間-AIチーム領域の研究者に依頼した、最近のアウトリーチ活動の成果を文書化した。
そのアウトリーチから驚くべき発見は、何人かの回答者が、新しいものを作るのではなく、既存の人間とAIのチームテストベッドを調べることを推奨したことです。
そこで我々は,その推薦に基づき,関連景観を体系的に調査した。
本報告では,その調査の結果について述べる。
調査結果に基づいて,テストベッド評価基準を策定し,潜在的なテストベッドを同定し,候補テストベッドの質的,定量的評価を行った。
評価プロセスは、研究チームが検討すべき5つの候補テストベッドにつながった。
今後数ヶ月で,様々な代替案の存続可能性を評価し,研究プログラムの実施を開始する。
関連論文リスト
- On Evaluating Explanation Utility for Human-AI Decision Making in NLP [39.58317527488534]
既存のメトリクスをレビューし、アプリケーショングラウンド評価に適したデータセットの要件を確立する。
我々は,人間-AIチームの形成と研究のために,芸術の状態を再評価することの重要性を実証する。
論文 参考訳（メタデータ） (2024-07-03T23:53:27Z) - SurveyAgent: A Conversational System for Personalized and Efficient Research Survey [50.04283471107001]
本稿では,研究者にパーソナライズされた効率的な調査支援を目的とした会話システムであるSurveyAgentを紹介する。
SurveyAgentは3つの重要なモジュールを統合している。文書を整理するための知識管理、関連する文献を発見するための勧告、より深いレベルでコンテンツを扱うためのクエリ回答だ。
本評価は,研究活動の合理化におけるSurveyAgentの有効性を実証し,研究者の科学文献との交流を促進する能力を示すものである。
論文 参考訳（メタデータ） (2024-04-09T15:01:51Z) - Search-Based Fairness Testing: An Overview [4.453735522794044]
AIシステムのバイアスは倫理的・社会的懸念を引き起こす。
本稿では, フェアネステストの現状, 特に検索ベーステストによる適用について概説する。
論文 参考訳（メタデータ） (2023-11-10T16:47:56Z) - Improving the State of the Art for Training Human-AI Teams: Technical
Report #2 -- Results of Researcher Knowledge Elicitation Survey [0.0]
ソナリストは、人間-AIチームのトレーニングを探求する社内イニシアチブを開始した。
この取り組みの最初のステップは、人間-AIチームの研究を促進することができるSTE(Synthetic Task Environment)を開発することです。
論文 参考訳（メタデータ） (2023-08-29T13:54:32Z) - Improving the State of the Art for Training Human-AI Teams: Technical
Report #1 -- Results of Subject-Matter Expert Knowledge Elicitation Survey [0.0]
Sonalystsは、人間とAIチームのトレーニングを探求する社内イニシアチブを開始した。
JADC(Joint All-Domain Command and Control)をフォーカスポイントとして使用することにしました。
我々は、JADC2に関連するチーム編成の課題を具体化したSTE開発に関する洞察を得るために、コマンド・アンド・コントロールの経験を持つ多くのSMEに取り組みました。
論文 参考訳（メタデータ） (2023-08-29T13:42:52Z) - ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。
分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
論文 参考訳（メタデータ） (2023-08-14T15:13:04Z) - Survey of Aspect-based Sentiment Analysis Datasets [55.61047894397937]
アスペクトベースの感情分析(ABSA)は、ユーザ生成レビューの分析を必要とする自然言語処理の問題である。
ABSAの多くの散在したコーパスは、研究者が特定のABSAサブタスクに適したコーパスを素早く特定することを困難にしている。
本研究では,自律型ABSAシステムの学習・評価に使用できるコーパスデータベースを提案する。
論文 参考訳（メタデータ） (2022-04-11T16:23:36Z) - An Uncommon Task: Participatory Design in Legal AI [64.54460979588075]
われわれは10年以上前に行われた法律分野における、注目に値する、未調査のAI設計プロセスについて検討する。
インタラクティブなシミュレーション手法によって,コンピュータ科学者と弁護士が共同設計者になれることを示す。
論文 参考訳（メタデータ） (2022-03-08T15:46:52Z) - Scaling up Search Engine Audits: Practical Insights for Algorithm
Auditing [68.8204255655161]
異なる地域に数百の仮想エージェントを配置した8つの検索エンジンの実験を行った。
複数のデータ収集にまたがる研究インフラの性能を実証する。
仮想エージェントは,アルゴリズムの性能を長時間にわたって監視するための,有望な場所である,と結論付けている。
論文 参考訳（メタデータ） (2021-06-10T15:49:58Z) - Human-AI Symbiosis: A Survey of Current Approaches [18.252264744963394]
我々は、補完の流れ、タスクの地平線、モデル表現、知識レベル、チームゴールなど、人間-AIチームにおける作業のさまざまな側面を強調します。
この調査は、人間-AIチームの研究成果と、この分野の新たな研究者へのガイダンスとのより明確なつながりを提供することを期待している。
論文 参考訳（メタデータ） (2021-03-18T02:39:28Z) - Robustness Gym: Unifying the NLP Evaluation Landscape [91.80175115162218]
ディープニューラルネットワークは、現実のシステムにデプロイすると脆くなることが多い。
最近の研究は、そのようなモデルの堅牢性をテストすることに重点を置いている。
単純かつ評価可能なツールキットであるRobustness Gymの形で解を提案する。
論文 参考訳（メタデータ） (2021-01-13T02:37:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。