論文の概要: ADVISE: AI-accelerated Design of Evidence Synthesis for Global
Development
- arxiv url: http://arxiv.org/abs/2305.01145v1
- Date: Tue, 2 May 2023 01:29:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-03 15:41:59.138210
- Title: ADVISE: AI-accelerated Design of Evidence Synthesis for Global
Development
- Title(参考訳): ADVISE: グローバル開発のためのAIによるエビデンス合成設計
- Authors: Kristen M. Edwards, Binyang Song, Jaron Porciello, Mark Engelbert,
Carolyn Huang, Faez Ahmed
- Abstract要約: 本研究では、変換器(BERT)モデルからの双方向エンコーダ表現に基づくAIエージェントを開発する。
本稿では,人間とAIのハイブリッドチームによるエビデンス合成プロセスの促進効果について検討する。
その結果、BERTベースのAIエージェントを人間チームに組み込むことで、人間のスクリーニングの労力を68.5%削減できることがわかった。
- 参考スコア(独自算出の注目度): 2.6293574825904624
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When designing evidence-based policies and programs, decision-makers must
distill key information from a vast and rapidly growing literature base.
Identifying relevant literature from raw search results is time and resource
intensive, and is often done by manual screening. In this study, we develop an
AI agent based on a bidirectional encoder representations from transformers
(BERT) model and incorporate it into a human team designing an evidence
synthesis product for global development. We explore the effectiveness of the
human-AI hybrid team in accelerating the evidence synthesis process. To further
improve team efficiency, we enhance the human-AI hybrid team through active
learning (AL). Specifically, we explore different sampling strategies,
including random sampling, least confidence (LC) sampling, and highest priority
(HP) sampling, to study their influence on the collaborative screening process.
Results show that incorporating the BERT-based AI agent into the human team can
reduce the human screening effort by 68.5% compared to the case of no AI
assistance and by 16.8% compared to the case of using a support vector machine
(SVM)-based AI agent for identifying 80% of all relevant documents. When we
apply the HP sampling strategy for AL, the human screening effort can be
reduced even more: by 78.3% for identifying 80% of all relevant documents
compared to no AI assistance. We apply the AL-enhanced human-AI hybrid teaming
workflow in the design process of three evidence gap maps (EGMs) for USAID and
find it to be highly effective. These findings demonstrate how AI can
accelerate the development of evidence synthesis products and promote timely
evidence-based decision making in global development in a human-AI hybrid
teaming context.
- Abstract(参考訳): 証拠に基づく政策やプログラムを設計する際には、意思決定者は膨大なかつ急速に成長する文学基盤から重要な情報を抽出しなければならない。
生の検索結果から関連文献を識別することは時間と資源集約であり、しばしば手作業によるスクリーニングによって行われる。
本研究では,トランスフォーマー(bert)モデルからの双方向エンコーダ表現に基づくaiエージェントを開発し,グローバル開発のためのエビデンス合成製品を設計するための人間チームに組み込む。
本稿では,人間とAIのハイブリッドチームによるエビデンス合成プロセスの促進効果について検討する。
チームの効率をさらに向上するため、アクティブラーニング(AL)を通じて、人間とAIのハイブリッドチームを強化します。
具体的には,ランダムサンプリング,最小信頼度サンプリング(lc),最高優先度サンプリング(hp)といった異なるサンプリング戦略を検討し,協調スクリーニングプロセスへの影響について検討した。
その結果、BERTベースのAIエージェントを人間チームに組み込むことで、AIアシストがない場合と比較して、人間のスクリーニングの労力が68.5%減少し、関連するドキュメントの80%を識別するためにサポートベクターマシン(SVM)ベースのAIエージェントを使用する場合と比較して16.8%減少することが示された。
ALのHPサンプリング戦略を適用すると、人間によるスクリーニングの労力がさらに削減され、AIアシストを使わずにすべての関連ドキュメントの80%を特定できる78.3%削減される。
本稿では,USAIDのための3つのエビデンスギャップマップ(EGM)の設計プロセスに,AL-AIハイブリッドコラボレーションワークフローを適用し,高い有効性を見出した。
これらの知見は,AIがエビデンス合成製品の開発を加速し,人間とAIのハイブリッドチームによるグローバル開発におけるタイムリーなエビデンスに基づく意思決定を促進する方法を示している。
関連論文リスト
- Augmenting the Author: Exploring the Potential of AI Collaboration in Academic Writing [25.572926673827165]
このケーススタディは、学術的な仕事において、責任と効果的なAI統合を保証するためのAIの限界を認識し、設計、出力分析、そして認識することの重要性を強調します。
この論文は、効果的なプロンプト戦略を探求し、Gen AIモデルの比較分析を提供することにより、ヒューマン・コンピュータインタラクションの分野に貢献する。
論文 参考訳(メタデータ) (2024-04-23T19:06:39Z) - Generative AI Agent for Next-Generation MIMO Design: Fundamentals, Challenges, and Vision [76.4345564864002]
次世代の多重入力多重出力(MIMO)はインテリジェントでスケーラブルであることが期待される。
本稿では、カスタマイズされた特殊コンテンツを生成することができる生成型AIエージェントの概念を提案する。
本稿では、生成AIエージェントをパフォーマンス分析に活用することの有効性を示す2つの説得力のあるケーススタディを示す。
論文 参考訳(メタデータ) (2024-04-13T02:39:36Z) - A Survey on Human-AI Teaming with Large Pre-Trained Models [7.362385644976066]
HAIチーム(Human-AI Teaming)は、問題解決と意思決定のプロセスを進めるための基盤として登場した。
大規模事前訓練モデル(LPtM)の出現は、この景観を大きく変えた。
複雑なパターンを理解し予測するために大量のデータを活用することで、前例のない機能を提供します。
論文 参考訳(メタデータ) (2024-03-07T22:37:49Z) - An Autonomous Large Language Model Agent for Chemical Literature Data
Mining [60.85177362167166]
本稿では,幅広い化学文献から高忠実度抽出が可能なエンドツーエンドAIエージェントフレームワークを提案する。
本フレームワークの有効性は,反応条件データの精度,リコール,F1スコアを用いて評価する。
論文 参考訳(メタデータ) (2024-02-20T13:21:46Z) - Large Language Model-based Human-Agent Collaboration for Complex Task
Solving [94.3914058341565]
複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。
Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。
このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
論文 参考訳(メタデータ) (2024-02-20T11:03:36Z) - Investigate-Consolidate-Exploit: A General Strategy for Inter-Task Agent
Self-Evolution [92.84441068115517]
Investigate-Consolidate-Exploit(ICE)は、AIエージェントの適応性と柔軟性を高めるための新しい戦略である。
ICEは、真の自己進化のためのタスク間の知識の伝達を促進する。
XAgentフレームワークに関する我々の実験は、ICEの有効性を示し、API呼び出しを最大80%削減する。
論文 参考訳(メタデータ) (2024-01-25T07:47:49Z) - Artificial Intelligence for Operations Research: Revolutionizing the Operations Research Process [15.471884798655063]
人工知能(AI)技術の急速な進歩により、オペレーティングリサーチ(OR)を含む様々な分野に革命をもたらす新たな機会が開かれた。
本稿では,AIのORプロセス(AI4OR)への統合について検討し,その有効性と効率を複数の段階にわたって向上させる。
AIとORの相乗効果は、多くの領域において、大幅な進歩と新しいソリューションを推し進める可能性がある。
論文 参考訳(メタデータ) (2024-01-06T15:55:14Z) - Can AI Serve as a Substitute for Human Subjects in Software Engineering
Research? [24.39463126056733]
本稿では,人工知能(AI)の能力を活用したソフトウェア工学研究における定性データ収集手法を提案する。
定性的データの代替源としてAI生成合成テキストの可能性を探る。
観察研究とユーザ評価における人間の行動のエミュレートを目的とした新しい基礎モデルの開発について論じる。
論文 参考訳(メタデータ) (2023-11-18T14:05:52Z) - A Reinforcement Learning-assisted Genetic Programming Algorithm for Team
Formation Problem Considering Person-Job Matching [70.28786574064694]
解の質を高めるために強化学習支援遺伝的プログラミングアルゴリズム(RL-GP)を提案する。
効率的な学習を通じて得られる超ヒューリスティックなルールは、プロジェクトチームを形成する際の意思決定支援として利用することができる。
論文 参考訳(メタデータ) (2023-04-08T14:32:12Z) - Human-Centric Multimodal Machine Learning: Recent Advances and Testbed
on AI-based Recruitment [66.91538273487379]
人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。
i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
論文 参考訳(メタデータ) (2023-02-13T16:44:44Z) - An Explainable-AI approach for Diagnosis of COVID-19 using MALDI-ToF
Mass Spectrometry [0.9250974571641537]
重症急性呼吸器症候群2型(SARS-CoV-2)は世界的なパンデミックを引き起こし、世界経済に大きな影響を与えた。
近年では、現在の金標準リアルタイムポリメラーゼ連鎖反応(RT-PCR)結果と高い一致を示す複数の代替プラットフォームが公表されている。
これらの新しい方法は鼻咽頭(NP)スワブを除去し、複雑な試薬の必要性を排除し、RT-PCRテスト試薬の供給の負担を軽減する。
本研究では,人工知能を用いたAIテスト手法を設計し,実験結果の信頼性について検討した。
論文 参考訳(メタデータ) (2021-09-28T23:29:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。