論文の概要: ADVISE: AI-accelerated Design of Evidence Synthesis for Global Development

• arxiv url: http://arxiv.org/abs/2305.01145v1
• Date: Tue, 2 May 2023 01:29:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-03 15:41:59.138210
• Title: ADVISE: AI-accelerated Design of Evidence Synthesis for Global Development
• Title（参考訳）: ADVISE: グローバル開発のためのAIによるエビデンス合成設計
• Authors: Kristen M. Edwards, Binyang Song, Jaron Porciello, Mark Engelbert, Carolyn Huang, Faez Ahmed
• Abstract要約: 本研究では、変換器(BERT)モデルからの双方向エンコーダ表現に基づくAIエージェントを開発する。 本稿では,人間とAIのハイブリッドチームによるエビデンス合成プロセスの促進効果について検討する。 その結果、BERTベースのAIエージェントを人間チームに組み込むことで、人間のスクリーニングの労力を68.5%削減できることがわかった。
• 参考スコア（独自算出の注目度）: 2.6293574825904624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When designing evidence-based policies and programs, decision-makers must distill key information from a vast and rapidly growing literature base. Identifying relevant literature from raw search results is time and resource intensive, and is often done by manual screening. In this study, we develop an AI agent based on a bidirectional encoder representations from transformers (BERT) model and incorporate it into a human team designing an evidence synthesis product for global development. We explore the effectiveness of the human-AI hybrid team in accelerating the evidence synthesis process. To further improve team efficiency, we enhance the human-AI hybrid team through active learning (AL). Specifically, we explore different sampling strategies, including random sampling, least confidence (LC) sampling, and highest priority (HP) sampling, to study their influence on the collaborative screening process. Results show that incorporating the BERT-based AI agent into the human team can reduce the human screening effort by 68.5% compared to the case of no AI assistance and by 16.8% compared to the case of using a support vector machine (SVM)-based AI agent for identifying 80% of all relevant documents. When we apply the HP sampling strategy for AL, the human screening effort can be reduced even more: by 78.3% for identifying 80% of all relevant documents compared to no AI assistance. We apply the AL-enhanced human-AI hybrid teaming workflow in the design process of three evidence gap maps (EGMs) for USAID and find it to be highly effective. These findings demonstrate how AI can accelerate the development of evidence synthesis products and promote timely evidence-based decision making in global development in a human-AI hybrid teaming context.
• Abstract（参考訳）: 証拠に基づく政策やプログラムを設計する際には、意思決定者は膨大なかつ急速に成長する文学基盤から重要な情報を抽出しなければならない。 生の検索結果から関連文献を識別することは時間と資源集約であり、しばしば手作業によるスクリーニングによって行われる。 本研究では,トランスフォーマー(bert)モデルからの双方向エンコーダ表現に基づくaiエージェントを開発し,グローバル開発のためのエビデンス合成製品を設計するための人間チームに組み込む。 本稿では,人間とAIのハイブリッドチームによるエビデンス合成プロセスの促進効果について検討する。 チームの効率をさらに向上するため、アクティブラーニング(AL)を通じて、人間とAIのハイブリッドチームを強化します。 具体的には,ランダムサンプリング,最小信頼度サンプリング(lc),最高優先度サンプリング(hp)といった異なるサンプリング戦略を検討し,協調スクリーニングプロセスへの影響について検討した。 その結果、BERTベースのAIエージェントを人間チームに組み込むことで、AIアシストがない場合と比較して、人間のスクリーニングの労力が68.5%減少し、関連するドキュメントの80%を識別するためにサポートベクターマシン(SVM)ベースのAIエージェントを使用する場合と比較して16.8%減少することが示された。 ALのHPサンプリング戦略を適用すると、人間によるスクリーニングの労力がさらに削減され、AIアシストを使わずにすべての関連ドキュメントの80%を特定できる78.3%削減される。 本稿では,USAIDのための3つのエビデンスギャップマップ(EGM)の設計プロセスに,AL-AIハイブリッドコラボレーションワークフローを適用し,高い有効性を見出した。 これらの知見は,AIがエビデンス合成製品の開発を加速し,人間とAIのハイブリッドチームによるグローバル開発におけるタイムリーなエビデンスに基づく意思決定を促進する方法を示している。

関連論文リスト

• Assessing Generative AI value in a public sector context: evidence from a field experiment [0.0]
  文書理解とデータ分析に関連する2種類の複合タスクの混合証拠が得られた。 ドキュメントタスクでは,Gen AIを用いた治療群は,回答品質スコアが17%,タスク完了時間が34%向上した。 データタスクでは、Gen AI治療群は品質スコアが12%低下し、コントロール群と比較して平均完了時間に有意な差は認められなかった。
  論文  参考訳（メタデータ） (2025-02-13T16:43:32Z)
• Multi-Agent Sampling: Scaling Inference Compute for Data Synthesis with Tree Search-Based Agentic Collaboration [81.45763823762682]
  本研究の目的は,マルチエージェントサンプリングによるデータ合成の問題を調べることでギャップを埋めることである。 逐次サンプリングプロセス中にワークフローが反復的に進化する木探索に基づくオーケストレーションエージェント(TOA)を紹介する。 アライメント、機械翻訳、数学的推論に関する実験は、マルチエージェントサンプリングが推論計算スケールとしてシングルエージェントサンプリングを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2024-12-22T15:16:44Z)
• Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration [51.452664740963066]
  Collaborative Gymは、エージェント、人間、タスク環境間の非同期で三分割的なインタラクションを可能にするフレームワークである。 シミュレーション条件と実環境条件の両方において,Co-Gymを3つの代表的なタスクでインスタンス化する。 その結果、協調作業員はタスクパフォーマンスにおいて、完全に自律的なエージェントよりも一貫して優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-12-20T09:21:15Z)
• Generative AI in Health Economics and Outcomes Research: A Taxonomy of Key Definitions and Emerging Applications, an ISPOR Working Group Report [12.204470166456561]
  ジェネレーティブAIは、健康経済学と成果研究(HEOR)において大きな可能性を秘めている 生成AIは、HEORに大きな可能性を示し、効率性、生産性を高め、複雑な課題に対する新しいソリューションを提供する。 ファウンデーションモデルは複雑なタスクを自動化する上で有望だが、科学的信頼性、バイアス、解釈可能性、ワークフローの統合には課題が残っている。
  論文  参考訳（メタデータ） (2024-10-26T15:42:50Z)
• Collaborative AI in Sentiment Analysis: System Architecture, Data Prediction and Deployment Strategies [3.3374611485861116]
  大規模言語モデル(LLM)に基づく人工知能技術は、特に感情分析においてゲームチェンジャーとなっている。 しかし、複雑なマルチモーダルデータを処理するための多様なAIモデルの統合と、それに伴う機能抽出の高コストは、大きな課題を呈している。 本研究では,様々なAIシステムにまたがるタスクを効率的に分散・解決するための協調型AIフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-17T06:14:34Z)
• Measuring Human Contribution in AI-Assisted Content Generation [66.06040950325969]
  本研究は,AIによるコンテンツ生成における人間の貢献度を測定する研究課題を提起する。 人間の入力とAI支援出力の自己情報に対する相互情報を計算することにより、コンテンツ生成における人間の比例情報貢献を定量化する。
  論文  参考訳（メタデータ） (2024-08-27T05:56:04Z)
• Generative AI for Health Technology Assessment: Opportunities, Challenges, and Policy Considerations [12.73011921253]
  本稿では、医療技術評価(HTA)のための生成人工知能(AI)と大規模言語モデル(LLM)を含む基礎モデルについて紹介する。 本研究は, 4つの重要な領域, 合成証拠, 証拠生成, 臨床試験, 経済モデリングにおける応用について検討する。 約束にもかかわらず、これらの技術は急速に改善されているものの、まだ初期段階にあり、HTAへの適用には慎重な評価が引き続き必要である。
  論文  参考訳（メタデータ） (2024-07-09T09:25:27Z)
• Augmenting the Author: Exploring the Potential of AI Collaboration in Academic Writing [25.572926673827165]
  このケーススタディは、学術的な仕事において、責任と効果的なAI統合を保証するためのAIの限界を認識し、設計、出力分析、そして認識することの重要性を強調します。 この論文は、効果的なプロンプト戦略を探求し、Gen AIモデルの比較分析を提供することにより、ヒューマン・コンピュータインタラクションの分野に貢献する。
  論文  参考訳（メタデータ） (2024-04-23T19:06:39Z)
• Generative AI Agent for Next-Generation MIMO Design: Fundamentals, Challenges, and Vision [76.4345564864002]
  次世代の多重入力多重出力(MIMO)はインテリジェントでスケーラブルであることが期待される。 本稿では、カスタマイズされた特殊コンテンツを生成することができる生成型AIエージェントの概念を提案する。 本稿では、生成AIエージェントをパフォーマンス分析に活用することの有効性を示す2つの説得力のあるケーススタディを示す。
  論文  参考訳（メタデータ） (2024-04-13T02:39:36Z)
• An Autonomous Large Language Model Agent for Chemical Literature Data Mining [60.85177362167166]
  本稿では,幅広い化学文献から高忠実度抽出が可能なエンドツーエンドAIエージェントフレームワークを提案する。 本フレームワークの有効性は,反応条件データの精度,リコール,F1スコアを用いて評価する。
  論文  参考訳（メタデータ） (2024-02-20T13:21:46Z)
• Human-Centric Multimodal Machine Learning: Recent Advances and Testbed on AI-based Recruitment [66.91538273487379]
  人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。 i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。 異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
  論文  参考訳（メタデータ） (2023-02-13T16:44:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。