論文の概要: Completing A Systematic Review in Hours instead of Months with Interactive AI Agents
- arxiv url: http://arxiv.org/abs/2504.14822v1
- Date: Mon, 21 Apr 2025 02:57:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-29 19:51:02.884763
- Title: Completing A Systematic Review in Hours instead of Months with Interactive AI Agents
- Title（参考訳）: 対話型AIエージェントで1ヶ月ではなく1時間でシステムレビューを補完する
- Authors: Rui Qiu, Shijie Chen, Yu Su, Po-Yin Yen, Han-Wei Shen,
- Abstract要約: 我々は、大規模な言語モデルを利用した人間中心の対話型AIエージェントInsightAgentを紹介する。
InsightAgentは意味論に基づく大規模な文献コーパスを分割し、より焦点を絞った処理にマルチエージェント設計を採用する。
9人の医療専門家によるユーザスタディでは、可視化と相互作用機構が合成SRの品質を効果的に向上することを示した。
- 参考スコア（独自算出の注目度）: 21.934330935124866
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Systematic reviews (SRs) are vital for evidence-based practice in high stakes disciplines, such as healthcare, but are often impeded by intensive labors and lengthy processes that can take months to complete. Due to the high demand for domain expertise, existing automatic summarization methods fail to accurately identify relevant studies and generate high-quality summaries. To that end, we introduce InsightAgent, a human-centered interactive AI agent powered by large language models that revolutionize this workflow. InsightAgent partitions a large literature corpus based on semantics and employs a multi-agent design for more focused processing of literature, leading to significant improvement in the quality of generated SRs. InsightAgent also provides intuitive visualizations of the corpus and agent trajectories, allowing users to effortlessly monitor the actions of the agent and provide real-time feedback based on their expertise. Our user studies with 9 medical professionals demonstrate that the visualization and interaction mechanisms can effectively improve the quality of synthesized SRs by 27.2%, reaching 79.7% of human-written quality. At the same time, user satisfaction is improved by 34.4%. With InsightAgent, it only takes a clinician about 1.5 hours, rather than months, to complete a high-quality systematic review.
- Abstract（参考訳）: 体系的レビュー(SR)は、医療などの高利害な分野におけるエビデンスベースの実践には不可欠であるが、しばしば集中労働や、完成までに数ヶ月を要する長いプロセスによって妨げられる。
ドメインの専門知識の要求が高いため、既存の自動要約手法では、関連研究を正確に識別することができず、高品質な要約を生成することができない。
そこで私たちは,このワークフローに革命をもたらす,大規模な言語モデルを活用した,人間中心の対話型AIエージェントであるInsightAgentを紹介した。
InsightAgentは意味論に基づく大規模な文献コーパスを分割し、より焦点を絞った文献処理にマルチエージェント設計を採用し、生成されたSRの品質を大幅に向上させた。
InsightAgentはまた、コーパスとエージェントの軌跡の直感的な視覚化も提供しており、ユーザーはエージェントのアクションを監視し、専門知識に基づいてリアルタイムのフィードバックを提供することができる。
9人の医療専門家によるユーザスタディでは、可視化と相互作用のメカニズムによって合成SRの品質が27.2%向上し、人間の手書き品質の79.7%に達することが示されている。
同時にユーザの満足度も34.4%向上した。
InsightAgentでは、高品質な体系的なレビューを完了するのに数ヶ月ではなく、臨床医に約1.5時間しかかからない。
関連論文リスト
- ResearchCodeAgent: An LLM Multi-Agent System for Automated Codification of Research Methodologies [16.90884865239373]
本研究では,研究方法論の体系化を自動化する新しいマルチエージェントシステムであるResearchCodeAgentを紹介する。
このシステムは、ハイレベルな研究概念と実践的な実装のギャップを埋める。
ResearchCodeAgentは、研究実施プロセスに向けた重要なステップであり、機械学習研究のペースを加速する可能性がある。
論文 参考訳（メタデータ） (2025-04-28T07:18:45Z) - An Illusion of Progress? Assessing the Current State of Web Agents [49.76769323750729]
我々は,Webエージェントの現状を包括的かつ厳密に評価する。
結果は、現在のエージェントの能力の非常に異なる描写を描いており、以前報告された結果に過度に最適化されていることを示唆している。
オンライン評価ベンチマークであるOnline-Mind2Webを紹介した。
論文 参考訳（メタデータ） (2025-04-02T05:51:29Z) - TAMA: A Human-AI Collaborative Thematic Analysis Framework Using Multi-Agent LLMs for Clinical Interviews [54.35097932763878]
Thematic Analysis (TA) は、構造化されていないテキストデータの潜在意味を明らかにするために広く使われている定性的手法である。
本稿では,多エージェントLEMを用いた人間とAIの協調的テーマ分析フレームワークTAMAを提案する。
TAMA は既存の LLM 支援TA アプローチよりも優れており,高い主題的ヒット率,カバレッジ,独特性を実現している。
論文 参考訳（メタデータ） (2025-03-26T15:58:16Z) - Reinforcing Clinical Decision Support through Multi-Agent Systems and Ethical AI Governance [0.0]
実験結果, バイタルサイン, 臨床状況を分析するために, モジュラーエージェントを用いた新規エージェントシステムの設計を比較した。
我々は,eICUデータベースを用いて,実験室分析,バイタルのみのインタプリタ,文脈推論エージェントなどのエージェントシステムを実装した。
論文 参考訳（メタデータ） (2025-03-25T05:32:43Z) - VeriLA: A Human-Centered Evaluation Framework for Interpretable Verification of LLM Agent Failures [3.075266204492352]
複合AIシステムにおける大規模言語モデル(LLM)エージェントは、しばしば人間の基準を満たさないため、システム全体のパフォーマンスを損なうエラーにつながる。
本稿では LLM Agent failures (VeriLA) を検証するための人間中心評価フレームワークを提案する。
VeriLAは、人的労力を減らすためにエージェント障害を体系的に評価し、これらのエージェント障害を人間に解釈できるようにする。
論文 参考訳（メタデータ） (2025-03-16T21:11:18Z) - Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration [51.452664740963066]
Collaborative Gymは、エージェント、人間、タスク環境間の非同期で三分割的なインタラクションを可能にするフレームワークである。
シミュレーション条件と実環境条件の両方において,Co-Gymを3つの代表的なタスクでインスタンス化する。
その結果、協調作業員はタスクパフォーマンスにおいて、完全に自律的なエージェントよりも一貫して優れていたことが判明した。
論文 参考訳（メタデータ） (2024-12-20T09:21:15Z) - Using Generative AI and Multi-Agents to Provide Automatic Feedback [4.883570605293337]
本研究では、生成型AIとマルチエージェントシステムを用いて、教育的文脈における自動フィードバックを提供する。
この研究は、AutoFeedbackと呼ばれるマルチエージェントシステムが、GenAI生成したフィードバックの品質をどのように改善するかを探求することによって、この分野における重要なギャップに対処する。
論文 参考訳（メタデータ） (2024-11-11T22:27:36Z) - Agent-as-a-Judge: Evaluate Agents with Agents [61.33974108405561]
本稿ではエージェント・アズ・ア・ジャッジ(Agent-as-a-Judge)フレームワークを紹介し,エージェント・システムを用いてエージェント・システムの評価を行う。
これはLLM-as-a-Judgeフレームワークの有機的拡張であり、タスク解決プロセス全体の中間フィードバックを可能にするエージェント的特徴を取り入れている。
55のリアルな自動化AI開発タスクのベンチマークであるDevAIを紹介します。
論文 参考訳（メタデータ） (2024-10-14T17:57:02Z) - Advancing Healthcare Automation: Multi-Agent System for Medical Necessity Justification [0.0]
本稿では,LLMエージェントを利用したマルチエージェントシステム(MAS)の優先オーソライゼーションタスクの自動化について検討する。
GPT-4のチェックリストは,証拠による項目レベルの判断の精度が86.2%,総合的なチェックリスト判定の精度が95.6%であることを示す。
論文 参考訳（メタデータ） (2024-04-27T18:40:05Z) - 360$^\circ$REA: Towards A Reusable Experience Accumulation with 360° Assessment for Multi-Agent System [71.96888731208838]
評価フィードバックからの経験を総合的に評価し蓄積することは、システム性能を改善するための効果的なアプローチである、と我々は主張する。
企業組織の実践にインスパイアされた階層的なマルチエージェントフレームワークである360$circ$REA(360$circ$REA)による再利用可能なエクスペリエンス蓄積を提案する。
論文 参考訳（メタデータ） (2024-04-08T14:43:13Z) - ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。
分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
論文 参考訳（メタデータ） (2023-08-14T15:13:04Z) - Conveying Autonomous Robot Capabilities through Contrasting Behaviour
Summaries [8.413049356622201]
比較行動要約を効率的に生成する適応探索法を提案する。
この結果から,適応探索により,人間がより優れたエージェントを正確に選択できる情報コントラストのシナリオを効果的に特定できることが示唆された。
論文 参考訳（メタデータ） (2023-04-01T18:20:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。