論文の概要: Are we going MAD? Benchmarking Multi-Agent Debate between Language
Models for Medical Q&A
- arxiv url: http://arxiv.org/abs/2311.17371v1
- Date: Wed, 29 Nov 2023 05:54:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 22:28:31.100036
- Title: Are we going MAD? Benchmarking Multi-Agent Debate between Language
Models for Medical Q&A
- Title(参考訳): 私たちはMADに行きますか。
医学的Q&Aのための言語モデル間のマルチエージェント議論のベンチマーク
- Authors: Andries Smit, Paul Duckworth, Nathan Grinsztajn, Kale-ab Tessera,
Thomas D. Barrett and Arnu Pretorius
- Abstract要約: 大規模言語モデル(LLM)の真正性を高めるための重要な戦略として,マルチエージェント討論(MAD)が登場した。
我々は、オープンソース実装とともに、医療Q&AのためのMAD戦略のベンチマークを提供する。
我々はこれらの知見に基づいて、以前公表されたQ&Aタスクの戦略より優れたエージェント合意に基づく、新たな議論促進戦略を提供する。
- 参考スコア(独自算出の注目度): 7.7433783185451075
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advancements in large language models (LLMs) underscore their
potential for responding to medical inquiries. However, ensuring that
generative agents provide accurate and reliable answers remains an ongoing
challenge. In this context, multi-agent debate (MAD) has emerged as a prominent
strategy for enhancing the truthfulness of LLMs. In this work, we provide a
comprehensive benchmark of MAD strategies for medical Q&A, along with
open-source implementations. This explores the effective utilization of various
strategies including the trade-offs between cost, time, and accuracy. We build
upon these insights to provide a novel debate-prompting strategy based on agent
agreement that outperforms previously published strategies on medical Q&A
tasks.
- Abstract(参考訳): 大規模言語モデル(LLM)の最近の進歩は、医学的問い合わせに反応する可能性を示している。
しかし、生成エージェントが正確かつ信頼性の高い回答を提供することの確保は、まだ進行中の課題である。
この文脈において、マルチエージェント討論(MAD)はLLMの真正性を高めるための顕著な戦略として現れている。
本研究では,医療用Q&AのためのMAD戦略の総合的ベンチマークとオープンソース実装を提供する。
これは、コスト、時間、正確性の間のトレードオフを含む様々な戦略の効果的な利用を探求する。
我々はこれらの知見に基づいて、以前公表されたQ&Aタスクの戦略より優れたエージェント合意に基づく、新たな議論促進戦略を提供する。
関連論文リスト
- Large Multimodal Agents: A Survey [78.81459893884737]
大規模言語モデル(LLM)は、テキストベースのAIエージェントのパワーで優れたパフォーマンスを実現している。
LLMを利用したAIエージェントをマルチモーダルドメインに拡張することに焦点を当てた、新たな研究トレンドがある。
本総説は, この急速に発展する分野において, 今後の研究に有用な洞察とガイドラインを提供することを目的としている。
論文 参考訳(メタデータ) (2024-02-23T06:04:23Z) - Apollo's Oracle: Retrieval-Augmented Reasoning in Multi-Agent Debates [17.55506236329012]
新たなフレームワークであるMulti-Agent Debate with Retrieval Augmented (MADRA)を導入する。
MADRAは、事前知識の検索を議論プロセスに取り入れ、認知的制約を効果的に破る。
我々はこのフレームワーク内で自己選択モジュールを開発し、エージェントが関連する証拠を自律的に選択できるようにする。
論文 参考訳(メタデータ) (2023-12-08T06:22:12Z) - MAgIC: Investigation of Large Language Model Powered Multi-Agent in
Cognition, Adaptability, Rationality and Collaboration [102.41118020705876]
大規模言語モデル(LLM)は自然言語処理の分野で大きな進歩を遂げている。
アプリケーションがマルチエージェント環境に拡張されるにつれ、包括的な評価フレームワークの必要性が高まっている。
この研究は、マルチエージェント設定内でLLMを評価するために特別に設計された新しいベンチマークフレームワークを導入している。
論文 参考訳(メタデータ) (2023-11-14T21:46:27Z) - LLM-Deliberation: Evaluating LLMs with Interactive Multi-Agent
Negotiation Games [53.927705340086334]
本稿では,大規模言語モデルのための新たな評価フレームワークとして交渉ゲームを提案する。
我々は、エージェントが交渉し、常に成功する取引に到達できることを示します。
これらのゲームは、グリーディと敵プレイヤーの存在下でのエージェント間の相互作用のダイナミクスなど、他の重要な側面を評価するのに役立つ。
論文 参考訳(メタデータ) (2023-09-29T13:33:06Z) - ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。
分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
論文 参考訳(メタデータ) (2023-08-14T15:13:04Z) - Encouraging Divergent Thinking in Large Language Models through
Multi-Agent Debate [56.23037393834715]
複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。
我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
論文 参考訳(メタデータ) (2023-05-30T15:25:45Z) - Learning Cooperative Multi-Agent Policies with Partial Reward Decoupling [13.915157044948364]
マルチエージェント強化学習をスケールする上で重要な障害の1つは、個々のエージェントの行動にクレジットを割り当てることである。
本稿では,このクレジット代入問題に対して,PRD(textitpartial reward decoupling)と呼ぶアプローチで対処する。
PRDは、大規模な協調的マルチエージェントRL問題を、エージェントのサブセットを含む分離されたサブプロブレムに分解し、クレジット割り当てを単純化する。
論文 参考訳(メタデータ) (2021-12-23T17:48:04Z) - FACMAC: Factored Multi-Agent Centralised Policy Gradients [103.30380537282517]
FACtored Multi-Agent Centralized Policy gradients (FACMAC)を提案する。
離散的および連続的な行動空間における協調的マルチエージェント強化学習のための新しい手法である。
我々は,マルチエージェント粒子環境の変動に対するFACMAC,新しいマルチエージェント MuJoCo ベンチマーク,およびStarCraft II マイクロマネジメントタスクの挑戦的セットについて評価した。
論文 参考訳(メタデータ) (2020-03-14T21:29:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。