論文の概要: MAFA: A multi-agent framework for annotation
- arxiv url: http://arxiv.org/abs/2505.13668v2
- Date: Wed, 17 Sep 2025 14:47:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-18 14:28:51.784611
- Title: MAFA: A multi-agent framework for annotation
- Title(参考訳): MAFA: アノテーションのためのマルチエージェントフレームワーク
- Authors: Mahmood Hegazy, Aaron Rodrigues, Azzam Naeem,
- Abstract要約: 本稿では、異なるアプローチで特殊エージェントを結合するアノテーションのためのマルチエージェントフレームワークと、最適な結果を得るために候補を再参照する判断エージェントを紹介する。
私たちのフレームワークは、あいまいなクエリを扱うのに特に効果的で、本番バンキングアプリケーションのデプロイに適しています。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Modern consumer banking applications require accurate and efficient retrieval of information in response to user queries. Mapping user utterances to the most relevant Frequently Asked Questions (FAQs) is a crucial component of these systems. Traditional approaches often rely on a single model or technique, which may not capture the nuances of diverse user inquiries. In this paper, we introduce a multi-agent framework for FAQ annotation that combines multiple specialized agents with different approaches and a judge agent that reranks candidates to produce optimal results. Our agents utilize a structured reasoning approach inspired by Attentive Reasoning Queries (ARQs), which guides them through systematic reasoning steps using targeted, task-specific JSON queries. Our framework features a few-shot example strategy, where each agent receives different few-shots, enhancing ensemble diversity and coverage of the query space. We evaluate our framework on a real-world major bank dataset as well as public benchmark datasets (LCQMC and FiQA), demonstrating significant improvements over single-agent approaches across multiple metrics, including a 14% increase in Top-1 accuracy, an 18% increase in Top-5 accuracy, and a 12% improvement in Mean Reciprocal Rank on our dataset, and similar gains on public benchmarks when compared with traditional and single-agent annotation techniques. Our framework is particularly effective at handling ambiguous queries, making it well-suited for deployment in production banking applications while showing strong generalization capabilities across different domains and languages.
- Abstract(参考訳): 現代の消費者銀行アプリケーションは、ユーザーの問い合わせに応じて正確で効率的な情報の検索を必要としている。
ユーザの発話を最も関連性の高いFAQ(Fraquently Asked Questions)にマッピングすることは、これらのシステムにとって重要なコンポーネントである。
従来のアプローチは単一のモデルやテクニックに依存しており、多様なユーザからの問い合わせのニュアンスを捉えない場合がある。
本稿では、複数の特殊エージェントを異なるアプローチで組み合わせたFAQアノテーションのためのマルチエージェントフレームワークと、最適な結果を得るために候補を再帰する判定エージェントを紹介する。
我々のエージェントは、Attentive Reasoning Queries(ARQ)にインスパイアされた構造化推論アプローチを使用し、ターゲットのタスク固有のJSONクエリを使用して、体系的な推論ステップを通じてそれらをガイドします。
我々のフレームワークは、各エージェントが異なる数ショットを受け取り、アンサンブルの多様性とクエリ空間のカバレッジを高める、数ショットの例戦略を特徴としている。
我々は、実世界のメジャーバンクデータセットとパブリックベンチマークデータセット(LCQMCとFiQA)に関するフレームワークを評価し、トップ1の精度が14%向上し、トップ5の精度が18%向上し、データセットにおける平均相互ランクが12%改善し、従来型や単一エージェントのアノテーション技術と比較すると、公開ベンチマークでも同様の改善が見られた。
我々のフレームワークは、あいまいなクエリを扱うのに特に効果的であり、さまざまなドメインや言語にまたがる強力な一般化能力を示しながら、本番バンキングアプリケーションへのデプロイに適しています。
関連論文リスト
- Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。
4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。
一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
論文 参考訳(メタデータ) (2025-08-05T12:52:09Z) - Benchmarking Multimodal Understanding and Complex Reasoning for ESG Tasks [56.350173737493215]
環境・社会・ガバナンス(ESG)報告は、持続可能性の実践の評価、規制コンプライアンスの確保、財務透明性の促進に不可欠である。
MMESGBenchは、マルチモーダル理解と複雑な推論を、構造的に多種多様なマルチソースESG文書間で評価するための、最初のベンチマークデータセットである。
MMESGBenchは、45のESG文書から得られた933の検証済みQAペアで構成され、7つの異なるドキュメントタイプと3つの主要なESGソースカテゴリにまたがる。
論文 参考訳(メタデータ) (2025-07-25T03:58:07Z) - GENIUS: A Generative Framework for Universal Multimodal Search [26.494338650656594]
本稿では,複数のモダリティやドメインにまたがる多様なタスクを支援する汎用的な生成検索フレームワークGENIUSを提案する。
GENIUSは、モダリティを分離したセマンティック量子化を導入し、マルチモーダルデータをモダリティとセマンティクスの両方をコードする離散IDに変換する。
汎用性を高めるために,クエリとターゲットを補間するクエリ拡張を提案し,genIUSが様々なクエリ形式に適応できるようにする。
論文 参考訳(メタデータ) (2025-03-25T17:32:31Z) - Symbolic Mixture-of-Experts: Adaptive Skill-based Routing for Heterogeneous Reasoning [76.10639521319382]
シンボリックなテキストベースでグラデーションのないMixture-of-ExpertsフレームワークであるSybolic-MoEを提案する。
我々は,Sybolic-MoEのインスタンスレベルのエキスパート選択により,大きなマージンで性能が向上することを示した。
論文 参考訳(メタデータ) (2025-03-07T18:03:13Z) - Agent-centric Information Access [21.876205078570507]
大規模言語モデル(LLM)はより特殊化され、それぞれが独自のデータに基づいて訓練され、特定のドメインで優れたものとなる。
本稿ではエージェント中心の情報アクセスのためのフレームワークを紹介し,LLMは知識エージェントとして機能し,その知識に基づいて動的にランク付けされ,クエリされる。
本稿では,検索拡張生成とクラスタリング技術を活用して,数千の専門モデルの構築と評価を行うスケーラブルな評価フレームワークを提案する。
論文 参考訳(メタデータ) (2025-02-26T16:56:19Z) - HawkBench: Investigating Resilience of RAG Methods on Stratified Information-Seeking Tasks [50.871243190126826]
HawkBenchは、RAGのパフォーマンスを厳格に評価するために設計された、人間ラベル付きマルチドメインベンチマークである。
情報探索行動に基づくタスクの階層化により、HawkBenchはRAGシステムが多様なユーザニーズにどのように適応するかを体系的に評価する。
論文 参考訳(メタデータ) (2025-02-19T06:33:39Z) - QuIM-RAG: Advancing Retrieval-Augmented Generation with Inverted Question Matching for Enhanced QA Performance [1.433758865948252]
本研究では,RAG(Retrieval-Augmented Generation)システム構築のための新しいアーキテクチャを提案する。
RAGアーキテクチャは、ターゲット文書から応答を生成するために構築される。
本稿では,本システムにおける検索機構の新しいアプローチQuIM-RAGを紹介する。
論文 参考訳(メタデータ) (2025-01-06T01:07:59Z) - A Collaborative Multi-Agent Approach to Retrieval-Augmented Generation Across Diverse Data [0.0]
Retrieval-Augmented Generation (RAG)はLarge Language Models (LLM)を強化する
従来のRAGシステムでは、クエリ生成、データ検索、レスポンス合成に単一エージェントアーキテクチャを使用するのが一般的である。
本稿では,これらの制約に対処するマルチエージェントRAGシステムを提案する。
論文 参考訳(メタデータ) (2024-12-08T07:18:19Z) - A Unified and Efficient Coordinating Framework for Autonomous DBMS
Tuning [34.85351481228439]
既存のMLベースのエージェントを効率的に活用するための統合コーディネートフレームワークを提案する。
機械学習ベースのエージェントを効果的に利用し、ワークロードの実行時間に1.414.1Xのスピードアップでより良い設定を実現できることを示す。
論文 参考訳(メタデータ) (2023-03-10T05:27:23Z) - Multi-Agent Reinforcement Learning for Microprocessor Design Space
Exploration [71.95914457415624]
マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。
この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。
評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
論文 参考訳(メタデータ) (2022-11-29T17:10:24Z) - RnG-KBQA: Generation Augmented Iterative Ranking for Knowledge Base
Question Answering [57.94658176442027]
KBQAのランク・アンド・ジェネレートアプローチであるRnG-KBQAを提案する。
我々はGrailQA と WebQSP データセット上で,最先端の新たな結果を得る。
論文 参考訳(メタデータ) (2021-09-17T17:58:28Z) - Text Summarization with Latent Queries [60.468323530248945]
本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。
本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。
本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
論文 参考訳(メタデータ) (2021-05-31T21:14:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。