論文の概要: MAFA: A multi-agent framework for annotation

• arxiv url: http://arxiv.org/abs/2505.13668v1
• Date: Mon, 19 May 2025 19:16:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.494433
• Title: MAFA: A multi-agent framework for annotation
• Title（参考訳）: MAFA: アノテーションのためのマルチエージェントフレームワーク
• Authors: Mahmood Hegazy, Aaron Rodrigues, Azzam Naeem,
• Abstract要約: 本稿では、複数の特殊エージェントを異なるアプローチで組み合わせたアノテーションのためのマルチエージェントフレームワークと、最適な結果を得るために候補を再帰する判断エージェントを紹介する。 私たちのフレームワークは、あいまいなクエリを扱うのに特に効果的で、本番アプリケーションのデプロイに適しています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Modern applications require accurate and efficient retrieval of information in response to user queries. Mapping user utterances to the most relevant Frequently Asked Questions (FAQs) is a crucial component of these systems. Traditional approaches often rely on a single model or technique, which may not capture the nuances of diverse user inquiries. In this paper, we introduce a multi-agent framework for FAQ annotation that combines multiple specialized agents with different approaches and a judge agent that reranks candidates to produce optimal results. Our agents utilize a structured reasoning approach inspired by Attentive Reasoning Queries (ARQs), which guides them through systematic reasoning steps using targeted, task-specific JSON queries. Our framework features a specialized few-shot example strategy, where each agent receives different few-shots, enhancing ensemble diversity and coverage of the query space. We evaluate our framework on a real-world banking dataset as well as public benchmark datasets (LCQMC and FiQA), demonstrating significant improvements over single-agent approaches across multiple metrics, including a 14% increase in Top-1 accuracy, an 18% increase in Top-5 accuracy, and a 12% improvement in Mean Reciprocal Rank on our dataset, and similar gains on public benchmarks when compared with traditional single agent annotation techniques. Our framework is particularly effective at handling ambiguous queries, making it well-suited for deployment in production applications while showing strong generalization capabilities across different domains and languages.
• Abstract（参考訳）: 現代のアプリケーションは、ユーザの問い合わせに応じて、正確で効率的な情報の検索を必要とする。 ユーザの発話を最も関連性の高いFAQ(Fraquently Asked Questions)にマッピングすることは、これらのシステムにとって重要なコンポーネントである。 従来のアプローチは単一のモデルやテクニックに依存しており、多様なユーザからの問い合わせのニュアンスを捉えない場合がある。 本稿では、複数の特殊エージェントを異なるアプローチで組み合わせたFAQアノテーションのためのマルチエージェントフレームワークと、最適な結果を得るために候補を再帰する判定エージェントを紹介する。 我々のエージェントは、Attentive Reasoning Queries(ARQ)にインスパイアされた構造化推論アプローチを使用し、ターゲットのタスク固有のJSONクエリを使用して、体系的な推論ステップを通じてそれらをガイドします。 本フレームワークでは,各エージェントが異なる複数ショットを受信し,アンサンブルの多様性とクエリ空間のカバレッジを向上する,特別な数ショット例戦略を特徴とする。 実際のバンキングデータセットとパブリックベンチマークデータセット(LCQMCとFiQA)のフレームワークを評価し、Top-1の精度が14%向上し、Top-5の精度が18%向上し、データセットにおける平均相互ランクが12%改善し、従来のシングルエージェントアノテーション技術と比較すると、公開ベンチマークでも同様の改善が見られた。 我々のフレームワークは、あいまいなクエリを扱うのに特に効果的であり、さまざまなドメインや言語にまたがる強力な一般化機能を示しながら、本番アプリケーションのデプロイに適しています。

関連論文リスト

• GENIUS: A Generative Framework for Universal Multimodal Search [26.494338650656594]
  本稿では,複数のモダリティやドメインにまたがる多様なタスクを支援する汎用的な生成検索フレームワークGENIUSを提案する。 GENIUSは、モダリティを分離したセマンティック量子化を導入し、マルチモーダルデータをモダリティとセマンティクスの両方をコードする離散IDに変換する。 汎用性を高めるために,クエリとターゲットを補間するクエリ拡張を提案し,genIUSが様々なクエリ形式に適応できるようにする。
  論文  参考訳（メタデータ） (2025-03-25T17:32:31Z)
• Symbolic Mixture-of-Experts: Adaptive Skill-based Routing for Heterogeneous Reasoning [76.10639521319382]
  シンボリックなテキストベースでグラデーションのないMixture-of-ExpertsフレームワークであるSybolic-MoEを提案する。 我々は,Sybolic-MoEのインスタンスレベルのエキスパート選択により,大きなマージンで性能が向上することを示した。
  論文  参考訳（メタデータ） (2025-03-07T18:03:13Z)
• Agent-centric Information Access [21.876205078570507]
  大規模言語モデル(LLM)はより特殊化され、それぞれが独自のデータに基づいて訓練され、特定のドメインで優れたものとなる。 本稿ではエージェント中心の情報アクセスのためのフレームワークを紹介し,LLMは知識エージェントとして機能し,その知識に基づいて動的にランク付けされ,クエリされる。 本稿では,検索拡張生成とクラスタリング技術を活用して,数千の専門モデルの構築と評価を行うスケーラブルな評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-26T16:56:19Z)
• HawkBench: Investigating Resilience of RAG Methods on Stratified Information-Seeking Tasks [50.871243190126826]
  HawkBenchは、RAGのパフォーマンスを厳格に評価するために設計された、人間ラベル付きマルチドメインベンチマークである。 情報探索行動に基づくタスクの階層化により、HawkBenchはRAGシステムが多様なユーザニーズにどのように適応するかを体系的に評価する。
  論文  参考訳（メタデータ） (2025-02-19T06:33:39Z)
• QuIM-RAG: Advancing Retrieval-Augmented Generation with Inverted Question Matching for Enhanced QA Performance [1.433758865948252]
  本研究では,RAG(Retrieval-Augmented Generation)システム構築のための新しいアーキテクチャを提案する。 RAGアーキテクチャは、ターゲット文書から応答を生成するために構築される。 本稿では,本システムにおける検索機構の新しいアプローチQuIM-RAGを紹介する。
  論文  参考訳（メタデータ） (2025-01-06T01:07:59Z)
• A Collaborative Multi-Agent Approach to Retrieval-Augmented Generation Across Diverse Data [0.0]
  Retrieval-Augmented Generation (RAG)はLarge Language Models (LLM)を強化する 従来のRAGシステムでは、クエリ生成、データ検索、レスポンス合成に単一エージェントアーキテクチャを使用するのが一般的である。 本稿では,これらの制約に対処するマルチエージェントRAGシステムを提案する。
  論文  参考訳（メタデータ） (2024-12-08T07:18:19Z)
• A Unified and Efficient Coordinating Framework for Autonomous DBMS Tuning [34.85351481228439]
  既存のMLベースのエージェントを効率的に活用するための統合コーディネートフレームワークを提案する。 機械学習ベースのエージェントを効果的に利用し、ワークロードの実行時間に1.414.1Xのスピードアップでより良い設定を実現できることを示す。
  論文  参考訳（メタデータ） (2023-03-10T05:27:23Z)
• Multi-Agent Reinforcement Learning for Microprocessor Design Space Exploration [71.95914457415624]
  マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。 この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。 評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2022-11-29T17:10:24Z)
• RnG-KBQA: Generation Augmented Iterative Ranking for Knowledge Base Question Answering [57.94658176442027]
  KBQAのランク・アンド・ジェネレートアプローチであるRnG-KBQAを提案する。 我々はGrailQA と WebQSP データセット上で,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2021-09-17T17:58:28Z)
• Text Summarization with Latent Queries [60.468323530248945]
  本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。 本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。 本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
  論文  参考訳（メタデータ） (2021-05-31T21:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。