論文の概要: Triad: A Framework Leveraging a Multi-Role LLM-based Agent to Solve Knowledge Base Question Answering
- arxiv url: http://arxiv.org/abs/2402.14320v6
- Date: Sun, 29 Sep 2024 02:41:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-01 22:01:42.582127
- Title: Triad: A Framework Leveraging a Multi-Role LLM-based Agent to Solve Knowledge Base Question Answering
- Title(参考訳): Triad: 知識ベース質問応答を解決するためのマルチロールLLMエージェントを活用したフレームワーク
- Authors: Chang Zong, Yuchen Yan, Weiming Lu, Jian Shao, Eliot Huang, Heng Chang, Yueting Zhuang,
- Abstract要約: Triadは、KBQAタスクに3つの役割を持つLLMベースのエージェントを利用する統一フレームワークである。
我々のフレームワークは、エージェントの複数の役割の協調を含む4つのフェーズで実行される。
- 参考スコア(独自算出の注目度): 42.277248862366164
- License:
- Abstract: Recent progress with LLM-based agents has shown promising results across various tasks. However, their use in answering questions from knowledge bases remains largely unexplored. Implementing a KBQA system using traditional methods is challenging due to the shortage of task-specific training data and the complexity of creating task-focused model structures. In this paper, we present Triad, a unified framework that utilizes an LLM-based agent with three roles for KBQA tasks. The agent is assigned three roles to tackle different KBQA subtasks: agent as a generalist for mastering various subtasks, as a decision maker for the selection of candidates, and as an advisor for answering questions with knowledge. Our KBQA framework is executed in four phases, involving the collaboration of the agent's multiple roles. We evaluated the performance of our framework using three benchmark datasets, and the results show that our framework outperforms state-of-the-art systems on the LC-QuAD and YAGO-QA benchmarks, yielding F1 scores of 11.8% and 20.7%, respectively.
- Abstract(参考訳): LLMをベースとしたエージェントの最近の進歩は、様々なタスクにおいて有望な結果を示している。
しかし、知識ベースからの質問に対する回答における彼らの利用は、いまだに未解明のままである。
従来の手法によるKBQAシステムの実装は、タスク固有のトレーニングデータの不足とタスク中心のモデル構造を作成する複雑さのために困難である。
本稿では,KBQAタスクに3つの役割を持つLLMエージェントを利用した統合フレームワークTriadを提案する。
エージェントは、さまざまなKBQAサブタスクに取り組むために3つの役割を割り当てられる: 様々なサブタスクをマスターするジェネリストとしてのエージェント、候補者を選ぶための意思決定者としてのエージェント、知識で質問に答えるためのアドバイザーとして。
我々のKBQAフレームワークは、エージェントの複数の役割の協調を含む4つのフェーズで実行される。
その結果,LC-QuADベンチマークとYAGO-QAベンチマークでは,F1スコアが11.8%,20.7%であった。
関連論文リスト
- SPINACH: SPARQL-Based Information Navigation for Challenging Real-World Questions [6.933892616704001]
本稿では,Wikidata の "Request a Query" フォーラムからの KBQA データセットである SPINACH データセットを紹介する。
データセットに加えて、このような難しい問題に対して、人間の専門家がどのようにSPARQLを書くかを模した、KBQAアプローチであるSPINACHエージェントも導入しています。
我々の新しいSPINACHデータセットでは、SPINACHエージェントは、最高のGPT-4ベースのKBQAエージェントを含む全てのベースラインを38.1%上回る。
論文 参考訳(メタデータ) (2024-07-16T06:18:21Z) - Rationale-based Ensemble of Multiple QA Strategies for Zero-shot Knowledge-based VQA [8.498145119681437]
K-VQA(Knowledge-based Visual Qustion-Awering)は、画像に描かれているもの以外の背景知識の活用を必要とする。
現在のゼロショットK-VQA法は、通常、イメージを単一のタイプのテキスト決定コンテキストに変換し、テキストベースのモデルを使用して、それに基づいて質問に答える。
本稿では,複数問合せ戦術の動的アンサンブルを実現するために,Rationale を用いたアンサーコンテキスト戦術のアンサンブル(REACT)を提案する。
論文 参考訳(メタデータ) (2024-06-18T16:06:38Z) - Software Mention Recognition with a Three-Stage Framework Based on BERTology Models at SOMD 2024 [0.0]
本稿では,Scholarly Publications shared-taskにおけるSoftware Mention DetectionにおけるサブタスクIのシステムについて述べる。
ベストパフォーマンスシステムは3段階のフレームワークを通じて名前付きエンティティ認識問題に対処する。
XLM-Rベースのモデルに基づくフレームワークは、重み付けされたF1スコア67.80%を実現し、ソフトウェアメンション認識タスクのサブタスクIの3位にチームに提供する。
論文 参考訳(メタデータ) (2024-04-23T17:06:24Z) - Make a Choice! Knowledge Base Question Answering with In-Context
Learning [1.7827767384590838]
知識ベースに対する質問応答(KBQA)は、与えられた知識ベース(KB)でファクトイドな質問に答えることを目的としている。
KBの大規模化のため、注釈付きデータはKB内のすべてのファクトスキーマをカバーすることは不可能である。
ICL ベースの多重選択による KBQA 手法に LLM の少数ショット機能を組み込んだフレームワークである McL-KBQA を提案する。
論文 参考訳(メタデータ) (2023-05-23T11:56:03Z) - Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent
RL [107.58821842920393]
我々はエージェントの行動差を定量化し、bfロールの多様性を通して政策パフォーマンスとの関係を構築する
MARLの誤差は, 役割多様性と強い関係を持つ3つの部分に分けられる。
分解された要因は3つの一般的な方向における政策最適化に大きな影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2022-06-01T04:58:52Z) - SYGMA: System for Generalizable Modular Question Answering OverKnowledge
Bases [57.89642289610301]
SYGMAは、複数の知識ベースと複数のリアソニングタイプにまたがる汎用化を容易にするモジュラーアプローチである。
本システムの有効性を,DBpediaとWikidataの2つの異なる知識ベースに属するデータセットを用いて評価することで実証する。
論文 参考訳(メタデータ) (2021-09-28T01:57:56Z) - MALib: A Parallel Framework for Population-based Multi-agent
Reinforcement Learning [61.28547338576706]
人口ベースマルチエージェント強化学習(PB-MARL)は、強化学習(RL)アルゴリズムでネストした一連の手法を指す。
PB-MARLのためのスケーラブルで効率的な計算フレームワークMALibを提案する。
論文 参考訳(メタデータ) (2021-06-05T03:27:08Z) - A Survey on Complex Question Answering over Knowledge Base: Recent
Advances and Challenges [71.4531144086568]
知識ベース(KB)に対する質問回答(QA)は、自然言語の質問に自動的に答えることを目的としている。
研究者は、よりKBのトリプルと制約推論を必要とする単純な質問から複雑な質問へと注意を移した。
論文 参考訳(メタデータ) (2020-07-26T07:13:32Z) - An Iterative Multi-Knowledge Transfer Network for Aspect-Based Sentiment
Analysis [73.7488524683061]
本稿では,エンド・ツー・エンドABSAのための新しいIterative Multi-Knowledge Transfer Network (IMKTN)を提案する。
我々のIMKTNは、よく設計されたルーティングアルゴリズムを用いて、3つのサブタスクのうち2つのタスク固有の知識をトークンレベルで別のタスクに転送する。
3つのベンチマークデータセットの実験結果は、我々のアプローチの有効性と優位性を示している。
論文 参考訳(メタデータ) (2020-04-04T13:49:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。