論文の概要: On Evaluating the Integration of Reasoning and Action in LLM Agents with Database Question Answering

• arxiv url: http://arxiv.org/abs/2311.09721v1
• Date: Thu, 16 Nov 2023 09:55:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 15:21:23.700422
• Title: On Evaluating the Integration of Reasoning and Action in LLM Agents with Database Question Answering
• Title（参考訳）: データベース質問応答を用いたLLMエージェントにおける推論と行動の統合性の評価
• Authors: Linyong Nan, Ellen Zhang, Weijin Zou, Yilun Zhao, Wenfei Zhou, Arman Cohan
• Abstract要約: 本研究では、大規模言語モデルがデータベースとどのように相互作用するかを評価するために設計された、新しい長文データベース質問応答データセットを提案する。 このタスクでは、LLMが戦略的に複数のクエリを生成し、データベースから十分なデータを取得し、取得したコンテキストを推論し、それらを総合的な分析的な物語に合成する必要がある。 本稿では2つのインタラクション戦略を提案し評価し、インタラクション内の個々のステージを詳細に分析する。
• 参考スコア（独自算出の注目度）: 25.57202500348071
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This study introduces a new long-form database question answering dataset designed to evaluate how Large Language Models (LLMs) interact with a SQL interpreter. The task necessitates LLMs to strategically generate multiple SQL queries to retrieve sufficient data from a database, to reason with the acquired context, and to synthesize them into a comprehensive analytical narrative. Our findings highlight that this task poses great challenges even for the state-of-the-art GPT-4 model. We propose and evaluate two interaction strategies, and provide a fine-grained analysis of the individual stages within the interaction. A key discovery is the identification of two primary bottlenecks hindering effective interaction: the capacity for planning and the ability to generate multiple SQL queries. To address the challenge of accurately assessing answer quality, we introduce a multi-agent evaluation framework that simulates the academic peer-review process, enhancing the precision and reliability of our evaluations. This framework allows for a more nuanced understanding of the strengths and limitations of current LLMs in complex retrieval and reasoning tasks.
• Abstract（参考訳）: 本研究では,Large Language Models(LLM)がSQLインタープリタとどのように相互作用するかを評価するために設計された,新しい長文データベース質問応答データセットを提案する。 このタスクは、複数のSQLクエリを戦略的に生成し、データベースから十分なデータを取得し、取得したコンテキストを推論し、それらを包括的な分析的な物語に合成する必要がある。 この課題は,最新のGPT-4モデルにおいても大きな課題となる。 我々は,2つのインタラクション戦略を提案し,評価し,インタラクションにおける個々のステージの詳細な分析を行う。 重要な発見は、効果的な相互作用を妨げる2つの主要なボトルネックを特定することである。 回答品質を正確に評価する課題に対処するために,学術的ピアレビュープロセスをシミュレートし,評価の正確性と信頼性を高めるマルチエージェント評価フレームワークを提案する。 このフレームワークは、複雑な検索および推論タスクにおいて、現在のLLMの強みと制限をより微妙に理解することができる。

関連論文リスト

• SRSA: A Cost-Efficient Strategy-Router Search Agent for Real-world Human-Machine Interactions [3.5725872564627785]
  現実の状況では、ユーザーはしばしばコンテキストと高度にパーソナライズされたクエリをチャットボットに入力する。 これまでの研究は、人間と機械の対話のシナリオに特に焦点を絞ってはいなかった。 これらのギャップに対処するために、戦略ベース検索エージェント(SRSA)を提案する。 SRSAは、異なるクエリを適切な検索戦略にルーティングし、よりきめ細かいシリアル検索により、比較的低コストで高品質な結果を得ることができる。
  論文  参考訳（メタデータ） (2024-11-21T20:41:55Z)
• BabelBench: An Omni Benchmark for Code-Driven Analysis of Multimodal and Multistructured Data [61.936320820180875]
  大規模言語モデル(LLM)は、様々な領域でますます重要になっている。 BabelBenchは、コード実行によるマルチモーダルなマルチ構造化データ管理におけるLLMの熟練度を評価する革新的なベンチマークフレームワークである。 BabelBenchの実験結果から,ChatGPT 4のような最先端モデルでさえ,大幅な改善の余地があることが示唆された。
  論文  参考訳（メタデータ） (2024-10-01T15:11:24Z)
• Retrieval Augmented Generation (RAG) and Beyond: A Comprehensive Survey on How to Make your LLMs use External Data More Wisely [8.507599833330346]
  外部データで拡張された大規模言語モデル(LLM)は、現実世界のタスクを完了させる際、顕著な能力を示した。 Retrieval-Augmented Generation (RAG) とファインチューニングが注目され、広く応用されている。 しかし、データ拡張LDMを様々な専門分野に効果的に展開することは、重大な課題である。
  論文  参考訳（メタデータ） (2024-09-23T11:20:20Z)
• Fact, Fetch, and Reason: A Unified Evaluation of Retrieval-Augmented Generation [19.312330150540912]
  新たなアプリケーションは、Large Language Models(LLMs)を使用して、検索強化世代(RAG)機能を強化している。 FRAMESは,LLMが現実的な応答を提供する能力をテストするために設計された高品質な評価データセットである。 本稿では,最先端のLLMでもこの課題に対処し,0.40の精度で検索を行なわないことを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:52:07Z)
• Interactive-T2S: Multi-Turn Interactions for Text-to-SQL with Large Language Models [9.914489049993495]
  本稿では,データベースとの直接対話を通じてクエリを生成するフレームワークであるInteractive-T2Sを紹介する。 フレームワーク内のステップワイズ推論プロセスを示すための詳細な例を開発してきた。 BIRD-Devデータセットを用いた実験により,本手法が最先端の成果を達成できたのは2つの例に過ぎなかった。
  論文  参考訳（メタデータ） (2024-08-09T07:43:21Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• TACT: Advancing Complex Aggregative Reasoning with Information Extraction Tools [51.576974932743596]
  大規模言語モデル(LLM)は、テキスト間の情報の集約を必要とするクエリではよく機能しないことが多い。 TACTには、1つ以上のテキストに散らばる縫合情報を要求する難しい命令が含まれている。 既存のテキストと関連するテーブルのデータセットを活用することで、このデータセットを構築します。 現代のLLMはいずれも,このデータセットでは性能が悪く,精度が38%以下であることが実証された。
  論文  参考訳（メタデータ） (2024-06-05T20:32:56Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• PPTC-R benchmark: Towards Evaluating the Robustness of Large Language Models for PowerPoint Task Completion [96.47420221442397]
  文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。 我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。 GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
  論文  参考訳（メタデータ） (2024-03-06T15:33:32Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。