論文の概要: QueryAgent: A Reliable and Efficient Reasoning Framework with Environmental Feedback based Self-Correction
- arxiv url: http://arxiv.org/abs/2403.11886v1
- Date: Mon, 18 Mar 2024 15:39:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 19:50:22.595978
- Title: QueryAgent: A Reliable and Efficient Reasoning Framework with Environmental Feedback based Self-Correction
- Title(参考訳): QueryAgent: 環境フィードバックに基づく自己補正による信頼性と効率的な推論フレームワーク
- Authors: Xiang Huang, Sitao Cheng, Shanshan Huang, Jiayu Shen, Yong Xu, Chaoyun Zhang, Yuzhong Qu,
- Abstract要約: 環境フィードバックに基づく自己補正手法ERASERを提案する。
実験の結果、QueryAgentは以前の数ショットメソッドよりも特に優れていた。
このアプローチは、実行時、クエリオーバヘッド、API呼び出しコストなど、効率性の面で優れています。
- 参考スコア(独自算出の注目度): 18.383499080327542
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Employing Large Language Models (LLMs) for semantic parsing has achieved remarkable success. However, we find existing methods fall short in terms of reliability and efficiency when hallucinations are encountered. In this paper, we address these challenges with a framework called QueryAgent, which solves a question step-by-step and performs step-wise self-correction. We introduce an environmental feedback-based self-correction method called ERASER. Unlike traditional approaches, ERASER leverages rich environmental feedback in the intermediate steps to perform selective and differentiated self-correction only when necessary. Experimental results demonstrate that QueryAgent notably outperforms all previous few-shot methods using only one example on GrailQA and GraphQ by 7.0 and 15.0 F1. Moreover, our approach exhibits superiority in terms of efficiency, including runtime, query overhead, and API invocation costs. By leveraging ERASER, we further improve another baseline (i.e., AgentBench) by approximately 10 points, revealing the strong transferability of our approach.
- Abstract(参考訳): 意味解析にLarge Language Models(LLM)を使うことは、大きな成功を収めた。
しかし,幻覚に遭遇した場合,既存の手法は信頼性や効率性に乏しいことが判明した。
本稿では,質問を段階的に解決し,段階的に自己補正を行うQueryAgentというフレームワークを用いて,これらの課題に対処する。
環境フィードバックに基づく自己補正手法ERASERを提案する。
従来のアプローチとは異なり、ERASERは中間段階の豊かな環境フィードバックを活用して、必要に応じて選択的で差別化された自己補正を行う。
実験の結果、QueryAgentはGrailQAとGraphQのサンプルを7.0と15.0のF1で1つだけ使って、以前のいくつかのショットメソッドを特に上回っている。
さらに,ランタイムやクエリオーバヘッド,API呼び出しコストなど,効率性の面で優れています。
ERASERを活用することで、AgentBenchという別のベースラインを約10ポイント改善し、我々のアプローチの強い転送可能性を明らかにする。
関連論文リスト
- Learning to Use Tools via Cooperative and Interactive Agents [61.662788490607475]
ツール学習は、大きな言語モデル(LLM)をエージェントとして、その能力を拡張するために外部ツールを使用する権限を与える。
既存の手法では、1つのLCMベースのエージェントを使用してツールを反復的に選択し実行し、その結果を次のアクション予測に組み込む。
本研究では,協調型対話型エージェントフレームワークであるConAgentsを提案し,ツール学習のワークフローをグラウンディング,実行,監視エージェントにモジュール化する。
論文 参考訳(メタデータ) (2024-03-05T15:08:16Z) - Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。
本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。
提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
論文 参考訳(メタデータ) (2023-11-16T09:07:34Z) - Strong and Efficient Baselines for Open Domain Conversational Question
Answering [2.773656427800412]
The State-of-the-Art (SotA) Dense Passage Retrieval (DPR) retriever and Fusion-in-Decoder (FiD) reader pipeline。
本稿では,レシーバとリーダの間に高速なリグレードコンポーネントを導入することで,強力でシンプルで効率的なベースラインを提案し,評価する。
TopiOCQA と OR-QuAC という2つの ODConvQA タスクの実験により,本手法が SotA 結果を改善するとともに,読み出し遅延を60%削減することを示した。
論文 参考訳(メタデータ) (2023-10-23T08:48:14Z) - Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。
本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。
我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
論文 参考訳(メタデータ) (2023-05-01T02:37:59Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-10-11T08:24:50Z) - Repeated Environment Inference for Invariant Learning [8.372465442144046]
ベイズ最適条件ラベル分布が異なる環境において同じである場合、不変表現の概念に焦点を当てる。
従来の作業は、不変リスク最小化(IRM)フレームワークからペナルティ項を最大化することで環境推論(EI)を行う。
本手法は, 合成データセットと実世界のデータセットの両方において, ベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-07-26T13:07:22Z) - KECP: Knowledge Enhanced Contrastive Prompting for Few-shot Extractive
Question Answering [28.18555591429343]
我々はKECP(Knowledge Enhanced Contrastive Prompt-tuning)という新しいフレームワークを提案する。
PLMにポインタヘッドを追加する代わりに、タスクを非自己回帰型マスケッド言語モデリング(MLM)生成問題に変換する。
提案手法は,数ショット設定における最先端のアプローチを大きなマージンで一貫して上回っている。
論文 参考訳(メタデータ) (2022-05-06T08:31:02Z) - Confidence-Aware Active Feedback for Efficient Instance Search [21.8172170825049]
関連性フィードバックは、不完全なランキング結果をさらに洗練させるために、インスタンス検索(INS)タスクで広く使用されている。
本稿では,最も価値の高いフィードバック候補を効率的に選択できる信頼性対応アクティブフィードバック(CAAF)手法を提案する。
特にCAAFは、TRECVID 2021の大規模ビデオINS評価において、第1位を記録している。
論文 参考訳(メタデータ) (2021-10-23T16:14:03Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳(メタデータ) (2021-05-11T03:38:16Z) - BERT Loses Patience: Fast and Robust Inference with Early Exit [91.26199404912019]
本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。
提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
論文 参考訳(メタデータ) (2020-06-07T13:38:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。