論文の概要: PlanRAG: A Plan-then-Retrieval Augmented Generation for Generative Large Language Models as Decision Makers
- arxiv url: http://arxiv.org/abs/2406.12430v1
- Date: Tue, 18 Jun 2024 09:25:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 19:37:07.989458
- Title: PlanRAG: A Plan-then-Retrieval Augmented Generation for Generative Large Language Models as Decision Makers
- Title(参考訳): PlanRAG: 意思決定者としての大規模言語モデル生成のためのプラン-then-retrieval Augmented Generation
- Authors: Myeonghwa Lee, Seonho An, Min-Soo Kim,
- Abstract要約: 我々は意思決定QAを、意思決定問題に対する最良の決定、$d_best$に答えるタスクとして定義する。
決定QAを検証できるベンチマークは存在しないので、決定QAベンチマークDQAを提案する。
我々はまた、反復計画列検索拡張(PlanRAG)と呼ばれる新しいRAG手法を提案する。
- 参考スコア(独自算出の注目度): 3.5038209863388445
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we conduct a study to utilize LLMs as a solution for decision making that requires complex data analysis. We define Decision QA as the task of answering the best decision, $d_{best}$, for a decision-making question $Q$, business rules $R$ and a database $D$. Since there is no benchmark that can examine Decision QA, we propose Decision QA benchmark, DQA. It has two scenarios, Locating and Building, constructed from two video games (Europa Universalis IV and Victoria 3) that have almost the same goal as Decision QA. To address Decision QA effectively, we also propose a new RAG technique called the iterative plan-then-retrieval augmented generation (PlanRAG). Our PlanRAG-based LM generates the plan for decision making as the first step, and the retriever generates the queries for data analysis as the second step. The proposed method outperforms the state-of-the-art iterative RAG method by 15.8% in the Locating scenario and by 7.4% in the Building scenario, respectively. We release our code and benchmark at https://github.com/myeon9h/PlanRAG.
- Abstract(参考訳): 本稿では,LLMを複雑なデータ解析を必要とする意思決定のソリューションとして活用する研究を行う。
意思決定のQAを、最良の決定に答えるタスクとして定義します。$d_{best}$, for a decision-making question $Q$, business rules $R$, a database $D$。
決定QAを検証できるベンチマークは存在しないので、決定QAベンチマークDQAを提案する。
Locating and Buildingは2つのビデオゲーム(Europa Universalis IVとVictoria 3)から構築され、Decision QAとほぼ同じ目標を達成している。
また,決定QAを効果的に解決するために,反復計画列検索拡張(PlanRAG)と呼ばれる新しいRAG手法を提案する。
PlanRAGをベースとしたLMでは,第1ステップとして意思決定計画を生成し,第2ステップとしてデータ解析のクエリを生成する。
提案手法は, 位置決めシナリオでは15.8%, ビルディングシナリオでは7.4%, 最先端反復RAG法では7.4%を上回った。
コードとベンチマークはhttps://github.com/myeon9h/PlanRAG.comで公開しています。
関連論文リスト
- Dynamic Strategy Planning for Efficient Question Answering with Large Language Models [41.34792517255731]
大規模言語モデル(LLM)における動的戦略選択プロセスを誘導する新しい手法DyPlanを提案する。
DyPlanは、入力質問に条件付けられた最も適切な戦略を選択し、それに従ってLLMの応答生成を誘導する最初の決定ステップを組み込む。
実験では、DyPlanがモデルパフォーマンスを7-13%改善し、最高のベースラインモデルと比較してコストを11-32%削減できることが示された。
論文 参考訳(メタデータ) (2024-10-30T23:35:21Z) - RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering [61.19126689470398]
Long-form RobustQA (LFRQA)は、7つの異なるドメインにわたる26Kクエリと大きなコーパスをカバーする新しいデータセットである。
RAG-QAアリーナと人間の回答品質判断は高い相関関係にあることを示す。
最も競争力のあるLLMの回答の41.3%のみがLFRQAの回答に好まれており、RAG-QAアリーナは将来の研究の挑戦的な評価プラットフォームであることを示している。
論文 参考訳(メタデータ) (2024-07-19T03:02:51Z) - A Machine Learning Approach to Two-Stage Adaptive Robust Optimization [6.943816076962257]
本稿では,2段階線形適応ロバスト最適化問題の解法として,機械学習に基づくアプローチを提案する。
私たちは、最適な今と現在の決定、最適な今と現在の決定に関連する最悪のシナリオ、そして最適な待ちと見る決定をエンコードします。
私たちは、現在と現在の決定のための高品質な戦略、最適な今と現在の決定に関連する最悪のシナリオ、待機と見る決定を予測できる機械学習モデルをトレーニングします。
論文 参考訳(メタデータ) (2023-07-23T19:23:06Z) - An Empirical Comparison of LM-based Question and Answer Generation
Methods [79.31199020420827]
質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。
本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。
実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-05-26T14:59:53Z) - Learning Answer Generation using Supervision from Automatic Question
Answering Evaluators [98.9267570170737]
我々は、自動QA評価モデル(GAVA)の監督を用いたGenQAのための新しいトレーニングパラダイムを提案する。
提案手法を2つの学術的, 1つの産業的データセット上で評価し, 過去の技術状況に対して, 回答精度を大幅に向上させた。
論文 参考訳(メタデータ) (2023-05-24T16:57:04Z) - Social-Inverse: Inverse Decision-making of Social Contagion Management
with Task Migrations [6.457205049532316]
本稿では,社会感染管理における意思決定課題に対処するための一般的な枠組みを提案する。
我々は有望な実験結果を取得し、ある意思決定課題を他の課題に関連する解を用いて解決できることを初めて確認した。
論文 参考訳(メタデータ) (2022-09-21T16:50:57Z) - Reinforcement Learning Approaches for the Orienteering Problem with Stochastic and Dynamic Release Dates [5.135929080521775]
我々は、eコマースキャリアが直面しているシーケンシャルな意思決定問題について検討する。
目的は、サービス時間中に配信される予定のパーセル数を最大化することです。
本稿では,この問題を解決するための2つの強化学習手法を提案する。
論文 参考訳(メタデータ) (2022-07-02T17:42:13Z) - R(Det)^2: Randomized Decision Routing for Object Detection [64.48369663018376]
本稿では,決定木とディープニューラルネットワークをエンドツーエンドの学習方法で組み合わせたオブジェクト検出手法を提案する。
効率的な学習を容易にするために,ノード選択型および連想型損失を伴うランダム化決定経路を提案する。
このアプローチをオブジェクト検出のためのランダム化決定ルーティングとして、R(Det)$2$と略す。
論文 参考訳(メタデータ) (2022-04-02T07:54:58Z) - Bandit Linear Optimization for Sequential Decision Making and
Extensive-Form Games [102.23975166536326]
tree-form sequential decision making (tfsdm) は、エージェントと潜在的に敵対的な環境の間のツリー形式の相互作用をモデル化することで、古典的なワンショット意思決定を拡張する。
これは、各プレイヤーが幅広い形式のゲームで直面するオンライン意思決定問題、およびマルコフ決定プロセス、およびエージェントが観測された履歴を条件とする部分観察可能なマルコフ決定プロセスをキャプチャする。
本稿では, (i) 線形時間損失と (ii) $o(sqrtt)$ cumulative regret の両方を提供する拡張dmのバンディット線形最適化問題に対する最初のアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-08T05:00:13Z) - Did Aristotle Use a Laptop? A Question Answering Benchmark with Implicit
Reasoning Strategies [78.68534915690404]
StrategyQAは、必要な推論ステップが問題に暗黙的であり、戦略を使用して推論されるべきベンチマークです。
用語に基づくプライミングを組み合わせ、アノテーションーを刺激し、アノテーションーの集団を慎重に制御し、推論ショートカットを排除するための逆フィルタリングを行うデータ収集手順を提案する。
総合的に、StrategyQAには2,780の例があり、それぞれが戦略問題、その分解、証拠パラグラフで構成されている。
論文 参考訳(メタデータ) (2021-01-06T19:14:23Z) - Solving the Order Batching and Sequencing Problem using Deep
Reinforcement Learning [2.4565068569913384]
本稿では,注文数を最小限に抑えるため,倉庫内で注文のバッチ化と選択のタイミングを決定するために,Deep Reinforcement Learning (DRL) アプローチを提案する。
特に、この技術は、注文を個別に(ピック・バイ・オーダー)するか、または、他の注文(ピック・バイ・バッチ)とバッチで選択するか、他の注文をどちらで行うかを判断することを容易にする。
論文 参考訳(メタデータ) (2020-06-16T20:40:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。