論文の概要: Dynamic Strategy Planning for Efficient Question Answering with Large Language Models

• arxiv url: http://arxiv.org/abs/2410.23511v1
• Date: Wed, 30 Oct 2024 23:35:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:03:44.091331
• Title: Dynamic Strategy Planning for Efficient Question Answering with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた効率的な質問応答のための動的戦略計画
• Authors: Tanmay Parekh, Pradyot Prakash, Alexander Radovic, Akshay Shekher, Denis Savenkov,
• Abstract要約: 大規模言語モデル(LLM)における動的戦略選択プロセスを誘導する新しい手法DyPlanを提案する。 DyPlanは、入力質問に条件付けられた最も適切な戦略を選択し、それに従ってLLMの応答生成を誘導する最初の決定ステップを組み込む。 実験では、DyPlanがモデルパフォーマンスを7-13%改善し、最高のベースラインモデルと比較してコストを11-32%削減できることが示された。
• 参考スコア（独自算出の注目度）: 41.34792517255731
• License:
• Abstract: Research has shown the effectiveness of reasoning (e.g., Chain-of-Thought), planning (e.g., SelfAsk), and retrieval augmented generation strategies to improve the performance of Large Language Models (LLMs) on various tasks, such as question answering. However, using a single fixed strategy to answer different kinds of questions is suboptimal in performance and inefficient in terms of generated output tokens and performed retrievals. In our work, we propose a novel technique DyPlan, to induce a dynamic strategy selection process in LLMs, to improve performance and reduce costs in question-answering. DyPlan incorporates an initial decision step to select the most suitable strategy conditioned on the input question and guides the LLM's response generation accordingly. We extend DyPlan to DyPlan-verify, adding an internal verification and correction process to further enrich the generated answer. Experiments on three prominent multi-hop question answering (MHQA) datasets reveal how DyPlan can improve model performance by 7-13% while reducing the cost by 11-32% relative to the best baseline model.
• Abstract（参考訳）: 質問応答など様々なタスクにおける大規模言語モデル(LLM)の性能向上を目的とした推論(例えば、Chain-of-Thought)、計画(例えば、SelfAsk)、拡張生成戦略の検索の有効性が示されている。 しかし、異なる種類の質問に答えるために1つの固定された戦略を用いることは、性能が最適であり、生成した出力トークンや実行された検索の点で非効率である。 本研究では,LLMにおける動的戦略選択プロセスを誘導する新しい手法DyPlanを提案する。 DyPlanは、入力質問に条件付けられた最も適切な戦略を選択し、それに従ってLLMの応答生成を誘導する最初の決定ステップを組み込む。 我々は、DyPlanをDyPlan-verifyに拡張し、内部検証および修正プロセスを追加して、生成した回答をさらに強化する。 3つの有名なマルチホップ質問応答(MHQA)データセットの実験では、DyPlanがモデルパフォーマンスを7-13%向上し、最高のベースラインモデルと比較してコストを11-32%削減できることを示した。

関連論文リスト

• Balancing Cost and Effectiveness of Synthetic Data Generation Strategies for LLMs [0.6700983301090584]
  大規模言語モデル(LLM)は、より高度なユースケースに適用され、微調整のための高品質でタスク固有のデータセットを生成する。 高品質な人的データを使用することは、モデルのパフォーマンスをアンロックするための最も一般的なアプローチであるが、多くのシナリオでは違法に高価である。 合成データやハイブリッドデータの生成など、いくつかの代替手法も登場したが、これらの手法の有効性は未だ不明である。
  論文  参考訳（メタデータ） (2024-09-29T20:14:50Z)
• Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
  知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。 KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
  論文  参考訳（メタデータ） (2024-06-20T13:07:38Z)
• Exploring and Benchmarking the Planning Capabilities of Large Language Models [57.23454975238014]
  この研究は、大規模言語モデル(LLM)の計画能力を改善するための基礎を築いた。 我々は、古典的な計画ベンチマークと自然言語シナリオの両方を含む包括的なベンチマークスイートを構築した。 本研究は,LLM計画の強化を目的としたマルチショットインコンテキスト学習について検討し,文脈長の増大と計画性能の向上の関係について検討する。
  論文  参考訳（メタデータ） (2024-06-18T22:57:06Z)
• Unlocking Large Language Model's Planning Capabilities with Maximum Diversity Fine-tuning [10.704716790096498]
  大規模言語モデル(LLM)は、技術やシステム設計の推進によって達成された、目覚ましいタスク解決能力を示している。 本稿では,LLMの計画能力に及ぼす微調整の影響について検討する。 計画領域におけるファインチューニングのサンプル効率を向上させるために,MDFT(Maximum Diversity Fine-Tuning)戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-15T03:06:14Z)
• Guiding Language Model Reasoning with Planning Tokens [122.43639723387516]
  大規模言語モデル(LLM)は、最近、複雑な推論タスクを実行する能力に対して、かなりの関心を集めている。 より構造的なチェーン・オブ・シークレット・ステップの創出を促す階層的な生成手法を提案する。 提案手法では、トレーニング可能なパラメータ(0.001%)の無視可能な増加が必要であり、完全な微調整か、よりパラメータ効率の良いスキームで適用することができる。
  論文  参考訳（メタデータ） (2023-10-09T13:29:37Z)
• AdaPlanner: Adaptive Planning from Feedback with Language Models [56.367020818139665]
  大規模言語モデル(LLM)は、最近、シーケンシャルな意思決定タスクの自律的エージェントとして機能する可能性を実証している。 本研究では,LLMエージェントが環境フィードバックに応じて自己生成計画を適応的に改善することのできるクローズドループアプローチであるAdaPlannerを提案する。 幻覚を緩和するために,様々なタスク,環境,エージェント機能にまたがる計画生成を容易にするコードスタイルのLCMプロンプト構造を開発した。
  論文  参考訳（メタデータ） (2023-05-26T05:52:27Z)
• Evaluating model-based planning and planner amortization for continuous control [79.49319308600228]
  我々は、モデル予測制御(MPC)と学習モデルとモデルフリーポリシー学習を組み合わせたハイブリッドアプローチを採っている。 モデルフリーエージェントは高いDoF制御問題においても強いベースラインであることがわかった。 モデルに基づくプランナを,パフォーマンスを損なうことなく,計画が損なわれるようなポリシーに置き換えることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T12:00:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。