論文の概要: Decomposed Prompting: A Modular Approach for Solving Complex Tasks

• arxiv url: http://arxiv.org/abs/2210.02406v1
• Date: Wed, 5 Oct 2022 17:28:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 13:51:37.110709
• Title: Decomposed Prompting: A Modular Approach for Solving Complex Tasks
• Title（参考訳）: Decomposed Prompting: 複雑なタスクを解くためのモジュール的アプローチ
• Authors: Tushar Khot, Harsh Trivedi, Matthew Finlayson, Yao Fu, Kyle Richardson, Peter Clark, Ashish Sabharwal
• Abstract要約: 本稿では,より単純なサブタスクに分解することで,複雑なタスクを解くための分解プロンプトを提案する。 このモジュール構造は、各プロンプトを特定のサブタスクに最適化することを可能にする。 Decomposed Promptingの柔軟性とモジュラリティは、数発のプロンプトで先行作業より優れていることを示す。
• 参考スコア（独自算出の注目度）: 55.42850359286304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Few-shot prompting is a surprisingly powerful way to use Large Language Models (LLMs) to solve various tasks. However, this approach struggles as the task complexity increases or when the individual reasoning steps of the task themselves are hard to learn, especially when embedded in more complex tasks. To address this, we propose Decomposed Prompting, a new approach to solve complex tasks by decomposing them (via prompting) into simpler sub-tasks that can be delegated to a library of prompting-based LLMs dedicated to these sub-tasks. This modular structure allows each prompt to be optimized for its specific sub-task, further decomposed if necessary, and even easily replaced with more effective prompts, trained models, or symbolic functions if desired. We show that the flexibility and modularity of Decomposed Prompting allows it to outperform prior work on few-shot prompting using GPT3. On symbolic reasoning tasks, we can further decompose sub-tasks that are hard for LLMs into even simpler solvable sub-tasks. When the complexity comes from the input length, we can recursively decompose the task into the same task but with smaller inputs. We also evaluate our approach on textual multi-step reasoning tasks: on long-context multi-hop QA task, we can more effectively teach the sub-tasks via our separate sub-tasks prompts; and on open-domain multi-hop QA, we can incorporate a symbolic information retrieval within our decomposition framework, leading to improved performance on both tasks.
• Abstract（参考訳）: さまざまなタスクを解決するためにLLM(Large Language Models)を使用するには,驚くほど強力な方法だ。 しかし、タスクの複雑さが増大したり、タスク自体の個々の推論ステップが学ぶのが難しい場合、特に複雑なタスクに組み込まれている場合、このアプローチは困難である。 そこで本研究では,複雑なタスクを(プロンプトによって)より単純なサブタスクに分解し,それらのサブタスクに特化したプロンプトベースのllmのライブラリに委譲する,新しいアプローチであるdecomposed promptingを提案する。 このモジュール構造により、各プロンプトは特定のサブタスクに最適化され、必要に応じてさらに分解され、必要に応じてより効果的なプロンプト、トレーニングされたモデル、あるいはシンボリック関数に置き換えられる。 本稿では,分解プロンプティングの柔軟性とモジュラリティが,GPT3を用いたショットプロンプトの先行処理よりも優れていることを示す。 シンボリック推論タスクでは、llmが難しいサブタスクを、より単純な解決可能なサブタスクに分解することができる。 複雑性が入力長から生じると、再帰的にタスクを同じタスクに分解するが、入力を小さくすることができる。 長いコンテキストのマルチホップqaタスクでは、個別のサブタスクプロンプトを通じてサブタスクをより効果的に教えることができ、オープンドメインのマルチホップqaでは、分解フレームワークにシンボル情報検索を組み込むことができ、両方のタスクでパフォーマンスが向上します。

関連論文リスト

• Active Prompting with Chain-of-Thought for Large Language Models [16.9127713032405]
  本稿では,タスク固有のサンプルプロンプトを用いて,大規模言語モデルを異なるタスクに適応させる手法であるActive-Promptを提案する。 不確実性に基づくアクティブラーニングの関連問題からアイデアを借用することにより、不確実性を特徴づける指標をいくつか導入する。 実験により,提案手法の優位性を実証し,8つの複雑な推論タスクの最先端化を図った。
  論文  参考訳（メタデータ） (2023-02-23T18:58:59Z)
• Learning Complex Teamwork Tasks using a Sub-task Curriculum [6.940758395823777]
  本稿では,よりシンプルなマルチエージェント・サブタスクのエキスパートによるカリキュラムを利用するアプローチを提案する。 カリキュラムの各サブタスクでは、チーム全体のサブセットが、サブタスク固有のポリシーを取得するように訓練されています。 サブチームはマージされ、ターゲットタスクに転送される。そこでは、より複雑なターゲットタスクを解決するために、そのポリシーをまとめて調整する。
  論文  参考訳（メタデータ） (2023-02-09T21:24:56Z)
• Improving Task Generalization via Unified Schema Prompt [87.31158568180514]
  Unified Promptはフレキシブルでプロンプトの手法で、タスク入力スキーマに従って各タスクの学習可能なプロンプトを自動的にカスタマイズする。 異なるタスクスキーマの特徴を維持しながら、タスク間の共有知識をモデル化する。 このフレームワークは、8つのタスクタイプから下流に見えない16のタスクに対して、強力なゼロショットと少数ショットのパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-05T15:26:36Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Modular Adaptive Policy Selection for Multi-Task Imitation Learning through Task Division [60.232542918414985]
  マルチタスク学習は、しばしば負の伝達に悩まされ、タスク固有の情報を共有する。 これは、プロトポリケーションをモジュールとして使用して、タスクを共有可能な単純なサブ振る舞いに分割する。 また、タスクを共有サブ行動とタスク固有のサブ行動の両方に自律的に分割する能力を示す。
  論文  参考訳（メタデータ） (2022-03-28T15:53:17Z)
• Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
  シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。 合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。 次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
  論文  参考訳（メタデータ） (2021-09-15T21:19:11Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。