論文の概要: Shepherd Pre-trained Language Models to Develop a Train of Thought: An Iterative Prompting Approach

• arxiv url: http://arxiv.org/abs/2203.08383v1
• Date: Wed, 16 Mar 2022 04:12:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 14:56:54.702057
• Title: Shepherd Pre-trained Language Models to Develop a Train of Thought: An Iterative Prompting Approach
• Title（参考訳）: 思考の列車構築のためのシェパード事前訓練型言語モデル-反復的プロンプティングアプローチ
• Authors: Boshi Wang, Xiang Deng, Huan Sun
• Abstract要約: プレトレーニング言語モデル(PLM)は、複雑で多段階の推論手順を必要とするタスクを解決するために知識をリコールすることができない。 人間がこれらのタスクのために「思考の訓練」を開発するのと同じように、どのようにしてPLMにそのような能力を持たせることができるのか? 本稿では,現在のステップのコンテキスト上で条件付きプロンプトを動的に合成することで,これらの制約に対処する反復型コンテキスト認識プロンプトを提案する。
• 参考スコア（独自算出の注目度）: 30.117038793151004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Pre-trained Language Models (PLMs) internalize a great amount of world knowledge, they have been shown incapable of recalling these knowledge to solve tasks requiring complex & multi-step inference procedures. Similar to how humans develop a "train of thought" for these tasks, how can we equip PLMs with such abilities? In this work, we explore an iterative prompting framework, a new prompting paradigm which progressively elicits relevant knowledge from PLMs for multi-step inference tasks. We identify key limitations of existing prompting methods, namely they are either restricted to queries with a single identifiable relation/predicate, or being agnostic to input contexts, which makes it difficult to capture variabilities across different inference steps. We propose an iterative context-aware prompter, which addresses these limitations by learning to dynamically synthesize prompts conditioned on the current step's contexts. Experiments on three datasets involving multi-step inference show the effectiveness of the iterative scheme and our proposed prompter design.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)は、膨大な量の世界の知識を内包するが、複雑な多段階推論手順を必要とするタスクを解決するためにこれらの知識をリコールすることができないことが示されている。 人間がこれらのタスクの「思考のトレイン」を開発する方法と同様に、plmにそのような能力をどのように組み込むことができるのか? 本研究では,多段階推論タスクにおいて PLM から関連知識を段階的に引き出す新たなプロンプトパラダイムである反復的プロンプトフレームワークについて検討する。 既存のプロンプトメソッドの重要な制限、すなわち、単一の識別可能な関係/述語を持つクエリに制限されているか、あるいは入力コンテキストに依存しないため、異なる推論ステップ間での変数の取得が困難になる。 本稿では,現在のステップのコンテキストに条件付きプロンプトを動的に合成することで,これらの制約に対処する反復型コンテキスト認識プロンプトを提案する。 多段階推論を含む3つのデータセットの実験は、反復型スキームと提案したプロンプトの設計の有効性を示している。

関連論文リスト

• ProcBench: Benchmark for Multi-Step Reasoning and Following Procedure [0.0]
  本稿では,多段階推論の直接評価という,推論能力の特定の側面に焦点を当てたベンチマークを提案する。 我々のデータセットは、明示的な指示とそれに対応する質問のペアで構成されており、質問の解決に必要な手順は、その指示の中で完全に詳細に記述されている。 各ステップで様々なステップの解決と応答評価を必要とする問題を構築することにより、最先端のLCMの指示に従う能力の徹底的な評価を可能にする。
  論文  参考訳（メタデータ） (2024-10-04T03:21:24Z)
• SpeechPrompt: Prompting Speech Language Models for Speech Processing Tasks [94.10497337235083]
  我々はまず,音声処理分野における音声 LM の促進の可能性を探る。 音声処理タスクを音声単位生成タスクに再構成する。 提案手法は, 強い微調整法と比較して, 競争性能を向上できることを示す。
  論文  参考訳（メタデータ） (2024-08-23T13:00:10Z)
• TemPrompt: Multi-Task Prompt Learning for Temporal Relation Extraction in RAG-based Crowdsourcing Systems [21.312052922118585]
  時間的関係抽出(TRE)は、出来事や行動の進化を把握し、関連するタスクのワークフローを形成することを目的としている。 本稿では,TRE(TemPrompt)のためのマルチタスク・プロンプト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-21T01:52:37Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• Mastering Robot Manipulation with Multimodal Prompts through Pretraining and Multi-task Fine-tuning [49.92517970237088]
  我々はマルチモーダルなプロンプトを理解するためにロボットを訓練する問題に取り組む。 このようなタスクは、視覚と言語信号の相互接続と相補性を理解するロボットの能力にとって大きな課題となる。 マルチモーダルプロンプトを用いてロボット操作を行うためのポリシーを学習する効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-14T22:24:58Z)
• Diversity of Thought Improves Reasoning Abilities of LLMs [26.149914503910235]
  大規模言語モデル(LLM)は、複雑な推論を必要とする設定で苦労するために文書化されている。 我々は、思考の多様性の手段として、入力プロンプトのバリエーションを作成し、活用する方法について議論する。
  論文  参考訳（メタデータ） (2023-10-11T00:01:41Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning [41.15017636192417]
  CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。 完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。 IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-04-01T02:24:24Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)
• Learning to Ask Conversational Questions by Optimizing Levenshtein Distance [83.53855889592734]
  明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。 RISEは会話の特徴に関連するトークンに注意を払うことができる。 2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T08:44:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。