論文の概要: Synthetic Prompting: Generating Chain-of-Thought Demonstrations for
Large Language Models
- arxiv url: http://arxiv.org/abs/2302.00618v1
- Date: Wed, 1 Feb 2023 17:33:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-02 16:59:07.436967
- Title: Synthetic Prompting: Generating Chain-of-Thought Demonstrations for
Large Language Models
- Title(参考訳): 合成プロンプト:大規模言語モデルのための連鎖デモの生成
- Authors: Zhihong Shao, Yeyun Gong, Yelong Shen, Minlie Huang, Nan Duan, Weizhu
Chen
- Abstract要約: 大規模言語モデルはチェーン・オブ・ソート・プロンプトを使用して様々な推論タスクを実行でき、ステップ・バイ・ステップのデモを通じて回答を見つけることができる。
そこで本研究では,手作りの例を数種類活用して,モデルにさらに多くの例を生成する手法であるSynthetic promptingを紹介する。
本手法は数値的,記号的,アルゴリズム的推論タスクにおいて評価し,既存のプロンプト手法よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 121.54462976635743
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models can perform various reasoning tasks by using
chain-of-thought prompting, which guides them to find answers through
step-by-step demonstrations. However, the quality of the prompts depends on the
demonstrations given to the models, and creating many of them by hand is
costly. We introduce Synthetic prompting, a method that leverages a few
handcrafted examples to prompt the model to generate more examples by itself,
and selects effective demonstrations to elicit better reasoning. Our method
alternates between a backward and forward process to generate new examples. The
backward process generates a question that match a sampled reasoning chain, so
that the question is solvable and clear. The forward process produces a more
detailed reasoning chain for the question, improving the quality of the
example. We evaluate our method on numerical, symbolic, and algorithmic
reasoning tasks, and show that it outperforms existing prompting techniques.
- Abstract(参考訳): 大規模言語モデルはチェーン・オブ・ソート・プロンプトを使用して様々な推論タスクを実行できる。
しかし、プロンプトの品質はモデルに与えられたデモによって異なり、手作業で多くのプロンプトを作成するのはコストがかかる。
これは,手作りの例をいくつか活用して,モデル自身でより多くの例を生成させる手法であり,より優れた推論を導出するための効果的なデモンストレーションを選択する。
提案手法は, 後方プロセスと前方プロセスの交互に新しい例を生成する。
逆過程は、サンプルの推論連鎖に一致する質問を生成するので、質問は解決可能でクリアである。
フォワードプロセスは、質問に対するより詳細な推論チェーンを生成し、サンプルの品質を改善します。
数値的,記号的,アルゴリズム的推論タスクの手法を評価し,既存のプロンプト手法よりも優れていることを示す。
関連論文リスト
- Large Language Models as Analogical Reasoners [155.9617224350088]
CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。
そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
論文 参考訳(メタデータ) (2023-10-03T00:57:26Z) - RetICL: Sequential Retrieval of In-Context Examples with Reinforcement
Learning [77.34726150561087]
In-Context Learning (RetICL) のための検索式を提案する。
我々は、マルコフ決定プロセスとして逐次サンプル選択の問題を定義し、LSTMを用いてサンプルレトリバーモデルを設計し、近似ポリシー最適化を用いてそれを訓練する。
論文 参考訳(メタデータ) (2023-05-23T20:15:56Z) - Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in
Large Language Models [85.07648361429816]
大規模言語モデル (LLM) は、ステップ・バイ・ステップ・チェーン・オブ・シークレット (CoT) をデモンストレーションとして組み込むことで、様々な推論タスクにおいて高い効果的な性能を達成することができる。
本稿では,イターCoT (Iterative bootstrapping in Chain-of-Thoughts Prompting) を導入する。
論文 参考訳(メタデータ) (2023-04-23T13:54:39Z) - Automatic Chain of Thought Prompting in Large Language Models [20.54898481696753]
大規模言語モデル(LLM)は中間的推論ステップを生成することで複雑な推論を行うことができる。
「ステップ・バイ・ステップ」は、デモのための推論チェーンを1つずつ生成します。
自動CoTプロンプト法を提案する。
論文 参考訳(メタデータ) (2022-10-07T12:28:21Z) - Learning to Reason With Relational Abstractions [65.89553417442049]
関係抽象化の考え方を用いて,言語モデルにおいてより強力な推論能力を構築する方法について検討する。
このようなシーケンスをプロンプトとして提供したモデルでは,タスクの精度が大幅に向上することがわかった。
論文 参考訳(メタデータ) (2022-10-06T00:27:50Z) - Complexity-Based Prompting for Multi-Step Reasoning [72.0057198610614]
大規模言語モデルに対して,多段階推論を行うための課題について検討する。
中心的な疑問は、どの推論例が最も効果的なプロンプトを作るかである。
多段階推論のためのシンプルで効果的な例選択方式である複雑性ベースのプロンプトを提案する。
論文 参考訳(メタデータ) (2022-10-03T05:33:27Z) - Reordering Examples Helps during Priming-based Few-Shot Learning [6.579039107070663]
PERO は 10 個の例から効率よく一般化できることを示す。
提案手法が感情分類,自然言語推論,事実検索のタスクに与える影響を実証する。
論文 参考訳(メタデータ) (2021-06-03T11:02:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。