論文の概要: Synthetic Prompting: Generating Chain-of-Thought Demonstrations for Large Language Models

• arxiv url: http://arxiv.org/abs/2302.00618v1
• Date: Wed, 1 Feb 2023 17:33:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-02 16:59:07.436967
• Title: Synthetic Prompting: Generating Chain-of-Thought Demonstrations for Large Language Models
• Title（参考訳）: 合成プロンプト:大規模言語モデルのための連鎖デモの生成
• Authors: Zhihong Shao, Yeyun Gong, Yelong Shen, Minlie Huang, Nan Duan, Weizhu Chen
• Abstract要約: 大規模言語モデルはチェーン・オブ・ソート・プロンプトを使用して様々な推論タスクを実行でき、ステップ・バイ・ステップのデモを通じて回答を見つけることができる。 そこで本研究では,手作りの例を数種類活用して,モデルにさらに多くの例を生成する手法であるSynthetic promptingを紹介する。 本手法は数値的,記号的,アルゴリズム的推論タスクにおいて評価し,既存のプロンプト手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 121.54462976635743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models can perform various reasoning tasks by using chain-of-thought prompting, which guides them to find answers through step-by-step demonstrations. However, the quality of the prompts depends on the demonstrations given to the models, and creating many of them by hand is costly. We introduce Synthetic prompting, a method that leverages a few handcrafted examples to prompt the model to generate more examples by itself, and selects effective demonstrations to elicit better reasoning. Our method alternates between a backward and forward process to generate new examples. The backward process generates a question that match a sampled reasoning chain, so that the question is solvable and clear. The forward process produces a more detailed reasoning chain for the question, improving the quality of the example. We evaluate our method on numerical, symbolic, and algorithmic reasoning tasks, and show that it outperforms existing prompting techniques.
• Abstract（参考訳）: 大規模言語モデルはチェーン・オブ・ソート・プロンプトを使用して様々な推論タスクを実行できる。 しかし、プロンプトの品質はモデルに与えられたデモによって異なり、手作業で多くのプロンプトを作成するのはコストがかかる。 これは,手作りの例をいくつか活用して,モデル自身でより多くの例を生成させる手法であり,より優れた推論を導出するための効果的なデモンストレーションを選択する。 提案手法は, 後方プロセスと前方プロセスの交互に新しい例を生成する。 逆過程は、サンプルの推論連鎖に一致する質問を生成するので、質問は解決可能でクリアである。 フォワードプロセスは、質問に対するより詳細な推論チェーンを生成し、サンプルの品質を改善します。 数値的,記号的,アルゴリズム的推論タスクの手法を評価し,既存のプロンプト手法よりも優れていることを示す。

関連論文リスト

• Self-Harmonized Chain of Thought [8.540320749424172]
  CoT(Chain-of-Thought)のプロンプトにより、大きな言語モデルが中間ステップを介して複雑な推論を行うことができることが明らかになった。 ECHOは3つの推論領域で最高の全体的なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-09-06T06:57:04Z)
• Pattern-Aware Chain-of-Thought Prompting in Large Language Models [26.641713417293538]
  CoT(Chain-of- Thought)は言語モデルに複雑な多段階推論を誘導する。 このようなタスクにおいて、基礎となる推論パターンがより重要な役割を果たすことを示す。 本稿では,デモパターンの多様性を考慮したプロンプト手法であるPattern-Aware CoTを提案する。
  論文  参考訳（メタデータ） (2024-04-23T07:50:00Z)
• Soft-Prompting with Graph-of-Thought for Multi-modal Representation Learning [45.517215214938844]
  チェーン・オブ・シークレット技術は、マルチモーダルタスクにおいてよく受け入れられている。 マルチモーダル表現学習におけるソフトプロンプトチューニングのためのAgoT(Aggregation-Graph-of-Thought)機構を提案する。
  論文  参考訳（メタデータ） (2024-04-06T07:39:44Z)
• Large Language Models as Analogical Reasoners [155.9617224350088]
  CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。 そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
  論文  参考訳（メタデータ） (2023-10-03T00:57:26Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models [81.01397924280612]
  大規模言語モデル (LLM) は、ステップ・バイ・ステップ・チェーン・オブ・シークレット (CoT) をデモンストレーションとして組み込むことで、様々な推論タスクにおいて高い効果的な性能を達成することができる。 本稿では,イターCoT (Iterative bootstrapping in Chain-of-Thoughts Prompting) を導入する。
  論文  参考訳（メタデータ） (2023-04-23T13:54:39Z)
• Automatic Chain of Thought Prompting in Large Language Models [20.54898481696753]
  大規模言語モデル(LLM)は中間的推論ステップを生成することで複雑な推論を行うことができる。 「ステップ・バイ・ステップ」は、デモのための推論チェーンを1つずつ生成します。 自動CoTプロンプト法を提案する。
  論文  参考訳（メタデータ） (2022-10-07T12:28:21Z)
• Learning to Reason With Relational Abstractions [65.89553417442049]
  関係抽象化の考え方を用いて,言語モデルにおいてより強力な推論能力を構築する方法について検討する。 このようなシーケンスをプロンプトとして提供したモデルでは,タスクの精度が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2022-10-06T00:27:50Z)
• Complexity-Based Prompting for Multi-Step Reasoning [72.0057198610614]
  大規模言語モデルに対して,多段階推論を行うための課題について検討する。 中心的な疑問は、どの推論例が最も効果的なプロンプトを作るかである。 多段階推論のためのシンプルで効果的な例選択方式である複雑性ベースのプロンプトを提案する。
  論文  参考訳（メタデータ） (2022-10-03T05:33:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。