論文の概要: Automatic Prompt Augmentation and Selection with Chain-of-Thought from
Labeled Data
- arxiv url: http://arxiv.org/abs/2302.12822v1
- Date: Fri, 24 Feb 2023 18:58:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-27 12:34:06.983138
- Title: Automatic Prompt Augmentation and Selection with Chain-of-Thought from
Labeled Data
- Title(参考訳): ラベル付きデータからのチェーン・オブ・サートによる自動プロンプト増大と選択
- Authors: KaShun Shum, Shizhe Diao, Tong Zhang
- Abstract要約: チェーン・オブ・シークレット・プロンプト(CoT)は、大きな言語モデルの推論能力を向上させる。
ほとんどのCoT研究は、言語モデルを促進するために、慎重に設計された人間の注釈付き有理連鎖に依存している。
本稿では,CoTの人的工学を回避できる新しい戦略であるAutomatic-CoTを提案する。
- 参考スコア(独自算出の注目度): 15.154504346975655
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chain-of-thought prompting (CoT) advances the reasoning abilities of large
language models (LLMs) and achieves superior performance in arithmetic,
commonsense, and symbolic reasoning tasks. However, most CoT studies rely on
carefully designed human-annotated rational chains to prompt the language
model, which poses challenges for real-world applications where labeled
training data is available without human-annotated rational chains. This
creates barriers to applications of CoT prompting to these general tasks. This
paper proposes a new strategy, Automate-CoT (Automatic Prompt Augmentation and
Selection with Chain-of-Thought), that can bypass human engineering of CoTs by
automatically augmenting rational chains from a small labeled dataset, and then
pruning low-quality chains to construct a candidate pool of machine-generated
rationale chains based on the labels. Finally, it selects the optimal
combination of several rationale chains from the pool for CoT prompting by
employing a variance-reduced policy gradient strategy to estimate the
significance of each example in a black-box language model. Automate-CoT
enables a quick adaptation of the CoT technique to different tasks.
Experimental results demonstrate the effectiveness of our method, where
state-of-the-art results are achieved on arithmetic reasoning (+2.7\%),
commonsense reasoning (+3.4\%), symbolic reasoning (+3.2\%), and non-reasoning
tasks (+2.5\%). Our code will be available at
https://github.com/shizhediao/automate-cot.
- Abstract(参考訳): CoT(Chain-of- Thought prompting)は、大規模言語モデル(LLM)の推論能力を高め、算術、常識、シンボリック推論タスクにおいて優れたパフォーマンスを達成する。
しかし、ほとんどのCoT研究は、言語モデルを促進するために慎重に設計された有理連鎖に依存しており、有理連鎖なしでラベル付きトレーニングデータが利用できる現実世界のアプリケーションに課題をもたらす。
これにより、これらの一般的なタスクに刺激するCoTの応用に対する障壁が生じる。
本稿では,CoTの人為的エンジニアリングを回避し,ラベル付きデータセットから有理連鎖を自動的に拡張し,低品質な連鎖を抽出して,ラベルに基づく機械生成有理連鎖の候補プールを構築する,Automate-CoT(Automatic Prompt Augmentation and Selection with Chain-of-Thought)を提案する。
最後に、分散還元政策勾配戦略を用いて、COTのためのプールから複数の有理連鎖の最適組み合わせを選択し、ブラックボックス言語モデルにおける各例の意義を推定する。
Automate-CoTは、CoTテクニックをさまざまなタスクに迅速に適応できる。
実験結果から,算術的推論(+2.7\%),コモンセンス推論(+3.4\%),記号的推論(+3.2\%),非推論タスク(+2.5\%)が得られた。
私たちのコードはhttps://github.com/shizhediao/automate-cotで利用可能です。
関連論文リスト
- AUTOACT: Automatic Agent Learning from Scratch via Self-Planning [56.81725335882185]
AutoActは、大規模アノテートデータやクローズドソースモデルからの合成軌跡に依存しない自動エージェント学習フレームワークである。
我々は異なるLLMを用いて総合的な実験を行い、AutoActは様々な強力なベースラインと比較して優れた性能または並列性能が得られることを示した。
論文 参考訳(メタデータ) (2024-01-10T16:57:24Z) - Divide and Conquer for Large Language Models Reasoning [53.27384085738965]
本稿では,大言語モデルにDivide and Conquer戦略を適用することを提案する。
まず、統計的信頼度スコアに基づいて、質問を異なるサブセットに分割する。
そして、ほぼ解決された集合を修正し、精巧に設計された手法で要求されるニュアンス処理を克服します。
論文 参考訳(メタデータ) (2024-01-10T14:38:46Z) - Training Chain-of-Thought via Latent-Variable Inference [30.21067593018967]
大規模言語モデル(LLM)は、チェーン・オブ・シンクレットのプロンプトを使って解答ステップを実行するように指示されたときに、より正確かつ解釈可能な問題を解決する。
CoTと教師付きチューニングを組み合わせるには、正しい回答だけでなく、それらの答えにつながる詳細な根拠の監督が必要である。
そこで本研究では,CoTプロンプトを用いて正しい回答を生成することで,電子対数類似度を最大化するための微調整戦略を提案する。
論文 参考訳(メタデータ) (2023-11-28T17:47:32Z) - LINC: A Neurosymbolic Approach for Logical Reasoning by Combining
Language Models with First-Order Logic Provers [60.009969929857704]
論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。
本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。
我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
論文 参考訳(メタデータ) (2023-10-23T17:58:40Z) - Stress Testing Chain-of-Thought Prompting for Large Language Models [0.16317061277456998]
本報告では,大規模言語モデル(LLM)の多段階推論能力を向上する上で,CoT(Chain-of-Thought)の有効性について検討する。
各種タスクにおけるGPT-3の性能に及ぼすCoT次数,CoT値,CoT演算子の影響を解析した。
論文 参考訳(メタデータ) (2023-09-28T17:21:33Z) - Chain-Of-Thought Prompting Under Streaming Batch: A Case Study [0.7106986689736827]
CoT(Chain-of-Thought)は、複雑な推論を行う上で、LLM(Large Language Models)を支援する方法として提案されている。
本稿では,ストリーミング設定におけるバッチデータを用いたチェーン・オブ・ソート・プロンプトの構築と最適化に関するケーススタディを提案する。
論文 参考訳(メタデータ) (2023-06-01T11:11:39Z) - T-SciQ: Teaching Multimodal Chain-of-Thought Reasoning via Mixed Large
Language Model Signals for Science Question Answering [59.63860993280275]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。
LLM信号を用いた科学質問応答の指導を目的とした,T-SciQと呼ばれる新しい手法を提案する。
提案手法は,ScienceQAベンチマークで96.18%の精度で,最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-05-05T11:56:30Z) - Faithful Chain-of-Thought Reasoning [51.21714389639417]
CoT(Chain-of-Thought)は言語モデル(LM)のパフォーマンスを様々な推論タスクで向上させる。
翻訳と問題解決という2つの段階を含む推論フレームワークであるFithful CoTを提案する。
このことは、推論連鎖が最終回答の忠実な説明を提供することを保証している。
論文 参考訳(メタデータ) (2023-01-31T03:04:26Z) - Efficient Document-level Event Extraction via Pseudo-Trigger-aware
Pruned Complete Graph [15.925704154438638]
完全グラフ上でイベント引数の組み合わせ抽出を行う非自己回帰復号アルゴリズムを設計する。
従来のシステムと比較すると、トレーニングに3.6%のGPU時間(pfs-days)しか必要とせず、推論に最大8.5倍高速である。
論文 参考訳(メタデータ) (2021-12-11T16:01:29Z) - Learning Autoencoders with Relational Regularization [89.53065887608088]
データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。
エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする
我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
論文 参考訳(メタデータ) (2020-02-07T17:27:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。