論文の概要: Automatic Prompt Augmentation and Selection with Chain-of-Thought from Labeled Data

• arxiv url: http://arxiv.org/abs/2302.12822v3
• Date: Tue, 27 Feb 2024 14:49:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 13:02:36.978067
• Title: Automatic Prompt Augmentation and Selection with Chain-of-Thought from Labeled Data
• Title（参考訳）: ラベル付きデータからのチェーン・オブ・サートによる自動プロンプト増大と選択
• Authors: KaShun Shum, Shizhe Diao, Tong Zhang
• Abstract要約: 思考の連鎖(CoT)は、大規模言語モデル(LLM)の推論能力を向上させる ほとんどのCoT研究は、LSMを促進するために慎重に設計された有理鎖に依存している。 本稿では,CoTの人間工学を回避できる新しい戦略を提案する。
• 参考スコア（独自算出の注目度）: 20.68548644283721
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain-of-thought (CoT) advances the reasoning abilities of large language models (LLMs) and achieves superior performance in complex reasoning tasks. However, most CoT studies rely on carefully designed human-annotated rational chains to prompt LLMs, posing challenges for real-world applications where labeled data is available without rational chains. This paper proposes a new strategy, Automate-CoT (Automatic Prompt Augmentation and Selection with Chain-of-Thought), that can bypass human engineering of CoT by automatically augmenting rational chains from a small labeled dataset, and then pruning low-quality chains to construct a candidate pool of machine-generated rationale chains based on the labels. Finally, it selects the optimal combination of several rationale chains from the pool for CoT prompting by employing a variance-reduced policy gradient strategy to estimate the significance of each example. Automate-CoT enables a quick adaptation of the CoT technique to different tasks. Experimental results demonstrate the effectiveness of our method, where competitive results are achieved on arithmetic reasoning (+2.7%), commonsense reasoning (+3.4%), symbolic reasoning (+3.2%), and non-reasoning tasks (+2.5%). The code is available at https://github.com/SHUMKASHUN/Automate-CoT.
• Abstract（参考訳）: CoT(Chain-of-Thought)は、大規模言語モデル(LLM)の推論能力を高め、複雑な推論タスクにおいて優れたパフォーマンスを達成する。 しかしながら、ほとんどのCoT研究は、LLMを誘導するために慎重に設計された有理連鎖に依存しており、有理連鎖なしでラベル付きデータが利用できる現実世界のアプリケーションには課題がある。 本稿では,CoTの人間工学を回避し,ラベル付きデータセットから有理連鎖を自動的に拡張し,低品質鎖を切断し,そのラベルに基づいて機械生成有理鎖の候補プールを構築する,Automate-CoT(Automatic Prompt Augmentation and Selection with Chain-of-Thought)を提案する。 最後に、分散還元政策勾配戦略を用いて各例の意義を推定することにより、CoTのプールから複数の有理鎖の最適結合を選択する。 Automate-CoTは、CoTテクニックをさまざまなタスクに迅速に適応できる。 実験の結果,算術的推論(+2.7%),常識的推論(+3.4%),記号的推論(+3.2%),非推論タスク(+2.5%)の競合性が示された。 コードはhttps://github.com/SHUMKASHUN/Automate-CoT.comで公開されている。

関連論文リスト

• To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning [55.52872152909785]
  Chain-of-Thought (CoT) は,大規模言語モデル (LLM) から推論能力を引き出すデファクト手法である。 私たちは、CoTが主に数学や論理学を含むタスクに強いパフォーマンス上の利点をもたらし、他のタスクよりもはるかに少ない利益をもたらすことを示しています。
  論文  参考訳（メタデータ） (2024-09-18T17:55:00Z)
• Break the Chain: Large Language Models Can be Shortcut Reasoners [18.047917626825548]
  CoT(Chain-of-Thought)推論は複雑なモジュールを利用するが、高いトークン消費、適用可能性の制限、思考上の課題によって妨げられる。 本稿では、複雑な論理的および常識的推論タスクを含む算術を超えて、CoTプロンプトの批判的評価を行う。 そこで我々は,「チェーンを破る」戦略を通じて,人型やショートカットを言語モデル(LM)に統合することを提案する。
  論文  参考訳（メタデータ） (2024-06-04T14:02:53Z)
• ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
  CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する 既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。 優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T11:34:26Z)
• Deep Reinforcement Learning for Modelling Protein Complexes [29.64786472108047]
  非環状無向連結グラフは多鎖タンパク質複合体の構造を予測するのに有用であることを示す。 GAPNは、ドメイン固有の報酬と、ポリシー勾配による敵の損失を生かした、ジェネレーティブ・アドバイサル・ポリシー・ネットワークである。
  論文  参考訳（メタデータ） (2024-03-11T12:33:33Z)
• AutoAct: Automatic Agent Learning from Scratch for QA via Self-Planning [54.47116888545878]
  AutoActはQAのための自動エージェント学習フレームワークである。 大規模アノテートデータやクローズドソースモデルからの合成計画軌道は依存していない。
  論文  参考訳（メタデータ） (2024-01-10T16:57:24Z)
• DCR: Divide-and-Conquer Reasoning for Multi-choice Question Answering with LLMs [9.561022942046279]
  大規模言語モデル(LLM)の推論能力を高めるため,DCR(Divide and Conquer Reasoning)を提案する。 まず、信頼性スコア(mathcalCS$)に基づいて質問を2つのサブセットに分類する。 特に,質問を信頼性スコア(mathcalCS$)に基づいて2つのサブセットに分類する。
  論文  参考訳（メタデータ） (2024-01-10T14:38:46Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• Faithful Chain-of-Thought Reasoning [51.21714389639417]
  CoT(Chain-of-Thought)は言語モデル(LM)のパフォーマンスを様々な推論タスクで向上させる。 翻訳と問題解決という2つの段階を含む推論フレームワークであるFithful CoTを提案する。 このことは、推論連鎖が最終回答の忠実な説明を提供することを保証している。
  論文  参考訳（メタデータ） (2023-01-31T03:04:26Z)
• Learning Autoencoders with Relational Regularization [89.53065887608088]
  データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。 エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする 我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
  論文  参考訳（メタデータ） (2020-02-07T17:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。