論文の概要: Reprompting: Automated Chain-of-Thought Prompt Inference Through Gibbs Sampling

• arxiv url: http://arxiv.org/abs/2305.09993v2
• Date: Thu, 23 May 2024 21:23:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 00:25:27.558312
• Title: Reprompting: Automated Chain-of-Thought Prompt Inference Through Gibbs Sampling
• Title（参考訳）: リプロンプティング:ギブズサンプリングによるチェーン・オブ・サート・プロンプト推論の自動化
• Authors: Weijia Xu, Andrzej Banburski-Fahey, Nebojsa Jojic,
• Abstract要約: Repromptingは、人間の介入なしに与えられたタスクに対するCoT(Chain-of-Thought)レシピを自動的に学習する反復サンプリングアルゴリズムである。 我々は20の挑戦的推論タスクについて広範な実験を行った。 その結果、Repromptingは人間によるCoTのプロンプトを平均で+9.4ポイント上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 15.574259620961534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Reprompting, an iterative sampling algorithm that automatically learns the Chain-of-Thought (CoT) recipes for a given task without human intervention. Through Gibbs sampling, Reprompting infers the CoT recipes that work consistently well for a set of training samples by iteratively sampling new recipes using previously sampled recipes as parent prompts to solve other training problems. We conduct extensive experiments on 20 challenging reasoning tasks. Results show that Reprompting outperforms human-written CoT prompts substantially by +9.4 points on average. It also achieves consistently better performance than the state-of-the-art prompt optimization and decoding algorithms.
• Abstract（参考訳）: Repromptingは、人間の介入なしに与えられたタスクに対するCoT(Chain-of-Thought)レシピを自動的に学習する反復サンプリングアルゴリズムである。 Gibbsのサンプリングを通じて、Repromptingは、以前のサンプルレシピを親のプロンプトとして使用して新しいレシピを反復的にサンプリングすることで、一連のトレーニングサンプルに対して一貫して機能するCoTレシピを推論する。 我々は20の挑戦的推論タスクについて広範な実験を行った。 その結果、Repromptingは人間によるCoTのプロンプトを平均で+9.4ポイント上回っていることがわかった。 また、最先端のプロンプト最適化やデコードアルゴリズムよりも一貫してパフォーマンスが向上している。

関連論文リスト

• Quasi-random Multi-Sample Inference for Large Language Models [1.647759094903376]
  大規模言語モデル(LLM)は、しばしばマルチサンプルデコード戦略を備えている。 ビームサーチやサンプリングベース技術のような従来のテキスト生成手法には、顕著な制限がある。 本研究では,算術的サンプリングの可能性について検討し,祖先的サンプリングと対比する。
  論文  参考訳（メタデータ） (2024-11-09T18:55:04Z)
• Task Facet Learning: A Structured Approach to Prompt Optimization [14.223730629357178]
  本稿では,タスクの複数の面をトレーニング例から学習するアルゴリズムを提案する。 結果のアルゴリズムであるUniPromptは、各プロンプトセクションの初期候補を生成する生成モデルで構成されている。 複数のデータセットと実世界のタスクに対する経験的評価は、UniPromptを使って生成されたプロンプトが、人間のチューニングしたプロンプトよりも高い精度が得られることを示している。
  論文  参考訳（メタデータ） (2024-06-15T04:54:26Z)
• OVOR: OnePrompt with Virtual Outlier Regularization for Rehearsal-Free Class-Incremental Learning [10.299813904573695]
  分類器の判定境界を狭めるために,仮想外れ値に基づく正規化手法を提案する。 単純化されたプロンプトベースの手法は、プロンプトプールを備えた従来の最先端(SOTA)手法に匹敵する結果が得られる。
  論文  参考訳（メタデータ） (2024-02-06T16:31:11Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Efficiently Enhancing Zero-Shot Performance of Instruction Following Model via Retrieval of Soft Prompt [56.22456716092954]
  ソフトプロンプトの検索は、ゼロショットタスクの一般化において、ハードプロンプトを効率的に支援することができる。 我々は、プロンプトチューニングを通じて各プロンプトに対するソフトプロンプト埋め込みをトレーニングし、プロンプト埋め込みにマップされたトレーニングインスタンスのサンプルを格納し、推論中にクエリインスタンスに最も近いトレーニングインスタンスの対応するプロンプト埋め込みを検索する。 0.007%の追加パラメータしか加えていないが、ソフトプロンプトの検索は、未確認タスクにおけるT0のパフォーマンスを11つのデータセットのうち10で上回り、BIG-benchベンチマークにおけるT0の平均精度を2.39%向上させる。
  論文  参考訳（メタデータ） (2022-10-06T16:26:03Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)
• BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
  本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。 我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-03-03T05:31:33Z)
• A Sample-Based Training Method for Distantly Supervised Relation Extraction with Pre-Trained Transformers [4.726777092009553]
  ハードウェア要求を緩和するDSREの新しいサンプリング手法を提案する。 提案手法では, バッチ内の袋からランダムに文をサンプリングすることにより, バッチ中の文数を制限する。 ランダムサンプリングによる問題を軽減するために,学習モデルのアンサンブルを用いて予測を行う。
  論文  参考訳（メタデータ） (2021-04-15T15:09:34Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。