論文の概要: Reprompting: Automated Chain-of-Thought Prompt Inference Through Gibbs Sampling

• arxiv url: http://arxiv.org/abs/2305.09993v1
• Date: Wed, 17 May 2023 06:35:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-18 17:14:45.226871
• Title: Reprompting: Automated Chain-of-Thought Prompt Inference Through Gibbs Sampling
• Title（参考訳）: リプロンプティング:ギブズサンプリングによるチェーン・オブ・サート・プロンプト推論の自動化
• Authors: Weijia Xu, Andrzej Banburski-Fahey, Nebojsa Jojic
• Abstract要約: Repromptingは、人間の介入なしに与えられたタスクに対するCoT(Chain-of-Thought)レシピを探索する反復サンプリングアルゴリズムである。 提案手法は, 事前サンプル法を用いて新たなレシピを反復的にサンプリングし, 他の学習課題の解決に役立てる。 マルチステップ推論を必要とする5つのBig-Bench Hardタスクでは、Repromptingはゼロショット、少数ショット、人間書きのCoTベースラインよりも一貫してパフォーマンスが向上する。
• 参考スコア（独自算出の注目度）: 18.531421669296677
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Reprompting, an iterative sampling algorithm that searches for the Chain-of-Thought (CoT) recipes for a given task without human intervention. Through Gibbs sampling, we infer CoT recipes that work consistently well for a set of training samples. Our method iteratively samples new recipes using previously sampled solutions as parent prompts to solve other training problems. On five Big-Bench Hard tasks that require multi-step reasoning, Reprompting achieves consistently better performance than the zero-shot, few-shot, and human-written CoT baselines. Reprompting can also facilitate transfer of knowledge from a stronger model to a weaker model leading to substantially improved performance of the weaker model. Overall, Reprompting brings up to +17 point improvements over the previous state-of-the-art method that uses human-written CoT prompts.
• Abstract（参考訳）: Repromptingは、人間の介入なしに与えられたタスクに対するCoT(Chain-of-Thought)レシピを探索する反復サンプリングアルゴリズムである。 Gibbsサンプリングを通じて、一連のトレーニングサンプルに対して一貫して動作するCoTレシピを推測します。 提案手法は, 事前サンプル法を用いて新しいレシピを反復的にサンプリングし, 他の学習課題の解決に役立てる。 マルチステップ推論を必要とする5つのビッグベンチハードタスクでは、ゼロショット、少数ショット、人間書きのcotベースラインよりも一貫して優れたパフォーマンスを達成している。 また、より強いモデルから弱いモデルへの知識の移譲が容易になり、弱いモデルの性能が大幅に向上する。 全体として、Repromptingは、人間の書き起こしたCoTプロンプトを使用する従来の最先端メソッドよりも+17ポイント改善されている。

関連論文リスト

• Towards bandit-based prompt-tuning for in-the-wild foundation agents [2.6731152954002924]
  本稿では,タスク性能を向上させるための推論時間帯域幅に基づくプロンプトチューニングフレームワークを提案する。 実験の結果,バンディットに基づくプロンプトチューニングによる性能向上だけでなく,サンプルの複雑さ,拡張性,空間探索の迅速化などが示唆された。
  論文  参考訳（メタデータ） (2025-02-10T11:20:10Z)
• CAPrompt: Cyclic Prompt Aggregation for Pre-Trained Model Based Class Incremental Learning [12.249938312431993]
  本稿では,タスクID予測への依存性を排除するために,新しいCAPromptアグリゲーション法を提案する。 凹凸条件下では、集約プロンプトは単一のタスク固有のプロンプトを選択するよりも低いエラーを達成する。 提案したCAPromptは最先端手法を2%-3%上回る性能を示した。
  論文  参考訳（メタデータ） (2024-12-12T04:34:28Z)
• Quasi-random Multi-Sample Inference for Large Language Models [1.647759094903376]
  大規模言語モデル(LLM)は、しばしばマルチサンプルデコード戦略を備えている。 ビームサーチやサンプリングベース技術のような従来のテキスト生成手法には、顕著な制限がある。 本研究では,算術的サンプリングの可能性について検討し,祖先的サンプリングと対比する。
  論文  参考訳（メタデータ） (2024-11-09T18:55:04Z)
• Task Facet Learning: A Structured Approach to Prompt Optimization [14.223730629357178]
  本稿では,タスクの複数の面をトレーニング例から学習するアルゴリズムを提案する。 結果のアルゴリズムであるUniPromptは、各プロンプトセクションの初期候補を生成する生成モデルで構成されている。 複数のデータセットと実世界のタスクに対する経験的評価は、UniPromptを使って生成されたプロンプトが、人間のチューニングしたプロンプトよりも高い精度が得られることを示している。
  論文  参考訳（メタデータ） (2024-06-15T04:54:26Z)
• OVOR: OnePrompt with Virtual Outlier Regularization for Rehearsal-Free Class-Incremental Learning [10.299813904573695]
  分類器の判定境界を狭めるために,仮想外れ値に基づく正規化手法を提案する。 単純化されたプロンプトベースの手法は、プロンプトプールを備えた従来の最先端(SOTA)手法に匹敵する結果が得られる。
  論文  参考訳（メタデータ） (2024-02-06T16:31:11Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Efficiently Enhancing Zero-Shot Performance of Instruction Following Model via Retrieval of Soft Prompt [56.22456716092954]
  ソフトプロンプトの検索は、ゼロショットタスクの一般化において、ハードプロンプトを効率的に支援することができる。 我々は、プロンプトチューニングを通じて各プロンプトに対するソフトプロンプト埋め込みをトレーニングし、プロンプト埋め込みにマップされたトレーニングインスタンスのサンプルを格納し、推論中にクエリインスタンスに最も近いトレーニングインスタンスの対応するプロンプト埋め込みを検索する。 0.007%の追加パラメータしか加えていないが、ソフトプロンプトの検索は、未確認タスクにおけるT0のパフォーマンスを11つのデータセットのうち10で上回り、BIG-benchベンチマークにおけるT0の平均精度を2.39%向上させる。
  論文  参考訳（メタデータ） (2022-10-06T16:26:03Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)
• BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
  本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。 我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-03-03T05:31:33Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。