論文の概要: Monotonic Paraphrasing Improves Generalization of Language Model Prompting

• arxiv url: http://arxiv.org/abs/2403.16038v3
• Date: Sun, 03 Nov 2024 01:53:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:41:21.119252
• Title: Monotonic Paraphrasing Improves Generalization of Language Model Prompting
• Title（参考訳）: モノトニックなパラフレーズが言語モデルプロンプティングの一般化を改善
• Authors: Qin Liu, Fei Wang, Nan Xu, Tianyi Yan, Tao Meng, Muhao Chen,
• Abstract要約: MonoParaはエンド・ツー・エンドのデコーディング戦略であり、プロンプトや命令を下位のパープレクティリティに言い換える。 いかなる訓練も必要とせず、単調に言い換えられたプロンプトや命令の難易度を下げることができる。 また、乱雑なタスク命令に対するLMの一般化を効果的に改善することが示されている。
• 参考スコア（独自算出の注目度）: 42.74429247000797
• License:
• Abstract: Performance of large language models (LLMs) may vary with different prompts or instructions of even the same task. One commonly recognized factor for this phenomenon is the model's familiarity with the given prompt or instruction, which is typically estimated by its perplexity. However, finding the prompt with the lowest perplexity is challenging, given the enormous space of possible prompting phrases. In this paper, we propose monotonic paraphrasing (MonoPara), an end-to-end decoding strategy that paraphrases given prompts or instructions into their lower perplexity counterparts based on an ensemble of a paraphrase LM for prompt (or instruction) rewriting, and a target LM (i.e. the prompt or instruction executor) that constrains the generation for lower perplexity. The ensemble decoding process can efficiently paraphrase the original prompt without altering its semantic meaning, while monotonically decreasing the perplexity of each generation as calculated by the target LM. We explore in detail both greedy and search-based decoding as two alternative decoding schemes of MonoPara. Notably, MonoPara does not require any training and can monotonically lower the perplexity of the paraphrased prompt or instruction, leading to improved performance of zero-shot LM prompting as evaluated on a wide selection of tasks. In addition, MonoPara is also shown to effectively improve LMs' generalization on perturbed and unseen task instructions.
• Abstract（参考訳）: 大きな言語モデル(LLM)の性能は、同じタスクの異なるプロンプトや命令によって異なる場合がある。 この現象の一般的な要因の1つは、モデルが与えられたプロンプトや命令に精通していることであり、典型的にはその難易度によって推定される。 しかし、可能なフレーズの膨大なスペースを考えると、最も難易度が低いプロンプトを見つけることは困難である。 本稿では,プロンプト(あるいは命令)書き換えのためのパラフレーズLMのアンサンブルと,低パープレキシティの生成を制限するターゲットLM(すなわち,プロンプトや命令実行子)に基づいて,プロンプトや命令を下位パープレキシティに付与するエンドツーエンドのデコーディング戦略であるモノトニック・パラフレーズ(MonoPara)を提案する。 アンサンブル復号処理は、ターゲットLMによって計算された各世代を単調に減少させながら、意味的意味を変えることなく、元のプロンプトを効率的にパラフレーズ化することができる。 我々は、MonoParaの2つの代替デコードスキームとして、欲求と検索に基づくデコードの両方を詳細に検討する。 特に、MonoParaはトレーニングを一切必要とせず、パラフレーズのプロンプトや命令の難易度を単調に下げることができる。 さらにMonoParaは、乱れたタスク命令や見えないタスク命令に対するLMの一般化を効果的に改善することが示されている。

関連論文リスト

• Set-Based Prompting: Provably Solving the Language Model Order Dependency Problem [18.020492646988746]
  本稿では,LLMの出力が指定されたサブシーケンスのセットに順序依存しないことを保証する手法であるSet-Based Promptingを提案する。 我々の入力が分布外であるにもかかわらず、期待される精度への影響は小さく、予測は、一様に選択された応答のシャッフルの順序を超える。
  論文  参考訳（メタデータ） (2024-06-04T16:09:13Z)
• Contrastive Instruction Tuning [61.97704869248903]
  意味論的に等価な命令-インスタンスペア間の類似性を最大化するために、コントラスト命令チューニングを提案する。 PromptBenchベンチマークの実験によると、CoINはLLMの頑健さを一貫して改善し、文字、単語、文、意味のレベルを平均して2.5%の精度で変化させる。
  論文  参考訳（メタデータ） (2024-02-17T00:09:32Z)
• A Prompt Learning Framework for Source Code Summarization [24.33455799484519]
  本稿では,PromptCSと呼ばれるコード要約のための新しいプロンプト学習フレームワークを提案する。 PromptCSは、コード要約においてLLMのポテンシャルを解放するために連続的なプロンプトを生成するプロンプトエージェントを訓練する。 複数のプログラミング言語を含むCodeSearchNetデータセット上でPromptCSを評価する。
  論文  参考訳（メタデータ） (2023-12-26T14:37:55Z)
• Prompt Sketching for Large Language Models [7.687678490751105]
  大規模言語モデル(LLM)の最近のプロンプト戦略は、モデルを連続的に何度もクエリする。 これにより、不連結で好ましくない中間応答が生じる。 提案するプロンプトスケッチは,プロンプトの完了だけでなく,テンプレート内の複数の変数の値を予測することで,LLMが応答する新たなプロンプト処理パラダイムである。
  論文  参考訳（メタデータ） (2023-11-08T18:57:23Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。