論文の概要: Beyond the Next Token: Towards Prompt-Robust Zero-Shot Classification via Efficient Multi-Token Prediction

• arxiv url: http://arxiv.org/abs/2504.03159v1
• Date: Fri, 04 Apr 2025 04:39:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:48:35.853968
• Title: Beyond the Next Token: Towards Prompt-Robust Zero-Shot Classification via Efficient Multi-Token Prediction
• Title（参考訳）: 次のトークンを超えて:効率的なマルチトークン予測によるプロンプト・ローバストゼロショット分類を目指して
• Authors: Junlang Qian, Zixiao Zhu, Hanzhang Zhou, Zijian Feng, Zepeng Zhai, Kezhi Mao,
• Abstract要約: プロンプトの微妙な変化は、モデルの性能に重大な違いをもたらす可能性がある。 複数位置にわたるトークン確率を予測する新しい手法であるPlaceholding Parallel Prediction (P3)を提案する。 実験では精度が向上し、プロンプト間の標準偏差が最大98%減少した。
• 参考スコア（独自算出の注目度）: 12.92060812931049
• License:
• Abstract: Zero-shot text classification typically relies on prompt engineering, but the inherent prompt brittleness of large language models undermines its reliability. Minor changes in prompt can cause significant discrepancies in model performance. We attribute this prompt brittleness largely to the narrow focus on nexttoken probabilities in existing methods. To address this, we propose Placeholding Parallel Prediction (P3), a novel approach that predicts token probabilities across multiple positions and simulates comprehensive sampling of generation paths in a single run of a language model. Experiments show improved accuracy and up to 98% reduction in the standard deviation across prompts, boosting robustness. Even without a prompt, P3 maintains comparable performance, reducing the need for prompt engineering.
• Abstract（参考訳）: ゼロショットテキスト分類は、通常、プロンプトエンジニアリングに頼っているが、大きな言語モデルの本質的に迅速な脆さは、その信頼性を損なう。 プロンプトの微妙な変化は、モデルの性能に重大な違いをもたらす可能性がある。 この急激な脆さは、既存の手法における次の確率に焦点を絞ることが主な原因である。 そこで本研究では,複数の位置にわたるトークン確率を予測し,言語モデルの単一実行における生成経路の包括的サンプリングをシミュレートする手法であるPlaceholding Parallel Prediction (P3)を提案する。 実験では精度が向上し、プロンプト間の標準偏差が最大98%減少し、堅牢性が向上した。 プロンプトがなくても、P3は同等のパフォーマンスを維持し、プロンプトエンジニアリングの必要性を減らす。

関連論文リスト

• DiffSampling: Enhancing Diversity and Accuracy in Neural Text Generation [2.4555276449137042]
  本稿では,トークン確率分布の数学的解析を利用した3種類の新しい復号法を提案する。 私たちのアプローチは、品質と多様性の面で、少なくとも現在の代替手段と同様に、一貫して機能します。
  論文  参考訳（メタデータ） (2025-02-19T19:00:02Z)
• CR-UTP: Certified Robustness against Universal Text Perturbations on Large Language Models [12.386141652094999]
  ランダムな平滑化に基づく既存の証明されたロバスト性は、入力固有のテキスト摂動の証明にかなりの可能性を示している。 ナイーブな方法は、単にマスキング比とマスキング攻撃トークンの可能性を増大させることであるが、認証精度と認証半径の両方を著しく低下させる。 本研究では,マスキングにおいて高い認証精度を維持する優れたプロンプトを識別する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T01:02:22Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)
• Unleashing the Multilingual Encoder Potential: Boosting Zero-Shot Performance via Probability Calibration [12.424785560515094]
  事前訓練された多言語エンコーダモデルは、入力例をクローゼスタイルのプロンプトに変換することで、ゼロショット多言語タスクや言語探索を直接実行することができる。 この方法は,事前学習中に頻繁に発生するラベル単語の予測に対するモデルのバイアスによって制限される。 モデルによって予測されるラベル語の確率を変化させるキャリブレーション手法と組み合わせる。
  論文  参考訳（メタデータ） (2023-10-08T08:31:05Z)
• Closing the Curious Case of Neural Text Degeneration [91.22954750742183]
  トラニケートサンプリングの有効性を理論的に説明する。 モデルエラーの既知の源であるソフトマックスボトルネックを利用して、特定のトークンが真の確率がゼロでないことを示す。 提案手法は,低エントロピーテキスト生成におけるしきい値ベースよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-02T23:16:25Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• Exploring the Universal Vulnerability of Prompt-based Learning Paradigm [21.113683206722207]
  素早い学習は、事前学習と微調整のギャップを埋め、数ショット設定で効果的に機能することを発見した。 しかし、この学習パラダイムは、特定のトリガをテキストに挿入することで、モデル予測が誤解されるような事前学習段階から脆弱性を継承することがわかった。 バックドアトリガを注入するか,あるいはプレーンテキストのみを用いて事前学習した言語モデル上での逆トリガを検索することにより,この普遍的な脆弱性を探究する。
  論文  参考訳（メタデータ） (2022-04-11T16:34:10Z)
• Calibrate Before Use: Improving Few-Shot Performance of Language Models [68.17016463756474]
  GPT-3は、いくつかのトレーニング例を含む自然言語プロンプトを提供すると、多数のタスクを実行できます。 この種の少数ショット学習は不安定である。 プロンプト形式、トレーニング例、およびトレーニング例の順序の選択は、精度をほぼチャンスから最先端のものに変化させる可能性があります。
  論文  参考訳（メタデータ） (2021-02-19T00:23:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。