論文の概要: Prompts Generalize with Low Data: Non-vacuous Generalization Bounds for Optimizing Prompts with More Informative Priors

• arxiv url: http://arxiv.org/abs/2510.08413v1
• Date: Thu, 09 Oct 2025 16:32:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:15.200464
• Title: Prompts Generalize with Low Data: Non-vacuous Generalization Bounds for Optimizing Prompts with More Informative Priors
• Title（参考訳）: 低データでプロンプトを一般化する:よりインフォームティブなプリミティブでプロンプトを最適化するための非空の一般化境界
• Authors: David Madras, Joshua Safyan, Qiuyi, Zhang,
• Abstract要約: このような広範な成功は、データや分布に依存した難易度を慎重に検討することで、より完全に説明できる、と我々は主張する。 我々は、より有用な事前処理によるデータスカースプロンプト最適化において、空でない新しい一般化境界を導出する。
• 参考スコア（独自算出の注目度）: 26.84417698402442
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many prompt engineering techniques have been successful in practice, even when optimizing over a large prompt space with with a small amount of task-specific data. Recent work has partially explained this success by showing generalization bounds which apply PAC-Bayes theory to the discrete prompt space, but they are non-vacuous only in data-rich scenarios. We argue that such widespread success can be more fully explained through more carefully considering data- or distribution-dependent perplexity, which acts as an effective prior and steers the optimization towards prompts that are more ``natural'' for the task at hand. We derive novel generalization bounds that are non-vacuous for data-scarce prompt optimization via more useful priors, formally analyzing how perplexity regularization tightens these bounds by limiting exploration. Empirically, we explore both the bounds' effectiveness and the practical benefits of perplexity regularization in improving prompt generalization.
• Abstract（参考訳）: 多くのプロンプトエンジニアリング技術は、少数のタスク固有のデータで大きなプロンプト空間を最適化しても、実際に成功している。 最近の研究は、PAC-ベイズ理論を離散的プロンプト空間に適用する一般化境界を示すことによって、この成功を部分的に説明しているが、それらはデータリッチなシナリオにおいてのみ空でない。 このような広範な成功は、より慎重にデータや分散に依存したパープレクシリティを考慮し、効果的な事前動作として機能し、手前のタスクに対してより「自然な」プロンプトに向けて最適化を行うことによって、より完全に説明できる、と我々は主張する。 我々は、より有用な事前処理により、データスカース迅速な最適化に不必要な新しい一般化境界を導出し、探索を制限することによって、どのようにパープレキシティ正規化がこれらの境界を締め付けるかを正式に分析する。 経験的に、我々は境界の有効性と、急激な一般化を改善するための難易度正規化の実践的利益の両方を探求する。

関連論文リスト

• DACP: Domain-Adaptive Continual Pre-Training of Large Language Models for Phone Conversation Summarization [10.083326281775939]
  大規模言語モデル (LLM) はテキスト要約において顕著な性能を達成した。 微調整は要約の品質を向上させることができるが、通常は高価で高品質なラベル付きデータに依存している。 我々は、下流の要約タスクにLLMを適用するためのスケーラブルで自己管理的なアプローチとして、継続事前学習について検討する。
  論文  参考訳（メタデータ） (2025-10-07T12:26:19Z)
• A Closer Look at the Few-Shot Adaptation of Large Vision-Language Models [19.17722702457403]
  現状のArtETLアプローチは、狭義の実験的な設定でのみ強力な性能を示すことを示す。 一般化されたラグランジアン法を適応させることにより,バランス項を最適化したCLAP(CLass-Adaptive linear Probe)の目的を提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:58:25Z)
• Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning [83.41487567765871]
  Skipperはモデルベースの強化学習フレームワークである。 これは、与えられたタスクをより小さく、より管理しやすいサブタスクに自動的に一般化する。 環境の関連部分には、スパースな意思決定と集中した抽象化を可能にする。
  論文  参考訳（メタデータ） (2023-09-30T02:25:18Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Efficient Contextual Preferential Bayesian Optimization with Historical Examples [0.5249805590164902]
  そこで本研究では,専門家の知識,過去の事例,サンプル要求の低減のためにユーティリティ空間に関する粗い情報を利用する,オフラインで解釈可能なユーティリティ学習手法を提案する。 提案手法は, 4領域にわたる標準ガウス過程とBOPEより優れ, 実世界で発生する偏りのあるサンプルであっても高い性能を示し, 専門家の入力が限られている。
  論文  参考訳（メタデータ） (2022-08-22T13:26:03Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。