論文の概要: TextReg: Mitigating Prompt Distributional Overfitting via Regularized Text-Space Optimization

• arxiv url: http://arxiv.org/abs/2605.21318v1
• Date: Wed, 20 May 2026 15:47:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.762797
• Title: TextReg: Mitigating Prompt Distributional Overfitting via Regularized Text-Space Optimization
• Title（参考訳）: TextReg: 正規化テキスト空間最適化によるプロンプト分布オーバーフィッティングの軽減
• Authors: Lucheng Fu, Ye Yu, Yiyang Wang, Yiqiao Jin, Haibo Jin, B. Aditya Prakash, Haohan Wang,
• Abstract要約: 大規模言語モデル(LLM)は、タスクの目的と振る舞いの制約を指定するために使われるプロンプトに非常に敏感である。 本稿では,この障害モードを即時分布オーバーフィッティングとして検討し,離散テキスト空間最適化における表現制御の欠如を反映していると主張している。 本研究では,テキストの正規化によるソフト・ペナルティ目標を実現するための正規化フレームワークであるTextRegを提案する。
• 参考スコア（独自算出の注目度）: 41.70456027589437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are highly sensitive to the prompts used to specify task objectives and behavioral constraints. Many recent prompt optimization methods iteratively rewrite prompts using LLM-generated feedback, but the resulting prompts often become longer, accumulate narrow sample-specific rules, and generalize poorly beyond the training distribution. We study this failure mode as prompt distributional overfitting and argue that it reflects a lack of representation control in discrete text-space optimization. We formalize this view through representational inefficiency, a dual-factor measure that decomposes prompt inefficiency into capacity cost and scope narrowness, attributing distributional prompt overfitting to their coupled growth during optimization. We propose TextReg, a regularization framework that realizes a soft-penalty objective through regularized textual gradients, combining Dual-Evidence Gradient Purification, Semantic Edit Regularization, and Regularization-Guided Prompt Update. Across multiple reasoning benchmarks, TextReg substantially improves out-of-distribution (OOD) generalization, with accuracy gains of up to +11.8% over TextGrad and +16.5% over REVOLVE.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、タスクの目的と振る舞いの制約を指定するために使われるプロンプトに非常に敏感である。 最近の多くのプロンプト最適化手法は、LCM生成したフィードバックを使ってプロンプトを反復的に書き直すが、結果として得られるプロンプトは、しばしば長くなり、狭いサンプル固有のルールを蓄積し、トレーニング分布を超えてうまく一般化する。 本稿では,この障害モードを即時分布オーバーフィッティングとして検討し,離散テキスト空間最適化における表現制御の欠如を反映していると主張している。 この考え方を表現的非効率性(表現的不効率性)により定式化する。これは、最適化中の分散的プロンプトオーバーフィッティングに寄与し、迅速な非効率性をキャパシティコストとスコープ狭さに分解する2要素測度である。 本研究では,正規化テキスト勾配によるソフト・ペナルティ目標を実現するための正規化フレームワークであるTextRegを提案する。 複数の推論ベンチマークを通じて、TextRegは配布外一般化(OOD)を大幅に改善し、TextGradで最大で+11.8%、REVOLVEで+16.5%の精度向上を実現した。

関連論文リスト

• Modular Prompt Optimization: Optimizing Structured Prompts with Section-Local Textual Gradients [0.8604557306886812]
  本稿では,プロンプトを固定的なセマンティックセクションで構成される構造化オブジェクトとして扱うスキーマベースのプロンプト最適化フレームワークを提案する。 LLaMA-3 8B-Instruct と Mistral-7B-Instruct をソルバモデルとして用いて, ARC-Challenge と MMLU の2つの推論ベンチマークでMPOを評価した。
  論文  参考訳（メタデータ） (2026-01-07T16:20:08Z)
• RAPO++: Cross-Stage Prompt Optimization for Text-to-Video Generation via Data Alignment and Test-Time Scaling [59.088798018184235]
  textbfRAPO++は、クロスプラットフォームのプロンプト最適化フレームワークである。 トレーニングデータの整合性向上、テスト時の反復スケーリング、大規模言語モデルの微調整を統一する。 RAPO++は意味的アライメント、構成的推論、時間的安定性、物理的妥当性において大きな進歩を遂げている。
  論文  参考訳（メタデータ） (2025-10-23T04:45:09Z)
• Reflection-Enhanced Meta-Optimization Integrating TextGrad-style Prompt Optimization with Memory-Driven Self-Evolution [0.0]
  本稿では,メモリ拡張リフレクションRetrievalRAGモジュールと自己適応型メタコントローラを統合するフレームワークを提案する。 REMOは、計算オーバーヘッドの増加にもかかわらず、より安定で堅牢なチューニングを実現する。
  論文  参考訳（メタデータ） (2025-08-26T07:25:45Z)
• TRPrompt: Bootstrapping Query-Aware Prompt Optimization from Textual Rewards [9.107586166322923]
  本稿では,テキストフィードバックをプロンプトモデルのトレーニングに組み込むことでアプローチを統一する,テキスト・リワード・プロンプト・フレームワーク(TRPrompt)を紹介する。 我々のフレームワークは、事前のデータセット収集を必要とせず、生成されたプロンプトに対するフィードバックによって反復的に改善されている。 LLMの能力と結合して「良い」プロンプトとは何かという概念を内包すると、テキスト報酬によって提供される高分解能信号は、最先端のクエリ固有のプロンプトを生成するプロンプトモデルを訓練することができる。
  論文  参考訳（メタデータ） (2025-07-24T17:54:44Z)
• Fast Prompt Alignment for Text-to-Image Generation [28.66112701912297]
  本稿では,FPA(Fast Prompt Alignment)を提案する。 FPAは単一命令プロンプトのパラフレーズに大規模言語モデル(LLM)を使用し、その後最適化されたプロンプトで微調整やテキスト内学習を行う。 FPAは、処理時間のごく一部で競合するテキスト画像アライメントスコアを達成する。
  論文  参考訳（メタデータ） (2024-12-11T18:58:41Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。