論文の概要: Beyond Magic Words: Sharpness-Aware Prompt Evolving for Robust Large Language Models with TARE

• arxiv url: http://arxiv.org/abs/2509.24130v1
• Date: Sun, 28 Sep 2025 23:57:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.652755
• Title: Beyond Magic Words: Sharpness-Aware Prompt Evolving for Robust Large Language Models with TARE
• Title（参考訳）: マジックワードを超えて: TAREでロバストな大規模言語モデルのために進化するシャープネスを意識したプロンプト
• Authors: Guancheng Wan, Lucheng Fu, Haoxin Liu, Yiqiao Jin, Hui Yi Leong, Eric Hanchen Jiang, Hejia Geng, Jinhe Bi, Yunpu Ma, Xiangru Tang, B. Aditya Prakash, Yizhou Sun, Wei Wang,
• Abstract要約: そこで,本論文では,プロンプトをハードパラフレーズで強調する内的,サンプリングに基づく逆探索を交互に行う,デリバティブフリーなフレームワークTAREを紹介する。 また,意味的近傍を形成するために異方性重みを学習し,時間とともに半径を調整し,探索と忠実性のバランスをとるATAREを提案する。
• 参考スコア（独自算出の注目度）: 57.67972800581953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance of Large Language Models (LLMs) hinges on carefully engineered prompts. However, prevailing prompt optimization methods, ranging from heuristic edits and reinforcement learning to evolutionary search, primarily target point-wise accuracy. They seldom enforce paraphrase invariance or searching stability, and therefore cannot remedy this brittleness in practice. Automated prompt search remains brittle: small, semantically preserving paraphrases often cause large performance swings. We identify this brittleness as the textual sharpness of the prompt landscape. In this work, we provide the first formal treatment of textual sharpness in the discrete, semantic space of prompts, together with an operational robustness criterion over a semantic neighborhood; the design is black-box or API-only, requiring no gradients to update the model's parameters. Then we introduce TARE (Textual Sharpness-Aware Evolving), a derivative-free framework that alternates between an inner, sampling-based adversarial search that stresses a prompt with hard paraphrases and an outer, robust selection that prefers candidates whose neighborhoods remain strong. We further propose ATARE, which learns anisotropic weights to shape the semantic neighborhood and adapts its radius over time to balance exploration and fidelity. Diverse tasks evaluate our methods, whose design for minimizing textual sharpness gap leads to prompts that preserve accuracy under paraphrasing, outperforming accuracy-only prompt search while remaining computationally practical.
• Abstract（参考訳）: LLM(Large Language Models)のパフォーマンスは、慎重に設計されたプロンプトに依存している。 しかし、ヒューリスティックな編集や強化学習から進化的探索まで、主にポイントワイドの精度を目標とした迅速な最適化手法が主流である。 パラフレーズの不変性や探索安定性はめったに行わないため、実際にはこの脆さを補うことはできない。 小さく、意味的に保存されたパラフレーズは、しばしば大きなパフォーマンス・スウィングを引き起こす。 我々は、この脆さを、急進的な風景のテキストのシャープネスとみなす。 本研究では,プロンプトの離散的セマンティック空間におけるテキストのシャープネスに関する最初の公式な扱いと,セマンティック・エリアにおける操作的堅牢性基準を提供する。 そこで,本論文では,厳密なパラフレーズでプロンプトを強調する内的,サンプリングに基づく逆方向探索と,周辺が強い候補を優先する外的,頑健な選択を交互に行う,微分自由フレームワークTAREを紹介する。 さらに,意味的近傍を形成するために異方性重みを学習し,探索と忠実性のバランスをとるために時間とともに半径に適応するATAREを提案する。 テキストのシャープさギャップを最小化するための多元的タスクは, 計算処理を継続しながら, パラフレーズ処理下で精度を保ち, 精度のみのプロンプト探索に優れる。

関連論文リスト

• Eliciting Textual Descriptions from Representations of Continuous Prompts [11.489611613744724]
  本稿では,モデル推論における表現からテキスト記述を抽出する連続的プロンプトの解釈手法を提案する。 本稿では,タスク性能が向上するにつれて,タスク記述の正確さが向上することを示す。 InSPEcTは、望ましくないプロパティを継続的なプロンプトでデバッグし、開発者がそれを緩和する方法を通知するために利用することができる。
  論文  参考訳（メタデータ） (2024-10-15T14:46:11Z)
• Hard Prompts Made Interpretable: Sparse Entropy Regularization for Prompt Tuning with RL [29.01858866450715]
  ソフトQ-ラーニングを利用した最適なプロンプトを見つけることを目的としたRLPromptを提案する。 結果は有望な結果を示す一方で,プロンプトが不自然に現れることがしばしばあり,その解釈可能性を妨げることが確認されている。 この制限をスパルス・ツァリスエントロピー正規化(英語版)を用いて解決する。
  論文  参考訳（メタデータ） (2024-07-20T03:10:19Z)
• Spurious Feature Eraser: Stabilizing Test-Time Adaptation for Vision-Language Foundation Model [86.9619638550683]
  視覚言語基礎モデルは、画像とテキストのペアデータに拡張性があるため、多数の下流タスクで顕著な成功を収めている。 しかし、これらのモデルは、決定ショートカットの結果、きめ細かな画像分類などの下流タスクに適用した場合に重大な制限を呈する」。
  論文  参考訳（メタデータ） (2024-03-01T09:01:53Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• PROMPT WAYWARDNESS: The Curious Case of Discretized Interpretation of Continuous Prompts [99.03864962014431]
  目標タスクの微調整連続プロンプトは、フルモデルの微調整に代わるコンパクトな代替品として登場した。 実際には、連続的なプロンプトによって解決されたタスクと、最も近い隣人との間の「方向」の挙動を観察する。
  論文  参考訳（メタデータ） (2021-12-15T18:55:05Z)
• LadRa-Net: Locally-Aware Dynamic Re-read Attention Net for Sentence Semantic Matching [66.65398852962177]
  文意味マッチングのための新しい動的再読ネットワーク(DRr-Net)を開発した。 DRr-Netをローカルに認識する動的再読み取り注意ネット(LadRa-Net)に拡張する 2つの一般的な文意味マッチングタスクの実験により、DRr-Netは文意味マッチングの性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-08-06T02:07:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。