論文の概要: Projection-Free Evolution Strategies for Continuous Prompt Search

• arxiv url: http://arxiv.org/abs/2603.13786v1
• Date: Sat, 14 Mar 2026 06:27:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.405157
• Title: Projection-Free Evolution Strategies for Continuous Prompt Search
• Title（参考訳）: 連続プロンプト探索のための射影自由進化戦略
• Authors: Yu Cai, Canxi Huang, Xiaoyu He,
• Abstract要約: 連続プロンプト探索は、自然言語処理タスクにおける従来のパラメータチューニングに代わる計算効率の良い代替手段を提供する。 既存の手法は、ランダムに投影された低次元部分空間への探索を制限することで、これらの課題を軽減するのが一般的である。 本稿では,進化戦略に基づくプロジェクションフリーなプロンプト探索手法を提案する。
• 参考スコア（独自算出の注目度）: 5.225972447569105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continuous prompt search offers a computationally efficient alternative to conventional parameter tuning in natural language processing tasks. Nevertheless, its practical effectiveness can be significantly hindered by the black-box nature and the inherent high-dimensionality of the objective landscapes. Existing methods typically mitigate these challenges by restricting the search to a randomly projected low-dimensional subspace. However, the effectiveness and underlying motivation of the projection mechanism remain ambiguous. In this paper, we first empirically demonstrate that despite the prompt space possessing a low-dimensional structure, random projections fail to adequately capture this essential structure. Motivated by this finding, we propose a projection-free prompt search method based on evolutionary strategies. By directly optimizing in the full prompt space with an adaptation mechanism calibrated to the intrinsic dimension, our method achieves competitive search capabilities without additional computational overhead. Furthermore, to bridge the generalization gap in few-shot scenarios, we introduce a confidence-based regularization mechanism that systematically enhances the model's confidence in the target verbalizers. Experimental results on seven natural language understanding tasks from the GLUE benchmark demonstrate that our proposed approach significantly outperforms existing baselines.
• Abstract（参考訳）: 連続プロンプト探索は、自然言語処理タスクにおける従来のパラメータチューニングに代わる計算効率の良い代替手段を提供する。 それでも、その実用的効果は、ブラックボックスの性質と目的景観の固有の高次元性によって著しく妨げられる。 既存の手法は、ランダムに投影された低次元部分空間への探索を制限することで、これらの課題を軽減するのが一般的である。 しかし、投射機構の有効性と動機はあいまいである。 本稿では、まず、低次元構造を持つプロンプト空間にもかかわらず、ランダムなプロジェクションは、この本質的な構造を適切に捉えることができないことを実証的に実証する。 そこで本研究では,進化戦略に基づくプロジェクションフリーなプロジェクション探索手法を提案する。 本手法は,本質的な次元に調整された適応機構で全プロンプト空間を直接最適化することにより,計算オーバーヘッドを増大させることなく,競合探索能力を実現する。 さらに,数ショットシナリオにおける一般化ギャップを埋めるために,モデルが対象の動詞に対する信頼度を体系的に向上する信頼に基づく正規化機構を導入する。 GLUEベンチマークによる7つの自然言語理解タスクの実験結果から,提案手法が既存のベースラインを大幅に上回ることを示す。

関連論文リスト

• StAR: Segment Anything Reasoner [11.958150552719296]
  Segment Anything Reasoner (StAR)は、複数の視点からデザイン空間を洗練する包括的なフレームワークである。 StARは、広範囲なベンチマークでベースモデルよりも大幅に向上している。
  論文  参考訳（メタデータ） (2026-03-15T13:43:34Z)
• Agentic Spatio-Temporal Grounding via Collaborative Reasoning [80.83158605034465]
  時間的ビデオグラウンド(Temporal Video Grounding)は、テキストクエリが与えられたビデオ内の対象物または人の時間的チューブを検索することを目的としている。 本稿では,STVGの課題に対して,オープンワールドおよびトレーニングフリーシナリオに向けたエージェント時空間グラウンド(ASTG)フレームワークを提案する。 具体的には、現代多言語モデル(MLLM)を活用した2つの特殊エージェントSRA(Spatial Reasoning Agent)とTRA(Temporal Reasoning Agent)である。 人気のあるベンチマークの実験は、既存の弱教師付きおよびゼロショットアプローチをマージンで上回る提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2026-02-10T10:16:27Z)
• Effective Reasoning Chains Reduce Intrinsic Dimensionality [53.24264007741698]
  内在次元は、与えられた精度閾値に達するために必要なモデル次元の最小数の尺度である。 実効的推論戦略はタスクの本質的な次元性を一貫して減少させることを示す。 より少ないパラメータでタスクを圧縮することで,効果的な推論連鎖が学習を促進することが示唆された。
  論文  参考訳（メタデータ） (2026-02-09T23:32:12Z)
• Beyond Magic Words: Sharpness-Aware Prompt Evolving for Robust Large Language Models with TARE [57.67972800581953]
  そこで,本論文では,プロンプトをハードパラフレーズで強調する内的,サンプリングに基づく逆探索を交互に行う,デリバティブフリーなフレームワークTAREを紹介する。 また,意味的近傍を形成するために異方性重みを学習し,時間とともに半径を調整し,探索と忠実性のバランスをとるATAREを提案する。
  論文  参考訳（メタデータ） (2025-09-28T23:57:05Z)
• Evolving Prompts In-Context: An Open-ended, Self-replicating Perspective [65.12150411762273]
  ランダムなデモを不整合な "gibberish" にプルーニングすることで,多様なタスクにおけるパフォーマンスが著しく向上することを示す。 本稿では,低データレジームのみを用いてプルーニング戦略を自動的に検索する自己発見プロンプト最適化フレームワークPromptQuineを提案する。
  論文  参考訳（メタデータ） (2025-06-22T07:53:07Z)
• Offline Model-Based Optimization: Comprehensive Review [61.91350077539443]
  オフライン最適化は、オフラインデータセットのみを使用してブラックボックス機能の最適化を目標とする、科学とエンジニアリングの基本的な課題である。 モデルベース最適化の最近の進歩は、オフライン固有の代理モデルと生成モデルを開発するために、ディープニューラルネットワークの一般化能力を活用している。 科学的な発見を加速させる効果が増大しているにもかかわらず、この分野は包括的なレビューを欠いている。
  論文  参考訳（メタデータ） (2025-03-21T16:35:02Z)
• Decentralized Inference for Spatial Data Using Low-Rank Models [4.168323530566095]
  本稿では,空間的低ランクモデルにおけるパラメータ推論に適した分散化フレームワークを提案する。 重要な障害は、観測中の空間的依存から生じ、ログのような状態が要約として表現されるのを防ぐ。 提案手法では,効率的なパラメータ最適化のために,マルチセンサと動的コンセンサス平均化を統合したブロック降下法を用いる。
  論文  参考訳（メタデータ） (2025-02-01T04:17:01Z)
• Architectural Fusion Through Contextual Partitioning in Large Language Models: A Novel Approach to Parameterized Knowledge Integration [0.0]
  本稿では,パラメータの動的セグメンテーションをコンテキスト対応領域に分割することで,大規模計算モデルのアーキテクチャ設計を強化するための革新的なアプローチを提案する。 実験による評価は、様々な言語課題における精度、難易度、文脈的コヒーレンスを大幅に改善したことを示す。 これらの知見は、多様かつ複雑な領域における計算言語アーキテクチャのスケーラビリティと適応性を再定義するコンテキスト分割の可能性を示すものである。
  論文  参考訳（メタデータ） (2025-01-22T14:21:04Z)
• Spurious Feature Eraser: Stabilizing Test-Time Adaptation for Vision-Language Foundation Model [86.9619638550683]
  視覚言語基礎モデルは、画像とテキストのペアデータに拡張性があるため、多数の下流タスクで顕著な成功を収めている。 しかし、これらのモデルは、決定ショートカットの結果、きめ細かな画像分類などの下流タスクに適用した場合に重大な制限を呈する」。
  論文  参考訳（メタデータ） (2024-03-01T09:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。