論文の概要: Optimizing Soft Prompt Tuning via Structural Evolution

• arxiv url: http://arxiv.org/abs/2602.16500v1
• Date: Wed, 18 Feb 2026 14:43:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-19 15:58:30.619458
• Title: Optimizing Soft Prompt Tuning via Structural Evolution
• Title（参考訳）: 構造進化によるソフトプロンプトチューニングの最適化
• Authors: Zhenzhen Huang, Chaoning Zhang, Haoyu Bian, Songbo Zhang, Chi-lok Andy Tai, Jiaquan Zhang, Caiyan Qin, Jingjing Qu, Yalan Ye, Yang Yang, Heng Tao Shen,
• Abstract要約: 本稿では,位相的形態的進化に基づくソフトプロンプト最適化手法を提案する。 具体的には、トポロジカルデータ解析から永続的ホモロジーを用いて、ソフトプロンプトの構造的表現を定量化する。 我々は、トポロジカル・ソフト・プロンプト・ロス(TSLoss)と呼ばれるソフト・プロンプト・チューニングを最適化するための損失関数を構築する。
• 参考スコア（独自算出の注目度）: 44.99047637666981
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Soft prompt tuning leverages continuous embeddings to capture task-specific information in large pre-trained language models (LLMs), achieving competitive performance in few-shot settings. However, soft prompts rely on high-dimensional, implicit representations and lack explicit semantics and traceable training behaviors, which limits their interpretability. To address this limitation, we propose a soft prompt tuning optimization method based on topological morphological evolution. Specifically, we employ persistent homology from topological data analysis (TDA) to quantify the structural representations of soft prompts in continuous parameter space and their training process evolution. Quantitative analysis shows that topologically stable and compact soft prompts achieve better downstream performance. Based on this empirical observation, we construct a loss function for optimizing soft prompt tuning, termed Topological Soft Prompt Loss (TSLoss). TSLoss guides the model to learn structurally stable adaptations by quantifying inter-parameter connectivity and redundancy. Extensive experiments show that training with TSLoss accelerates convergence and improves tuning performance, providing an interpretable method to understand and optimize soft prompt tuning from structural and topological perspectives.
• Abstract（参考訳）: ソフトプロンプトチューニングは、連続的な埋め込みを利用して、大きな事前訓練された言語モデル(LLM)でタスク固有の情報をキャプチャし、数ショット設定で競合的なパフォーマンスを達成する。 しかし、ソフトプロンプトは高次元で暗黙的な表現に依存しており、明示的な意味論とトレーサブルな訓練行動が欠如しており、解釈可能性に制限がある。 この制限に対処するために,位相的形態的進化に基づくソフトプロンプト最適化手法を提案する。 具体的には、連続パラメータ空間におけるソフトプロンプトの構造的表現とその学習過程の進化を定量化するために、トポロジカルデータ解析(TDA)からの永続的ホモロジーを用いる。 定量的解析により、トポロジカルに安定でコンパクトなソフトプロンプトが下流性能を向上させることが示された。 この経験的観測に基づいて,ソフトプロンプトチューニングを最適化する損失関数(TSLoss)を構築した。 TSLossは、パラメータ間の接続性と冗長性を定量化し、構造的に安定な適応を学習する。 TSLossによるトレーニングは収束を加速し、チューニング性能を向上させることを示し、構造的および位相的視点からソフトプロンプトチューニングを理解し最適化するための解釈可能な方法を提供する。

関連論文リスト

• Pruning for Generalization: A Transfer-Oriented Spatiotemporal Graph Framework [0.6435984242701042]
  グラフベースの時系列予測モデルを改善するため,TL-GPSGNTを提案する。 情報理論および相関に基づく基準を用いて,構造的情報的部分グラフを抽出する。 TL-GPSGNTは低データ転送シナリオにおけるベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-04T02:41:29Z)
• Renormalization Group Guided Tensor Network Structure Search [58.0378300612202]
  ネットワーク構造探索(TN-SS)は、高次元データ表現における効率的なテンソル分解のための最適なネットワークトポロジとランクロバスト性を自動的に発見することを目的としている。 RGTN(Renormalization Group Guided Network Search)は、TN-SSを変換する物理に着想を得たフレームワークである。
  論文  参考訳（メタデータ） (2025-12-31T06:31:43Z)
• Tuning for Trustworthiness -- Balancing Performance and Explanation Consistency in Neural Network Optimization [49.567092222782435]
  我々は,異なる特徴帰属法間の合意として定義された,XAI整合性という新しい概念を紹介する。 予測性能と説明のバランスをとる多目的最適化フレームワークを構築した。 本研究は、トレードオフゾーンバランス性能損失とXAI整合性による強靭性向上のモデルについて、今後の研究基盤を提供する。
  論文  参考訳（メタデータ） (2025-05-12T13:19:14Z)
• Graph-Based Spectral Decomposition for Parameter Coordination in Language Model Fine-Tuning [5.69600290598441]
  目標は、訓練中の微調整効率と構造意識の両方を改善することである。 重み付きグラフを構築し、周波数領域モデリングを可能にするためにラプラシアンスペクトル分解を適用した。 最適化フェーズ中にスペクトルフィルタリング機構を導入し、モデルのトレーニング安定性と収束挙動を向上させる。
  論文  参考訳（メタデータ） (2025-04-28T08:42:35Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Contextual Subspace Manifold Projection for Structural Refinement of Large Language Model Representations [0.0]
  ディープ・ニューラル・アーキテクチャの内部表現は言語構造の高次元抽象化を符号化する。 本稿では,制御された部分空間制約によりトークン埋め込みを選択的に再構成する構造的精細化手法を提案する。 実験により、構造的介入により異方性が減少し、表現のコンパクト性が改善された。
  論文  参考訳（メタデータ） (2025-02-12T00:00:37Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• PTP: Boosting Stability and Performance of Prompt Tuning with Perturbation-Based Regularizer [94.23904400441957]
  損失景観を平滑化できる摂動型正規化器を即時チューニングに導入する。 我々は乱数ノイズベースと逆数ベースを含む2種類の摂動型正規化器を設計する。 我々の新しいアルゴリズムは,SuperGLUEベンチマークとFewGLUEベンチマークでそれぞれ1.94%,2.34%の最先端のプロンプトチューニング手法を改善した。
  論文  参考訳（メタデータ） (2023-05-03T20:30:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。