論文の概要: A Survey on Prompt Tuning

• arxiv url: http://arxiv.org/abs/2507.06085v2
• Date: Wed, 09 Jul 2025 09:59:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 13:22:10.094599
• Title: A Survey on Prompt Tuning
• Title（参考訳）: プロンプトチューニングに関する調査
• Authors: Zongqian Li, Yixuan Su, Nigel Collier,
• Abstract要約: 既存のアプローチを,ダイレクト・プロンプト学習とトランスファー学習の2つのカテゴリに分類する。 それぞれの手法について、手法設計、革新、洞察、利点、欠点を分析します。 トレーニングの堅牢性向上と適用範囲の拡大における今後の方向性について論じる。
• 参考スコア（独自算出の注目度）: 32.4489985319054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This survey reviews prompt tuning, a parameter-efficient approach for adapting language models by prepending trainable continuous vectors while keeping the model frozen. We classify existing approaches into two categories: direct prompt learning and transfer learning. Direct prompt learning methods include: general optimization approaches, encoder-based methods, decomposition strategies, and mixture-of-experts frameworks. Transfer learning methods consist of: general transfer approaches, encoder-based methods, and decomposition strategies. For each method, we analyze method designs, innovations, insights, advantages, and disadvantages, with illustrative visualizations comparing different frameworks. We identify challenges in computational efficiency and training stability, and discuss future directions in improving training robustness and broadening application scope.
• Abstract（参考訳）: 本調査では,学習可能な連続ベクトルを予測し,モデルを凍結したまま保ちながら,言語モデルを適応するためのパラメータ効率の高い手法であるプロンプトチューニングについてレビューする。 既存のアプローチを,ダイレクト・プロンプト学習とトランスファー学習の2つのカテゴリに分類する。 ダイレクトプロンプト学習手法には、一般的な最適化アプローチ、エンコーダベースの手法、分解戦略、およびMix-of-expertsフレームワークが含まれる。 転送学習方法は、一般的な転送アプローチ、エンコーダベースの方法、分解戦略からなる。 それぞれの手法に対して、異なるフレームワークを比較した図形的な視覚化を用いて、メソッド設計、革新、洞察、アドバンテージ、デメリットを分析します。 計算効率とトレーニング安定性の課題を特定し,トレーニングの堅牢性向上と適用範囲の拡大に向けた今後の方向性について論じる。

関連論文リスト

• Towards Differentiable Multilevel Optimization: A Gradient-Based Approach [1.6114012813668932]
  本稿では,多レベル最適化のための新しい勾配に基づくアプローチを提案する。 本手法は解の精度と収束速度を両立させながら計算複雑性を著しく低減する。 私たちの知る限りでは、これは暗黙の微分の一般的なバージョンを提供する最初のアルゴリズムの1つである。
  論文  参考訳（メタデータ） (2024-10-15T06:17:59Z)
• Self-Improvement for Neural Combinatorial Optimization: Sample without Replacement, but Improvement [1.1510009152620668]
  建設的ニューラル最適化の現在の手法は、通常、専門家ソリューションからの行動クローニングや強化学習からのポリシー勾配手法を用いてポリシーを訓練する。 各エポックにおける現在のモデルを用いて、ランダムなインスタンスに対して複数の解をサンプリングし、その後、教師付き模倣学習のための専門家の軌跡として最適な解を選択することにより、この2つを橋渡しする。 我々は,旅行セールスマン問題とキャパシタントカールーティング問題に対する我々のアプローチを評価し,本手法で訓練したモデルは,専門家データで訓練したモデルと同等の性能と一般化を実現する。
  論文  参考訳（メタデータ） (2024-03-22T13:09:10Z)
• Reinforcement Learning Methods for Wordle: A POMDP/Adaptive Control Approach [0.3093890460224435]
  我々は、新しい強化学習手法を用いて、人気のあるWordleパズルの解法に対処する。 Wordleパズルでは、比較的控えめな計算コストで最適に近いオンラインソリューション戦略が得られる。
  論文  参考訳（メタデータ） (2022-11-15T03:46:41Z)
• Demystifying Unsupervised Semantic Correspondence Estimation [13.060538447838303]
  教師なし学習のレンズによる意味対応推定について検討する。 我々は、最近提案された複数の課題データセットにまたがる教師なしの手法を徹底的に評価した。 本稿では,事前学習した特徴の強さを活かし,トレーニング中のより優れた試合を奨励する,新しい教師なし対応手法を提案する。
  論文  参考訳（メタデータ） (2022-07-11T17:59:51Z)
• Model-Based Deep Learning: On the Intersection of Deep Learning and Optimization [101.32332941117271]
  決定アルゴリズムは様々なアプリケーションで使われている。 数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。 モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
  論文  参考訳（メタデータ） (2022-05-05T13:40:08Z)
• Towards a Unified View of Parameter-Efficient Transfer Learning [108.94786930869473]
  下流タスクにおける大規模事前学習言語モデルの微調整は、NLPにおけるデファクト学習パラダイムとなっている。 近年の研究では,少数の(外部)パラメータのみを微調整するだけで高い性能が得られるパラメータ効率の伝達学習法が提案されている。 我々は、最先端のパラメータ効率変換学習手法の設計を分解し、それらの相互接続を確立する統一的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:26Z)
• A Survey on Deep Semi-supervised Learning [51.26862262550445]
  まず,既存の手法を分類した深層半指導学習の分類法を提案する。 次に、損失の種類、貢献度、アーキテクチャの違いの観点から、これらのメソッドを詳細に比較します。
  論文  参考訳（メタデータ） (2021-02-28T16:22:58Z)
• Application-Driven Learning: A Closed-Loop Prediction and Optimization Approach Applied to Dynamic Reserves and Demand Forecasting [41.94295877935867]
  我々は、予測と意思決定のプロセスが統合され、協調最適化される新しいクローズドループフレームワークであるアプリケーション駆動学習を提案する。 提案手法は拡張性があり,標準のオープンループ手法よりも一貫して性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-02-26T02:43:28Z)
• There and Back Again: Revisiting Backpropagation Saliency Methods [87.40330595283969]
  正当性法は,各入力サンプルの重要度マップを作成することによって,モデルの予測を説明する。 このような手法の一般的なクラスは、信号のバックプロパゲートと結果の勾配の分析に基づいている。 本稿では,そのような手法を統一可能な単一のフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-06T17:58:08Z)
• Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
  適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。 我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。 適応勾配法の一般化に関する経験的および理論的考察を示す。
  論文  参考訳（メタデータ） (2020-02-26T21:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。