論文の概要: One Size Fits All for Semantic Shifts: Adaptive Prompt Tuning for
Continual Learning
- arxiv url: http://arxiv.org/abs/2311.12048v1
- Date: Sat, 18 Nov 2023 08:55:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 03:50:24.305900
- Title: One Size Fits All for Semantic Shifts: Adaptive Prompt Tuning for
Continual Learning
- Title(参考訳): セマンティックシフトのための1つのサイズ:継続的学習のための適応型プロンプトチューニング
- Authors: Doyoung Kim, Susik Yoon, Dongmin Park, Youngjun Lee, Hwanjun Song,
Jihwan Bang, Jae-Gil Lee
- Abstract要約: 現実世界の連続学習シナリオでは、タスクは複雑で予測不可能なセマンティックシフトを示すことが多い。
これらの動的シフトに対処する際の普遍的および特異的なプロンプトの不適切さを同定する。
タスクのセマンティクスに基づいて最小限かつ十分なプロンティクスを調整できる適応的プロンティクス手法を提案する。
- 参考スコア(独自算出の注目度): 43.471384506483574
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In real-world continual learning scenarios, tasks often exhibit intricate and
unpredictable semantic shifts, posing challenges for fixed prompt management
strategies. We identify the inadequacy of universal and specific prompting in
handling these dynamic shifts. Universal prompting is ineffective for tasks
with abrupt semantic changes, while specific prompting struggles with
overfitting under mild semantic shifts. To overcome these limitations, we
propose an adaptive prompting approach that tailors minimal yet sufficient
prompts based on the task semantics. Our methodology, SemPrompt, incorporates a
two-level semantic grouping process: macroscopic semantic assignment and
microscopic semantic refinement. This process ensures optimal prompt
utilization for varying task semantics, improving the efficiency and
effectiveness of learning in real-world CL settings. Our experimental results
demonstrate that SemPrompt consistently outperforms existing methods in
adapting to diverse semantic shifts in tasks.
- Abstract(参考訳): 現実世界の継続的学習シナリオでは、タスクは複雑で予測不能な意味的シフトを示し、固定されたプロンプト管理戦略に挑戦する。
これらの動的シフトに対処する際の普遍的および特異的なプロンプトの不適切さを同定する。
ユニバーサルプロンプトは突然の意味的変化を持つタスクには効果がないが、特定のプロンプトは穏やかな意味的変化下での過剰フィッティングに苦しむ。
これらの制約を克服するために,タスク意味論に基づいた最小かつ十分なプロンプトを調整可能な適応型プロンプト手法を提案する。
提案手法であるSemPromptは,2段階のセマンティックグルーピングプロセスであるマクロ的セマンティック代入と微視的セマンティックグルーピングを取り入れている。
このプロセスは、タスクセマンティクスの最適な迅速な利用を保証し、現実世界のCL設定における学習の効率性と効果を向上させる。
実験の結果,SemPromptはタスクの多種多様なセマンティックシフトに適応する既存手法より一貫して優れていた。
関連論文リスト
- RESTORE: Towards Feature Shift for Vision-Language Prompt Learning [33.13407089704543]
ここでは,CLIPの1つの分岐のみに沿った即時チューニングが,誤調整の発生の原因であることを示す。
学習可能なパラメータをさまざまなモダリティで適切に正規化することなく、迅速な学習は元の事前学習制約に違反する。
クロスモーダルな一貫性に明示的な制約を課すマルチモーダルなプロンプト学習手法であるRESTOREを提案する。
論文 参考訳(メタデータ) (2024-03-10T08:52:48Z) - One-shot Imitation in a Non-Stationary Environment via Multi-Modal Skill [6.294766893350108]
本稿では,ワンショット模倣とゼロショット適応が可能なスキルベース模倣学習フレームワークを提案する。
視覚言語モデルを利用して、オフラインのビデオデータセットから設定したセマンティックスキルを学習する。
拡張された多段階のメタワールドタスクに対して,様々なワンショットの模倣シナリオでフレームワークを評価した。
論文 参考訳(メタデータ) (2024-02-13T11:01:52Z) - Active Instruction Tuning: Improving Cross-Task Generalization by
Training on Prompt Sensitive Tasks [101.40633115037983]
インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。
ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。
本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
論文 参考訳(メタデータ) (2023-11-01T04:40:05Z) - Self-regulating Prompts: Foundational Model Adaptation without
Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。
PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文 参考訳(メタデータ) (2023-07-13T17:59:35Z) - Dynamic Prompting: A Unified Framework for Prompt Tuning [33.175097465669374]
本稿では、特定のタスクやインスタンスに基づいて、異なるプロンプトの要因を動的に決定する統合動的プロンプト(DP)チューニング戦略を提案する。
実験結果は、幅広いタスクにわたる動的プロンプトチューニングによって達成された顕著なパフォーマンス改善を裏付けるものである。
我々は、全データ、少数ショット、マルチタスクのシナリオの下で、我々のアプローチの普遍的な適用性を確立する。
論文 参考訳(メタデータ) (2023-03-06T06:04:46Z) - Improving Task Generalization via Unified Schema Prompt [87.31158568180514]
Unified Promptはフレキシブルでプロンプトの手法で、タスク入力スキーマに従って各タスクの学習可能なプロンプトを自動的にカスタマイズする。
異なるタスクスキーマの特徴を維持しながら、タスク間の共有知識をモデル化する。
このフレームワークは、8つのタスクタイプから下流に見えない16のタスクに対して、強力なゼロショットと少数ショットのパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-08-05T15:26:36Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-05-25T07:50:31Z) - Making Pre-trained Language Models End-to-end Few-shot Learners with
Contrastive Prompt Tuning [41.15017636192417]
CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。
完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。
IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-04-01T02:24:24Z) - PROMPT WAYWARDNESS: The Curious Case of Discretized Interpretation of
Continuous Prompts [99.03864962014431]
目標タスクの微調整連続プロンプトは、フルモデルの微調整に代わるコンパクトな代替品として登場した。
実際には、連続的なプロンプトによって解決されたタスクと、最も近い隣人との間の「方向」の挙動を観察する。
論文 参考訳(メタデータ) (2021-12-15T18:55:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。