論文の概要: One Size Fits All for Semantic Shifts: Adaptive Prompt Tuning for Continual Learning

• arxiv url: http://arxiv.org/abs/2311.12048v1
• Date: Sat, 18 Nov 2023 08:55:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 03:50:24.305900
• Title: One Size Fits All for Semantic Shifts: Adaptive Prompt Tuning for Continual Learning
• Title（参考訳）: セマンティックシフトのための1つのサイズ:継続的学習のための適応型プロンプトチューニング
• Authors: Doyoung Kim, Susik Yoon, Dongmin Park, Youngjun Lee, Hwanjun Song, Jihwan Bang, Jae-Gil Lee
• Abstract要約: 現実世界の連続学習シナリオでは、タスクは複雑で予測不可能なセマンティックシフトを示すことが多い。 これらの動的シフトに対処する際の普遍的および特異的なプロンプトの不適切さを同定する。 タスクのセマンティクスに基づいて最小限かつ十分なプロンティクスを調整できる適応的プロンティクス手法を提案する。
• 参考スコア（独自算出の注目度）: 43.471384506483574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In real-world continual learning scenarios, tasks often exhibit intricate and unpredictable semantic shifts, posing challenges for fixed prompt management strategies. We identify the inadequacy of universal and specific prompting in handling these dynamic shifts. Universal prompting is ineffective for tasks with abrupt semantic changes, while specific prompting struggles with overfitting under mild semantic shifts. To overcome these limitations, we propose an adaptive prompting approach that tailors minimal yet sufficient prompts based on the task semantics. Our methodology, SemPrompt, incorporates a two-level semantic grouping process: macroscopic semantic assignment and microscopic semantic refinement. This process ensures optimal prompt utilization for varying task semantics, improving the efficiency and effectiveness of learning in real-world CL settings. Our experimental results demonstrate that SemPrompt consistently outperforms existing methods in adapting to diverse semantic shifts in tasks.
• Abstract（参考訳）: 現実世界の継続的学習シナリオでは、タスクは複雑で予測不能な意味的シフトを示し、固定されたプロンプト管理戦略に挑戦する。 これらの動的シフトに対処する際の普遍的および特異的なプロンプトの不適切さを同定する。 ユニバーサルプロンプトは突然の意味的変化を持つタスクには効果がないが、特定のプロンプトは穏やかな意味的変化下での過剰フィッティングに苦しむ。 これらの制約を克服するために,タスク意味論に基づいた最小かつ十分なプロンプトを調整可能な適応型プロンプト手法を提案する。 提案手法であるSemPromptは,2段階のセマンティックグルーピングプロセスであるマクロ的セマンティック代入と微視的セマンティックグルーピングを取り入れている。 このプロセスは、タスクセマンティクスの最適な迅速な利用を保証し、現実世界のCL設定における学習の効率性と効果を向上させる。 実験の結果,SemPromptはタスクの多種多様なセマンティックシフトに適応する既存手法より一貫して優れていた。

関連論文リスト

• Task-Aware Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [70.96345405979179]
  オフラインマルチタスク強化学習(MTRL)の目的は、オンライン環境相互作用を必要とせず、多様なタスクに適用可能な統一されたポリシーを開発することである。 タスクの内容と複雑さの変化は、政策の定式化において重大な課題を引き起こします。 本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。
  論文  参考訳（メタデータ） (2024-11-02T05:49:14Z)
• Tackling Ambiguity from Perspective of Uncertainty Inference and Affinity Diversification for Weakly Supervised Semantic Segmentation [12.308473939796945]
  画像レベルのラベルを持つ弱教師付きセマンティックセマンティックセグメンテーション(WSSS)は、退屈なアノテーションを使わずに高密度なタスクを実現することを目的としている。 WSSSの性能、特にクラス活性化マップ(CAM)の生成と擬似マスクの精製の段階では、あいまいさに悩まされている。 統一された単一ステージWSSSフレームワークであるUniAを提案し、不確実性推論と親和性多様化の観点からこの問題に対処する。
  論文  参考訳（メタデータ） (2024-04-12T01:54:59Z)
• RESTORE: Towards Feature Shift for Vision-Language Prompt Learning [33.13407089704543]
  ここでは,CLIPの1つの分岐のみに沿った即時チューニングが,誤調整の発生の原因であることを示す。 学習可能なパラメータをさまざまなモダリティで適切に正規化することなく、迅速な学習は元の事前学習制約に違反する。 クロスモーダルな一貫性に明示的な制約を課すマルチモーダルなプロンプト学習手法であるRESTOREを提案する。
  論文  参考訳（メタデータ） (2024-03-10T08:52:48Z)
• One-shot Imitation in a Non-Stationary Environment via Multi-Modal Skill [6.294766893350108]
  本稿では,ワンショット模倣とゼロショット適応が可能なスキルベース模倣学習フレームワークを提案する。 視覚言語モデルを利用して、オフラインのビデオデータセットから設定したセマンティックスキルを学習する。 拡張された多段階のメタワールドタスクに対して,様々なワンショットの模倣シナリオでフレームワークを評価した。
  論文  参考訳（メタデータ） (2024-02-13T11:01:52Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Prompt-Matched Semantic Segmentation [96.99924127527002]
  本研究の目的は、事前学習した基礎モデルを、画像意味セグメンテーションの下流の様々なタスクに効果的に適応する方法を検討することである。 本稿では,タスク指向のチューニングに適応的に視覚的プロンプトを生成するとともに,基礎モデルの本来の構造を維持できる新しい階層間プロンプトマッチングフレームワークを提案する。 次に、Semantic-aware Prompt Matcherと呼ばれる軽量モジュールを導入し、2つのステージ間で階層的に補間し、各タスクに対して適切なプロンプトを学習する。
  論文  参考訳（メタデータ） (2022-08-22T09:12:53Z)
• Fine-grained Temporal Contrastive Learning for Weakly-supervised Temporal Action Localization [87.47977407022492]
  本稿では,シーケンス・ツー・シーケンスの区別を文脈的に比較することで学習が,弱い教師付き行動の局所化に不可欠な帰納的バイアスをもたらすことを論じる。 微分可能な動的プログラミングの定式化の下では、FSD(Fen-fine Sequence Distance)とLCS(Longest Common Subsequence)の2つの相補的コントラストが設計されている。 提案手法は,2つのベンチマークにおいて最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-31T05:13:50Z)
• OCEAN: Online Task Inference for Compositional Tasks with Context Adaptation [150.1979017130774]
  構成タスクに対するオンラインタスク推論を行うための変分推論フレームワークを提案する。 本フレームワークは,タスク構造に関する事前の知識に基づいて,柔軟な潜伏分布をサポートし,教師なしで訓練することができる。
  論文  参考訳（メタデータ） (2020-08-17T04:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。