論文の概要: Is Prompt Selection Necessary for Task-Free Online Continual Learning?

• arxiv url: http://arxiv.org/abs/2604.04420v1
• Date: Mon, 06 Apr 2026 04:57:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:19.095017
• Title: Is Prompt Selection Necessary for Task-Free Online Continual Learning?
• Title（参考訳）: タスクフリーオンライン連続学習におけるプロンプト選択の必要性
• Authors: Seoyoung Park, Haemin Lee, Hankook Lee,
• Abstract要約: タスクのないオンライン連続学習は、動的で現実的な環境での継続的な学習に対処するための現実的なパラダイムとして登場した。 提案するSinglePromptは,プロンプト選択の必要性を解消する。 我々のフレームワークは、様々なオンライン連続学習ベンチマークにおいて最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 7.360417340079106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Task-free online continual learning has recently emerged as a realistic paradigm for addressing continual learning in dynamic, real-world environments, where data arrive in a non-stationary stream without clear task boundaries and can only be observed once. To consider such challenging scenarios, many recent approaches have employed prompt selection, an adaptive strategy that selects prompts from a pool based on input signals. However, we observe that such selection strategies often fail to select appropriate prompts, yielding suboptimal results despite additional training of key parameters. Motivated by this observation, we propose a simple yet effective SinglePrompt that eliminates the need for prompt selection and focuses on classifier optimization. Specifically, we simply (i) inject a single prompt into each self-attention block, (ii) employ a cosine similarity-based logit design to alleviate the forgetting effect inherent in the classifier weights, and (iii) mask logits for unexposed classes in the current minibatch. With this simple task-free design, our framework achieves state-of-the-art performance across various online continual learning benchmarks. Source code is available at https://github.com/efficient-learning-lab/SinglePrompt.
• Abstract（参考訳）: タスクのないオンライン連続学習は、動的で現実的な環境での継続的な学習に対処するための現実的なパラダイムとして最近登場した。 このような困難なシナリオを考えるために、近年の多くのアプローチでは、入力信号に基づいてプールからプロンプトを選択する適応戦略であるプロンプトセレクションを採用している。 しかし、これらの選択戦略が適切なプロンプトの選択に失敗することが多く、鍵パラメータのさらなる訓練にもかかわらず、最適でない結果が得られる。 そこで本研究では,素早い選択の必要性を排除し,分類器の最適化に焦点をあてる,シンプルで効果的なシングルプロンプトを提案する。 具体的には (i)各自己注意ブロックに1つのプロンプトを注入する。 二 分類器重量に固有の忘れ効果を緩和するために、コサイン類似性に基づくロジットデザインを用いる。 (iii)現在のミニバッチの未公開クラスのマスクロジット。 このシンプルなタスクフリー設計により、オンライン連続学習ベンチマークにおける最先端のパフォーマンスを実現する。 ソースコードはhttps://github.com/efficient-learning-lab/SinglePrompt.comで入手できる。

関連論文リスト

• Evolving Prompts In-Context: An Open-ended, Self-replicating Perspective [65.12150411762273]
  ランダムなデモを不整合な "gibberish" にプルーニングすることで,多様なタスクにおけるパフォーマンスが著しく向上することを示す。 本稿では,低データレジームのみを用いてプルーニング戦略を自動的に検索する自己発見プロンプト最適化フレームワークPromptQuineを提案する。
  論文  参考訳（メタデータ） (2025-06-22T07:53:07Z)
• Vector Quantization Prompting for Continual Learning [23.26682439914273]
  連続学習は、1つのモデルを一連のタスクでトレーニングする際に破滅的な忘れを克服する必要がある。 最近のトップパフォーマンスアプローチは、学習可能なパラメータのセットを使ってタスク知識をエンコードするプロンプトベースの手法である。 本稿では,ベクトル量子化を離散的なプロンプトのエンドツーエンドトレーニングに組み込む,プロンプトに基づく連続学習手法であるVQ-Promptを提案する。
  論文  参考訳（メタデータ） (2024-10-27T13:43:53Z)
• FastGAS: Fast Graph-based Annotation Selection for In-Context Learning [53.17606395275021]
  インコンテキスト学習(ICL)は、大規模言語モデル(LLM)に対して、一連のトレーニングインスタンスをプロンプトとして使用することにより、新しいタスクに対処する権限を与える。 既存の手法では、アノテーションのラベルなし例のサブセットを選択する方法が提案されている。 本稿では,高品質なインスタンスを効率的に識別するグラフベースの選択手法であるFastGASを提案する。
  論文  参考訳（メタデータ） (2024-06-06T04:05:54Z)
• OVOR: OnePrompt with Virtual Outlier Regularization for Rehearsal-Free Class-Incremental Learning [9.164352588061075]
  分類器の判定境界を狭めるために,仮想外れ値に基づく正規化手法を提案する。 単純化されたプロンプトベースの手法は、プロンプトプールを備えた従来の最先端(SOTA)手法に匹敵する結果が得られる。
  論文  参考訳（メタデータ） (2024-02-06T16:31:11Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Streaming LifeLong Learning With Any-Time Inference [36.3326483579511]
  本稿では,1回の入力サンプルが各タイムステップ,シングルパス,クラスインクリメンタル,任意のタイミングで評価対象に到達する,新たな生涯学習手法を提案する。 また,スナップショット自己蒸留方式の暗黙正則化器を提案する。 我々の経験的評価と改善は,提案手法が先行研究を大きなマージンで上回ることを示すものである。
  論文  参考訳（メタデータ） (2023-01-27T18:09:19Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。