論文の概要: Learning Probabilistic Prompt for Continual Learning

• arxiv url: http://arxiv.org/abs/2607.04711v1
• Date: Mon, 06 Jul 2026 06:29:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.061065
• Title: Learning Probabilistic Prompt for Continual Learning
• Title（参考訳）: 連続学習のための確率的確率的プロンプトの学習
• Abstract要約: 連続学習は、一連のタスクから段階的に学習することを目的としており、それぞれがクラスの不連続なサブセットを含んでいる。 そこで本稿では,タスクの列にまたがる多様な画像パターンをキャプチャする,新しいプロンプトベースの連続学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 38.270930410371705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning aims to progressively learn from a sequence of tasks, each containing a disjoint subset of classes, while preserving previously learned knowledge. Prompt-based continual learning methods propose to learn a small set of parameters, i.e., prompts, by associating them with a query feature of an input image. These methods optimize the prompts, attempting to represent diverse patterns of images. However, we have observed that existing prompt-based methods suffer from a prompt collapse problem, that is, the prompts tend to be highly similar to each other, thereby failing to capture the diverse data distributions in continual learning scenarios. To address this issue, we propose in this paper a novel prompt-based continual learning framework that captures diverse patterns of images across a sequence of tasks. To this end, we model each prompt as a probabilistic distribution and construct a mixture of these distributions, from which we sample diverse prompts. This enables our model to effectively capture highly diverse image distributions in the continual learning process. We also present a distribution regularization loss to prevent abrupt changes in the prompt distributions throughout the training process. We show extensive experimental results for continual learning on standard benchmarks, including ImageNet-R, CIFAR-100, and CUB-200, demonstrating the effectiveness of our framework.
• Abstract（参考訳）: 連続学習は、学習済みの知識を保ちながら、各クラスが不連続なサブセットを含む一連のタスクから徐々に学習することを目的としている。 プロンプトに基づく連続学習手法は、入力画像のクエリ機能に関連付けることで、プロンプトと呼ばれる小さなパラメータセットを学習することを提案する。 これらの手法は、画像の多様なパターンを表現しようとするプロンプトを最適化する。 しかし、既存のプロンプトベースの手法は、即時崩壊問題、すなわち、プロンプトが互いに非常によく似ている傾向にあり、連続的な学習シナリオにおける多様なデータ分布を捕捉できないことが観察されている。 この問題に対処するために,タスク列にまたがる多様な画像パターンをキャプチャする,新しいプロンプトベースの連続学習フレームワークを提案する。 この目的のために、各プロンプトを確率分布としてモデル化し、これらの分布の混合を構築し、そこから多様なプロンプトをサンプリングする。 これにより、連続的な学習プロセスにおいて、非常に多様な画像分布を効果的に捉えることができる。 また,学習過程を通じて急速分布の急激な変化を防止するために,分布正規化損失も提示する。 我々は,ImageNet-R, CIFAR-100, CUB-200などの標準ベンチマークで連続学習実験を行い,本フレームワークの有効性を実証した。

関連論文リスト

• RainbowPrompt: Diversity-Enhanced Prompt-Evolving for Continual Learning [3.495640663645262]
  本稿では,多様性を確保しつつ,ベースプロンプトを統一的なプロンプトに集約する新しいプロンプト進化機構を提案する。 これまでに学習され,新たに導入されたベースプロンプトの変換と調整によって,我々のアプローチは,蓄積した知識を継続的に進化させ,新しいタスクの学習を容易にする。 我々は,クラス増分学習における画像分類と映像行動認識タスクについて検証し,すべてのシナリオにおいて既存の手法よりも平均9.07%,7.40%向上した。
  論文  参考訳（メタデータ） (2025-07-30T10:25:28Z)
• Semantic Prompting with Image-Token for Continual Learning [7.5140668729696145]
  I-Promptはタスク予測を排除するためのタスクに依存しないアプローチである。 提案手法は,4つのベンチマーク上での競合性能を実現する。 様々なシナリオにまたがって,提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2024-03-18T07:43:14Z)
• Any-Shift Prompting for Generalization over Distributions [66.29237565901734]
  即時学習におけるトレーニングとテスト分布の関係を考察する一般的な確率的推論フレームワークである「任意のシフトプロンプト」を提案する。 このフレームワーク内では、テストプロンプトが分散関係を利用して、CLIPイメージ言語モデルのトレーニングからテストディストリビューションへの一般化を導く。 ネットワークは、トレーニング情報とテスト情報の両方をフィードフォワードパスに組み込んだ調整されたテストプロンプトを生成し、テスト時の追加のトレーニングコストを回避する。
  論文  参考訳（メタデータ） (2024-02-15T16:53:42Z)
• Reverse Stable Diffusion: What prompt was used to generate this image? [73.10116197883303]
  本研究では, 生成拡散モデルにより生成された画像に対して, 迅速な埋め込みを予測できる課題について検討する。 本稿では,複数ラベルの語彙分類を目的とする共同学習フレームワークを提案する。 我々はDiffusionDBデータセットの実験を行い、安定拡散によって生成された画像からテキストプロンプトを予測する。
  論文  参考訳（メタデータ） (2023-08-02T23:39:29Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• CoPL: Contextual Prompt Learning for Vision-Language Understanding [21.709017504227823]
  画像の局所的な特徴にプロンプトを調整できるコンテキスト型プロンプト学習(CoPL)フレームワークを提案する。 これまでの研究における重要なイノベーションは、素早い学習プロセスの一部としてローカルな画像機能を使うこと、そしてさらに重要なのは、そのタスクに適したローカルな機能に基づいてこれらのプロンプトを重み付けすることである。 本手法は, 工法の現状と比較して, 性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-07-03T10:14:33Z)
• Multi-Prompt with Depth Partitioned Cross-Modal Learning [25.239388488952375]
  Partitioned Multi-modal Prompt (PMPO) は、単一の学習可能なプロンプトから複数のプロンプトへのソフトプロンプトを拡張するマルチモーダルプロンプト技術である。 本手法は,視覚エンコーダ深度を分割し,学習可能なプロンプトを分離した視覚深度に接続することにより,階層的な文脈深度を捉えることができる。 我々は,新しいクラス一般化,クロスデータセット評価,ドメイン一般化の3つの課題に対して,アプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2023-05-10T14:54:29Z)
• Hierarchically Structured Task-Agnostic Continual Learning [0.0]
  本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。 我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。 既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
  論文  参考訳（メタデータ） (2022-11-14T19:53:15Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。