論文の概要: Multiple Queries with Multiple Keys: A Precise Prompt Matching Paradigm for Prompt-based Continual Learning

• arxiv url: http://arxiv.org/abs/2501.12635v1
• Date: Wed, 22 Jan 2025 04:43:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 13:29:42.432696
• Title: Multiple Queries with Multiple Keys: A Precise Prompt Matching Paradigm for Prompt-based Continual Learning
• Title（参考訳）: 複数のキーを持つ複数クエリ: プロンプトに基づく連続学習のための高精度なプロンプトマッチングパラダイム
• Authors: Dunwei Tu, Huiyu Yi, Yuchi Wang, Baile Xu, Jian Zhao, Furao Shen,
• Abstract要約: 継続的学習は、動的環境における新しい知識を継続的に獲得するために機械学習モデルを必要とする。 本稿では,複数の鍵を持つ多重クエリー (MQMK) のプロンプトマッチングパラダイムを,高精度なプロンプト選択のために提案する。 実験の結果、MQMKは挑戦的なシナリオにおいて、迅速なマッチング率を30%以上向上させることがわかった。
• 参考スコア（独自算出の注目度）: 10.256769774115071
• License:
• Abstract: Continual learning requires machine learning models to continuously acquire new knowledge in dynamic environments while avoiding the forgetting of previous knowledge. Prompt-based continual learning methods effectively address the issue of catastrophic forgetting through prompt expansion and selection. However, existing approaches often suffer from low accuracy in prompt selection, which can result in the model receiving biased knowledge and making biased predictions. To address this issue, we propose the Multiple Queries with Multiple Keys (MQMK) prompt matching paradigm for precise prompt selection. The goal of MQMK is to select the prompts whose training data distribution most closely matches that of the test sample. Specifically, Multiple Queries enable precise breadth search by introducing task-specific knowledge, while Multiple Keys perform deep search by representing the feature distribution of training samples at a fine-grained level. Experiments show that MQMK enhances the prompt matching rate by over 30% in challenging scenarios and achieves state-of-the-art performance on three widely adopted continual learning benchmarks. Once this paper is accepted, we will release the code.
• Abstract（参考訳）: 継続的学習は、機械学習モデルに、従来の知識の忘れを回避しつつ、動的環境における新しい知識を継続的に取得する必要がある。 プロンプトに基づく連続学習手法は、迅速な拡張と選択を通じて破滅的な忘れの問題に効果的に対処する。 しかし、既存のアプローチは、しばしば、迅速な選択において低い精度に悩まされるため、モデルがバイアス付き知識を受信し、バイアス付き予測を行う可能性がある。 この問題に対処するために,複数鍵付き多重クエリー(MQMK)プロンプトマッチングパラダイムを提案する。 MQMKの目標は、トレーニングデータ分布がテストサンプルと最もよく一致するプロンプトを選択することだ。 具体的には、複数のクエリーはタスク固有の知識を導入し、複数のキーは訓練サンプルの特徴分布をきめ細かなレベルで表現して深度検索を行う。 実験により、MQMKは挑戦シナリオにおいて30%以上の迅速なマッチング率を高め、広く採用されている3つの連続学習ベンチマークで最先端のパフォーマンスを達成することが示された。 この論文が受け入れられたら、コードをリリースします。

関連論文リスト

• Vector Quantization Prompting for Continual Learning [23.26682439914273]
  連続学習は、1つのモデルを一連のタスクでトレーニングする際に破滅的な忘れを克服する必要がある。 最近のトップパフォーマンスアプローチは、学習可能なパラメータのセットを使ってタスク知識をエンコードするプロンプトベースの手法である。 本稿では,ベクトル量子化を離散的なプロンプトのエンドツーエンドトレーニングに組み込む,プロンプトに基づく連続学習手法であるVQ-Promptを提案する。
  論文  参考訳（メタデータ） (2024-10-27T13:43:53Z)
• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• SEMINAR: Search Enhanced Multi-modal Interest Network and Approximate Retrieval for Lifelong Sequential Recommendation [16.370075234443245]
  本稿では,SEMINAR-Search Enhanced Multi-Modal Interest Network と Approximate Retrieval という,一生涯にわたるマルチモーダルシーケンスモデルを提案する。 具体的には、Pretraining Search Unitと呼ばれるネットワークが、事前トレーニング-ファインタニング方式で、マルチモーダルクエリ-イテムペアの寿命のシーケンスを学習する。 マルチモーダル埋め込みのオンライン検索速度を高速化するために,マルチモーダルなコードブックベースの製品量子化戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-15T13:33:30Z)
• Venn Diagram Prompting : Accelerating Comprehension with Scaffolding Effect [0.0]
  本稿ではVenn Diagram (VD) Promptingを紹介した。これはLLM(Large Language Models)が文書間で情報を組み合わせて合成できる革新的なプロンプト技術である。 提案手法は,LLMの固有位置バイアスを除去し,入力情報のシーケンスに対する感度を除去し,回答の一貫性を高めることを目的としている。 4つの公開ベンチマークの問合せデータセットで実施された実験では、VDは連続的に一致したり、巧妙に製作された命令プロンプトのパフォーマンスを上回ります。
  論文  参考訳（メタデータ） (2024-06-08T06:27:26Z)
• Less is more: Summarizing Patch Tokens for efficient Multi-Label Class-Incremental Learning [38.36863497458095]
  我々は, pAtch tokeN Embeddings (MULTI-LANE) を要約したクラス増分学習手法を提案する。 提案手法は, pAtch tokeN Embeddings (MULTI-LANE) を要約したマルチラベルクラスインクリメンタルラーニングであり, 高速な推論を実現するとともに, MLCILにおける非絡合タスク固有表現の学習を可能にする。
  論文  参考訳（メタデータ） (2024-05-24T15:18:27Z)
• Prompt Customization for Continual Learning [57.017987355717935]
  本稿では,継続的学習のためのプロンプト的アプローチを再構築し,プロンプト的カスタマイズ(PC)手法を提案する。 PCは主にプロンプト生成モジュール(PGM)とプロンプト変調モジュール(PMM)で構成される。 提案手法は,クラス,ドメイン,タスクに依存しないインクリメンタル学習タスクを含む3つの異なる設定に対して,4つのベンチマークデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2024-04-28T03:28:27Z)
• PromptAD: Learning Prompts with only Normal Samples for Few-Shot Anomaly Detection [59.34973469354926]
  本稿では,PromptADと呼ばれる,数発の異常検出のための一級プロンプト学習手法を提案する。 画像レベル/ピクセルレベルの異常検出のために、PromptADはMVTecとVisAで11/12のショット設定で1位を達成した。
  論文  参考訳（メタデータ） (2024-04-08T06:53:30Z)
• Consistent Prompting for Rehearsal-Free Continual Learning [5.166083532861163]
  継続的な学習は、古い知識を忘れずに、モデルが絶えず変化する環境やデータストリームに自律的に適応することを可能にする。 既存のプロンプトベースの手法は、トレーニングとテストの間に不整合であり、その効果を制限している。 より整合性のあるトレーニングとテストのための新しいプロンプトベースの手法であるConsistent Prompting(CPrompt)を提案する。
  論文  参考訳（メタデータ） (2024-03-13T14:24:09Z)
• End-to-end Knowledge Retrieval with Multi-modal Queries [50.01264794081951]
  ReMuQは、テキストと画像のクエリからコンテンツを統合することで、大規模なコーパスから知識を取得するシステムを必要とする。 本稿では,入力テキストや画像を直接処理し,関連する知識をエンドツーエンドで検索する検索モデルReViz'を提案する。 ゼロショット設定下での2つのデータセットの検索において,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-01T08:04:12Z)
• Multi-Modal Few-Shot Object Detection with Meta-Learning-Based Cross-Modal Prompting [77.69172089359606]
  本稿では,マルチモーダルな複数ショットオブジェクト検出(FSOD)について,少数ショット視覚例とクラスセマンティック情報の両方を用いて検討する。 我々のアプローチは、(メトリックベース)メタラーニングとプロンプトベースラーニングの高レベルな概念的類似性によって動機付けられている。 提案するマルチモーダルFSODモデルを,複数の複数ショットオブジェクト検出ベンチマークで総合的に評価し,有望な結果を得た。
  論文  参考訳（メタデータ） (2022-04-16T16:45:06Z)
• Instance-aware Prompt Learning for Language Understanding and Generation [49.22899822734549]
  本稿では,インスタンス毎に異なるプロンプトを学習するインスタンス対応プロンプト学習手法を提案する。 提案手法は,SuperGLUE数ショット学習ベンチマークの最先端性を実現する。
  論文  参考訳（メタデータ） (2022-01-18T17:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。