論文の概要: Retrieval-augmented Prompt Learning for Pre-trained Foundation Models

• arxiv url: http://arxiv.org/abs/2512.20145v1
• Date: Tue, 23 Dec 2025 08:15:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-24 19:17:49.796997
• Title: Retrieval-augmented Prompt Learning for Pre-trained Foundation Models
• Title（参考訳）: 事前学習型基礎モデルの検索強化型プロンプト学習
• Authors: Xiang Chen, Yixin Ou, Quan Feng, Lei Li, Piji Li, Haibo Ye, Sheng-Jun Huang, Shuofei Qiao, Shumin Deng, Huajun Chen, Ningyu Zhang,
• Abstract要約: 本稿では,記憶と一般化のバランスをとることを目的としたRetroPromptを提案する。 従来のプロンプトメソッドとは異なり、RetroPromptは入力、トレーニング、推論ステージ全体にわたって検索メカニズムを組み込んでいる。 提案手法の優れた性能を示すために,自然言語処理やコンピュータビジョンタスクにまたがる様々なデータセットに関する総合的な実験を行った。
• 参考スコア（独自算出の注目度）: 101.13972024610733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The pre-trained foundation models (PFMs) have become essential for facilitating large-scale multimodal learning. Researchers have effectively employed the ``pre-train, prompt, and predict'' paradigm through prompt learning to induce improved few-shot performance. However, prompt learning approaches for PFMs still follow a parametric learning paradigm. As such, the stability of generalization in memorization and rote learning can be compromised. More specifically, conventional prompt learning might face difficulties in fully utilizing atypical instances and avoiding overfitting to shallow patterns with limited data during the process of fully-supervised training. To overcome these constraints, we present our approach, named RetroPrompt, which aims to achieve a balance between memorization and generalization by decoupling knowledge from mere memorization. Unlike traditional prompting methods, RetroPrompt leverages a publicly accessible knowledge base generated from the training data and incorporates a retrieval mechanism throughout the input, training, and inference stages. This enables the model to actively retrieve relevant contextual information from the corpus, thereby enhancing the available cues. We conduct comprehensive experiments on a variety of datasets across natural language processing and computer vision tasks to demonstrate the superior performance of our proposed approach, RetroPrompt, in both zero-shot and few-shot scenarios. Through detailed analysis of memorization patterns, we observe that RetroPrompt effectively reduces the reliance on rote memorization, leading to enhanced generalization.
• Abstract（参考訳）: PFM(Pre-trained foundation model)は、大規模マルチモーダル学習の促進に欠かせないものとなっている。 研究者は'pre-train, prompt, and predict'というパラダイムを、即興学習を通じて効果的に採用し、改善された数発のパフォーマンスを誘導している。 しかし、PFMに対する迅速な学習アプローチは、まだパラメトリック学習パラダイムに従っている。 このように、記憶・学習における一般化の安定性を損なうことができる。 より具体的には、従来のプロンプト学習は、非典型的インスタンスを十分に活用し、完全に教師されたトレーニングの過程で限られたデータで浅いパターンに過度に適合することを避けるのに困難に直面する可能性がある。 これらの制約を克服するため,単に記憶から知識を分離することで,記憶と一般化のバランスをとることを目的としたRetroPromptという手法を提案する。 従来のプロンプト方法とは異なり、RetroPromptはトレーニングデータから生成された公開アクセス可能な知識ベースを活用し、入力、トレーニング、推論ステージ全体を通して検索メカニズムを組み込む。 これにより、モデルがコーパスから関連したコンテキスト情報を積極的に取得し、利用可能なキューを強化することができる。 我々は、自然言語処理やコンピュータビジョンタスクにまたがるさまざまなデータセットに関する包括的な実験を行い、ゼロショットと少数ショットの両方のシナリオにおいて、提案手法であるRetroPromptの優れたパフォーマンスを示す。 暗記パターンの詳細な解析により,RetroPromptはロート暗記への依存を効果的に低減し,一般化の促進につながることが確認された。

関連論文リスト

• Forget Less, Retain More: A Lightweight Regularizer for Rehearsal-Based Continual Learning [51.07663354001582]
  ディープニューラルネットワークは破滅的な忘れ込みに悩まされ、新しいタスクのトレーニング後に以前のタスクのパフォーマンスが低下する。 本稿では,メモリベースの手法と正規化手法の交わりに着目し,この問題に対処する新しいアプローチを提案する。 我々は、メモリベース連続学習法において、情報最大化(IM)正則化と呼ばれる正規化戦略を定式化する。
  論文  参考訳（メタデータ） (2025-12-01T15:56:00Z)
• Efficient Transfer Learning for Video-language Foundation Models [13.166348605993292]
  テキスト表現と視覚表現のアライメントを高めるために,パラメータ効率のよいマルチモーダルパティッシャ・テンポラル・アダプタ (MSTA) を提案する。 我々は,ゼロショット転送,少数ショット学習,ベース・ツー・ノーベル一般化,完全テンポラル学習という4つの課題にまたがるアプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2024-11-18T01:25:58Z)
• Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning [113.58691755215663]
  一般化と記憶のバランスをとるためにRetroPromptを開発した。 バニラプロンプト学習とは対照的に、RetroPromptはトレーニングインスタンスからオープンブックナレッジストアを構築する。 大規模な実験により、RetroPromptは、数ショットとゼロショットの両方で、より良いパフォーマンスを得ることができることが示されている。
  論文  参考訳（メタデータ） (2022-05-29T16:07:30Z)
• Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
  自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。 我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。 また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
  論文  参考訳（メタデータ） (2021-01-20T13:59:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。