論文の概要: PromptDSI: Prompt-based Rehearsal-free Continual Learning for Document Retrieval
- arxiv url: http://arxiv.org/abs/2406.12593v4
- Date: Sat, 28 Jun 2025 06:24:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-01 15:08:38.344588
- Title: PromptDSI: Prompt-based Rehearsal-free Continual Learning for Document Retrieval
- Title(参考訳): PromptDSI: 文書検索のためのPrompt-based Rehearsal-free Continual Learning
- Authors: Tuan-Luc Huynh, Thuy-Trang Vu, Weiqing Wang, Yinwei Wei, Trung Le, Dragan Gasevic, Yuan-Fang Li, Thanh-Toan Do,
- Abstract要約: 本稿では,文書検索のためのリハーサルなし連続学習手法であるPromptDSIを紹介する。
PromptDSI は Prompt-based Continual Learning (PCL) フレームワークに従い、学習可能なプロンプトを使用して新しいドキュメントを効率的にインデックスする。
本稿では, PromptDSI 変種がリハーサルベースラインを上回り, キャッシュベースベースラインと一致し, 新たなコーパスの検索性能を著しく向上することを示す。
- 参考スコア(独自算出の注目度): 47.13111745988827
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differentiable Search Index (DSI) utilizes pre-trained language models to perform indexing and document retrieval via end-to-end learning without relying on external indexes. However, DSI requires full re-training to index new documents, causing significant computational inefficiencies. Continual learning (CL) offers a solution by enabling the model to incrementally update without full re-training. Existing CL solutions in document retrieval rely on memory buffers or generative models for rehearsal, which is infeasible when accessing previous training data is restricted due to privacy concerns. To this end, we introduce PromptDSI, a prompt-based, rehearsal-free continual learning approach for document retrieval. PromptDSI follows the Prompt-based Continual Learning (PCL) framework, using learnable prompts to efficiently index new documents without accessing previous documents or queries. To improve retrieval latency, we remove the initial forward pass of PCL, which otherwise greatly increases training and inference time, with a negligible trade-off in performance. Additionally, we introduce a novel topic-aware prompt pool that employs neural topic embeddings as fixed keys, eliminating the instability of prompt key optimization while maintaining competitive performance with existing PCL prompt pools. In a challenging rehearsal-free continual learning setup, we demonstrate that PromptDSI variants outperform rehearsal-based baselines, match the strong cache-based baseline in mitigating forgetting, and significantly improving retrieval performance on new corpora.
- Abstract(参考訳): Differentiable Search Index (DSI)は、事前訓練された言語モデルを使用して、外部インデックスに頼ることなく、エンドツーエンドの学習を通じてインデックス化と文書検索を行う。
しかし、DSIは新しい文書を索引付けするために完全に再訓練する必要があるため、計算の非効率性が著しく低下する。
継続的学習(CL)は、モデルを完全に再トレーニングすることなく漸進的に更新できるようにすることで、ソリューションを提供する。
文書検索における既存のCLソリューションは、リハーサルのためのメモリバッファや生成モデルに依存している。
この目的のために、文書検索のためのプロンプトDSI(PromptDSI)を提案する。
PromptDSIはPromptベースのContinuous Learning (PCL)フレームワークに従い、学習可能なプロンプトを使用して、以前のドキュメントやクエリにアクセスすることなく、新しいドキュメントを効率的にインデックスする。
検索待ち時間を改善するため,PCLの初期フォワードパスを除去し,トレーニングや推論時間を大幅に向上させる。
さらに,従来のPCLプロンプトプールとの競合性能を維持しつつ,プロンプトキー最適化の不安定性を解消し,ニューラルトピックを固定キーとして組み込んだ新しいトピック対応プロンプトプールを提案する。
In a challenge rehearsal-free continual learning set, we demonstrate that PromptDSI variants experform rehearsal-based baselines, match the strong cache-based baseline in mitigating forgetting, and significantly improve recovery performance on new corpora。
関連論文リスト
- Robustness-aware Automatic Prompt Optimization [45.43458098928881]
本稿では,入力摂動に耐えられる新しいプロンプト生成法であるBATpromptを提案する。
敵の訓練技術に触発されて、BATpromptは様々な摂動タスクで強いパフォーマンスを示す。
言語理解タスクと生成タスクの両方にわたる複数のデータセット上で,BATpromptを評価する。
論文 参考訳(メタデータ) (2024-12-24T06:05:08Z) - QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。
我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。
様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
論文 参考訳(メタデータ) (2024-08-20T03:06:48Z) - REP: Resource-Efficient Prompting for Rehearsal-Free Continual Learning [23.92661395403251]
近年のリハーサルフリーな手法は,視覚関連連続学習(CL)とドリフトデータに優れ,資源効率に欠ける。
本稿では,Resource-Efficient Prompting(REP)を提案する。
提案手法は高速なプロンプト選択を用いて、注意深く設定されたモデルを用いて入力データを洗練する。
論文 参考訳(メタデータ) (2024-06-07T09:17:33Z) - Dynamically Anchored Prompting for Task-Imbalanced Continual Learning [29.20115513597012]
既存の継続的な学習文献は、タスクがバランスの取れたデータストリームに到達するという強い前提に大きく依存している。
不均衡なタスクは、安定性と可塑性の間のトレードオフを制御するモデルの能力に大きく挑戦する。
本稿では、タスクストリーム内のシフトに動的に適応するための1つの一般的なプロンプトのみを保持するプロンプトベースの方法であるDynamically Anchored Prompting (DAP)を提案する。
論文 参考訳(メタデータ) (2024-04-23T03:52:44Z) - Query-Dependent Prompt Evaluation and Optimization with Offline Inverse
RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。
このような最適化では、以前見過ごされたクエリ依存の目的を特定します。
本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文 参考訳(メタデータ) (2023-09-13T01:12:52Z) - DSI++: Updating Transformer Memory with New Documents [95.70264288158766]
DSI++は、DSIが新たなドキュメントをインクリメンタルにインデクシングするための継続的な学習課題である。
新たな文書の連続的な索引付けは,それまでの索引付け文書をかなり忘れてしまうことを示す。
文書の擬似クエリをサンプルとして生成メモリを導入し、連続的なインデックス付け中に補足することで、検索タスクの忘れを防止する。
論文 参考訳(メタデータ) (2022-12-19T18:59:34Z) - Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。
IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
論文 参考訳(メタデータ) (2022-06-04T10:08:50Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-05-25T07:50:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。