論文の概要: PromptDSI: Prompt-based Rehearsal-free Instance-wise Incremental Learning for Document Retrieval

• arxiv url: http://arxiv.org/abs/2406.12593v2
• Date: Wed, 16 Oct 2024 13:45:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:40:17.899376
• Title: PromptDSI: Prompt-based Rehearsal-free Instance-wise Incremental Learning for Document Retrieval
• Title（参考訳）: PromptDSI: 文書検索のためのPrompt-based Rehearsal-free Instance-wise Incremental Learning
• Authors: Tuan-Luc Huynh, Thuy-Trang Vu, Weiqing Wang, Yinwei Wei, Trung Le, Dragan Gasevic, Yuan-Fang Li, Thanh-Toan Do,
• Abstract要約: Differentiable Search Index (DSI) は、事前訓練された言語モデル(PLM)を用いて、外部インデックスに依存しない効率的な文書検索を行う。 本稿では,インクリメンタルな学習文書検索のためのプロンプトベースのリハーサルフリーアプローチであるPromptDSIを紹介する。
• 参考スコア（独自算出の注目度）: 47.13111745988827
• License:
• Abstract: Differentiable Search Index (DSI) utilizes Pre-trained Language Models (PLMs) for efficient document retrieval without relying on external indexes. However, DSI needs full re-training to handle updates in dynamic corpora, causing significant computational inefficiencies. We introduce PromptDSI, a prompt-based rehearsal-free approach for instance-wise incremental learning document retrieval. PromptDSI attaches prompts to the frozen PLM's encoder of DSI, leveraging its powerful representation to efficiently index new corpora while maintaining a balance between stability and plasticity. We eliminate the initial forward pass of prompt-based continual learning methods that doubles training and inference time. Moreover, we propose a topic-aware prompt pool that employs neural topic embeddings as fixed keys. This strategy ensures diverse and effective prompt usage, addressing the challenge of parameter underutilization caused by the collapse of the query-key matching mechanism. Our empirical evaluations demonstrate that BERT-based PromptDSI matches IncDSI in managing forgetting while improving new corpora performance by more than 4% Hits@10 on NQ320k and upto 3% MRR@10 on MS MARCO 300k.
• Abstract（参考訳）: Differentiable Search Index (DSI) は、事前訓練された言語モデル(PLM)を用いて、外部インデックスに依存しない効率的な文書検索を行う。 しかし、DSIは動的コーパスの更新を扱うために完全な再訓練を必要とし、計算の非効率さを著しく引き起こす。 本稿では,インクリメンタルな学習文書検索のためのプロンプトベースのリハーサルフリーアプローチであるPromptDSIを紹介する。 PromptDSIは、凍ったPLMのDSIエンコーダにプロンプトを付加し、その強力な表現を活用して、安定性と可塑性のバランスを維持しながら、新しいコーパスを効率的にインデックスする。 トレーニング時間と推論時間を2倍にするプロンプトベースの連続学習手法の最初の前方通過を除去する。 さらに,ニューラルネットワークを固定キーとして組み込んだトピック認識プロンプトプールを提案する。 この戦略は、クエリキーマッチング機構の崩壊によって引き起こされるパラメータの未利用化の課題に対処し、多種多様な効果的なプロンプトの使用を保証する。 実験により,BERTをベースとした PromptDSI は,NQ320kでは 4% Hits@10 ,MS MARCO 300kでは 3% MRR@10 に向上した。

関連論文リスト

• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Dynamically Anchored Prompting for Task-Imbalanced Continual Learning [29.20115513597012]
  既存の継続的な学習文献は、タスクがバランスの取れたデータストリームに到達するという強い前提に大きく依存している。 不均衡なタスクは、安定性と可塑性の間のトレードオフを制御するモデルの能力に大きく挑戦する。 本稿では、タスクストリーム内のシフトに動的に適応するための1つの一般的なプロンプトのみを保持するプロンプトベースの方法であるDynamically Anchored Prompting (DAP)を提案する。
  論文  参考訳（メタデータ） (2024-04-23T03:52:44Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• DSI++: Updating Transformer Memory with New Documents [95.70264288158766]
  DSI++は、DSIが新たなドキュメントをインクリメンタルにインデクシングするための継続的な学習課題である。 新たな文書の連続的な索引付けは,それまでの索引付け文書をかなり忘れてしまうことを示す。 文書の擬似クエリをサンプルとして生成メモリを導入し、連続的なインデックス付け中に補足することで、検索タスクの忘れを防止する。
  論文  参考訳（メタデータ） (2022-12-19T18:59:34Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。