論文の概要: Augmenting Zero-Shot Dense Retrievers with Plug-in Mixture-of-Memories

• arxiv url: http://arxiv.org/abs/2302.03754v1
• Date: Tue, 7 Feb 2023 20:59:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-09 18:09:41.463575
• Title: Augmenting Zero-Shot Dense Retrievers with Plug-in Mixture-of-Memories
• Title（参考訳）: プラグイン・ミックス・オブ・メモリによるゼロショット高密度レトリバーの強化
• Authors: Suyu Ge, Chenyan Xiong, Corby Rosset, Arnold Overwijk, Jiawei Han and Paul Bennett
• Abstract要約: 本研究では,終末検索タスクから派生した潜在ラベルで拡張成分を学習する共同学習機構を開発する。 我々は、強力なT5ベースのレトリバーをMoMAで強化することにより、ゼロショットの高密度検索設定でモデルをインスタンス化する。 我々のモデルであるMoMAは、標準BEIRベンチマークに含まれる18のタスクに対して、強いゼロショット検索精度を得る。
• 参考スコア（独自算出の注目度）: 38.85343108423442
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we improve the zero-shot generalization ability of language models via Mixture-Of-Memory Augmentation (MoMA), a mechanism that retrieves augmentation documents from multiple information corpora ("external memories"), with the option to "plug in" new memory at inference time. We develop a joint learning mechanism that trains the augmentation component with latent labels derived from the end retrieval task, paired with hard negatives from the memory mixture. We instantiate the model in a zero-shot dense retrieval setting by augmenting a strong T5-based retriever with MoMA. Our model, MoMA, obtains strong zero-shot retrieval accuracy on the eighteen tasks included in the standard BEIR benchmark. It outperforms systems that seek generalization from increased model parameters and computation steps. Our analysis further illustrates the necessity of augmenting with mixture-of-memory for robust generalization, the benefits of augmentation learning, and how MoMA utilizes the plug-in memory at inference time without changing its parameters. We plan to open source our code.
• Abstract（参考訳）: 本稿では,複数の情報コーパス(外部記憶)から拡張文書を取得する機構であるmixed-of-memory augmentation(moma)を用いて,言語モデルのゼロショット一般化能力を向上させる。 本研究では,記憶混合物からのハードネガティブと組み合わせて,最終検索タスクから派生した潜在ラベルで拡張成分を学習する合同学習機構を開発した。 強力なt5ベースのレトリバーをmomaで強化することにより,ゼロショットの密集した検索設定でモデルをインスタンス化する。 我々のモデルであるMoMAは、標準BEIRベンチマークに含まれる18のタスクに対して、強いゼロショット検索精度を得る。 モデルパラメータの増加と計算ステップから一般化を求めるシステムより優れている。 本解析ではさらに,強固な一般化のための混合メモリによる拡張の必要性,拡張学習の利点,パラメータ変更を伴わずに推定時にmomaがプラグインメモリをどのように利用するかを示す。 コードをオープンソース化する予定です。

関連論文リスト

• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• Online Adaptation of Language Models with a Memory of Amortized Contexts [82.02369596879817]
  MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。 MACとMACを組み合わせれば,検索の高速化など,一般的な代替手段の性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-07T08:34:57Z)
• MEMORYLLM: Towards Self-Updatable Large Language Models [101.3777486749529]
  既存のLarge Language Models (LLM) は通常、デプロイ後も静的のままである。 本稿では,変圧器と固定サイズのメモリプールを備えたモデルMEMORYLLMを紹介する。 MEMORYLLMは、テキスト知識を自己更新し、早期に注入された知識を記憶することができる。
  論文  参考訳（メタデータ） (2024-02-07T07:14:11Z)
• Memory Augmented Language Models through Mixture of Word Experts [5.0215187938544315]
  学習能力とFLOPをMixture-of-Experts(MoE)スタイルのモデルで積極的に分離し、知識豊富な語彙ベースのルーティング機能とエキスパートを目指しています。 我々は、様々なNLPタスクにおいて、同様のFLOP数を持つモデルのT5ファミリよりも、MoWEの方がはるかに優れた性能を示すことを示した。
  論文  参考訳（メタデータ） (2023-11-15T18:19:56Z)
• Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory [72.36736686941671]
  本稿では,検索拡張生成モデルを改善するための新しいフレームワーク,Selfmemを提案する。 Selfmemは、検索拡張ジェネレータを反復的に使用して、無制限のメモリプールを生成し、メモリセレクタを使用して、続く生成ラウンドの1つの出力をメモリとして選択する。 我々は,3つの異なるテキスト生成タスクにおける自己メモの有効性を評価する。
  論文  参考訳（メタデータ） (2023-05-03T21:40:54Z)
• An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP Tasks [40.81306982129298]
  パラメトリックおよび検索強化モデルは、計算効率と予測精度の点で相補的な長所を持つ。 効率的なメモリ拡張トランス(EMAT)を提案する。 外部の知識をキーバリューメモリにエンコードし、メモリクエリの高速な最大内部製品検索を利用する。
  論文  参考訳（メタデータ） (2022-10-30T08:34:49Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Re2G: Retrieve, Rerank, Generate [14.848179433828252]
  ニューラル初期検索とBARTに基づくシーケンス・ツー・シーケンス生成を併用したRe2Gを提案する。 エンド・ツー・エンドをトレーニングするために,本システムでは,対象シーケンスの出力に対して,基礎的真理のみを用いて,知識蒸留の新たなバリエーションを導入し,初期検索,再ランカ,生成を訓練する。 KILTのリーダーボード上では、ゼロショットスロットフィリング、質問応答、ファクトチェック、ダイアログの4つのタスクにおいて、従来の最先端よりも9%から34%向上した。
  論文  参考訳（メタデータ） (2022-07-13T15:51:40Z)
• Semantically Constrained Memory Allocation (SCMA) for Embedding in Efficient Recommendation Systems [27.419109620575313]
  ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。 本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。 性能を維持しながらメモリフットプリントの大幅な削減を示す。
  論文  参考訳（メタデータ） (2021-02-24T19:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。