論文の概要: Augmenting Zero-Shot Dense Retrievers with Plug-in Mixture-of-Memories
- arxiv url: http://arxiv.org/abs/2302.03754v1
- Date: Tue, 7 Feb 2023 20:59:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-09 18:09:41.463575
- Title: Augmenting Zero-Shot Dense Retrievers with Plug-in Mixture-of-Memories
- Title(参考訳): プラグイン・ミックス・オブ・メモリによるゼロショット高密度レトリバーの強化
- Authors: Suyu Ge, Chenyan Xiong, Corby Rosset, Arnold Overwijk, Jiawei Han and
Paul Bennett
- Abstract要約: 本研究では,終末検索タスクから派生した潜在ラベルで拡張成分を学習する共同学習機構を開発する。
我々は、強力なT5ベースのレトリバーをMoMAで強化することにより、ゼロショットの高密度検索設定でモデルをインスタンス化する。
我々のモデルであるMoMAは、標準BEIRベンチマークに含まれる18のタスクに対して、強いゼロショット検索精度を得る。
- 参考スコア(独自算出の注目度): 38.85343108423442
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper we improve the zero-shot generalization ability of language
models via Mixture-Of-Memory Augmentation (MoMA), a mechanism that retrieves
augmentation documents from multiple information corpora ("external memories"),
with the option to "plug in" new memory at inference time. We develop a joint
learning mechanism that trains the augmentation component with latent labels
derived from the end retrieval task, paired with hard negatives from the memory
mixture. We instantiate the model in a zero-shot dense retrieval setting by
augmenting a strong T5-based retriever with MoMA. Our model, MoMA, obtains
strong zero-shot retrieval accuracy on the eighteen tasks included in the
standard BEIR benchmark. It outperforms systems that seek generalization from
increased model parameters and computation steps. Our analysis further
illustrates the necessity of augmenting with mixture-of-memory for robust
generalization, the benefits of augmentation learning, and how MoMA utilizes
the plug-in memory at inference time without changing its parameters. We plan
to open source our code.
- Abstract(参考訳): 本稿では,複数の情報コーパス(外部記憶)から拡張文書を取得する機構であるmixed-of-memory augmentation(moma)を用いて,言語モデルのゼロショット一般化能力を向上させる。
本研究では,記憶混合物からのハードネガティブと組み合わせて,最終検索タスクから派生した潜在ラベルで拡張成分を学習する合同学習機構を開発した。
強力なt5ベースのレトリバーをmomaで強化することにより,ゼロショットの密集した検索設定でモデルをインスタンス化する。
我々のモデルであるMoMAは、標準BEIRベンチマークに含まれる18のタスクに対して、強いゼロショット検索精度を得る。
モデルパラメータの増加と計算ステップから一般化を求めるシステムより優れている。
本解析ではさらに,強固な一般化のための混合メモリによる拡張の必要性,拡張学習の利点,パラメータ変更を伴わずに推定時にmomaがプラグインメモリをどのように利用するかを示す。
コードをオープンソース化する予定です。
関連論文リスト
- Online Adaptation of Language Models with a Memory of Amortized Contexts [86.91360597169563]
MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。
本稿では,新しい文書から情報を圧縮・抽出するメモリ拡張手法を提案する。
実験では,オンライン適応性能,時間,メモリ効率など,MACの複数の面での優位性を実証した。
論文 参考訳(メタデータ) (2024-03-07T08:34:57Z) - Memory Augmented Language Models through Mixture of Word Experts [5.0215187938544315]
学習能力とFLOPをMixture-of-Experts(MoE)スタイルのモデルで積極的に分離し、知識豊富な語彙ベースのルーティング機能とエキスパートを目指しています。
我々は、様々なNLPタスクにおいて、同様のFLOP数を持つモデルのT5ファミリよりも、MoWEの方がはるかに優れた性能を示すことを示した。
論文 参考訳(メタデータ) (2023-11-15T18:19:56Z) - In-context Autoencoder for Context Compression in a Large Language Model [74.9807417009054]
In-context Autoencoder (ICAE) を提案し、長いコンテキストを短いメモリスロットに圧縮する。
ICAEは、大量のテキストデータに基づく自動符号化と言語モデリングの両方の目的を用いて、まず事前訓練を行う。
論文 参考訳(メタデータ) (2023-07-13T17:59:21Z) - Recurrent Memory Decision Transformer [55.41644538483948]
本稿では,リカレントメモリ決定変換器(RMDT)を提案する。
我々は,アタリゲームと MuJoCo 制御問題に関する徹底的な実験を行い,提案モデルが再帰的なメモリ機構を伴わずに,そのモデルよりもはるかに優れていることを示す。
論文 参考訳(メタデータ) (2023-06-15T19:29:08Z) - Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory [72.36736686941671]
本稿では,検索拡張生成モデルを改善するための新しいフレームワーク,Selfmemを提案する。
Selfmemは、検索拡張ジェネレータを反復的に使用して、無制限のメモリプールを生成し、メモリセレクタを使用して、続く生成ラウンドの1つの出力をメモリとして選択する。
我々は,3つの異なるテキスト生成タスクにおける自己メモの有効性を評価する。
論文 参考訳(メタデータ) (2023-05-03T21:40:54Z) - An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP
Tasks [40.81306982129298]
パラメトリックおよび検索強化モデルは、計算効率と予測精度の点で相補的な長所を持つ。
効率的なメモリ拡張トランス(EMAT)を提案する。
外部の知識をキーバリューメモリにエンコードし、メモリクエリの高速な最大内部製品検索を利用する。
論文 参考訳(メタデータ) (2022-10-30T08:34:49Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳(メタデータ) (2022-10-10T08:27:28Z) - Re2G: Retrieve, Rerank, Generate [14.848179433828252]
ニューラル初期検索とBARTに基づくシーケンス・ツー・シーケンス生成を併用したRe2Gを提案する。
エンド・ツー・エンドをトレーニングするために,本システムでは,対象シーケンスの出力に対して,基礎的真理のみを用いて,知識蒸留の新たなバリエーションを導入し,初期検索,再ランカ,生成を訓練する。
KILTのリーダーボード上では、ゼロショットスロットフィリング、質問応答、ファクトチェック、ダイアログの4つのタスクにおいて、従来の最先端よりも9%から34%向上した。
論文 参考訳(メタデータ) (2022-07-13T15:51:40Z) - Training Language Models with Memory Augmentation [28.4608705738799]
本稿では,メモリ拡張による言語モデル学習のための新しいトレーニング手法を提案する。
当社のアプローチでは、バッチ内のサンプルをアクセス可能なメモリとして直接取り込むトレーニング目標を用いています。
従来のメモリ拡張アプローチよりも大幅に向上したことを示す。
論文 参考訳(メタデータ) (2022-05-25T11:37:29Z) - Semantically Constrained Memory Allocation (SCMA) for Embedding in
Efficient Recommendation Systems [27.419109620575313]
ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。
本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。
性能を維持しながらメモリフットプリントの大幅な削減を示す。
論文 参考訳(メタデータ) (2021-02-24T19:55:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。