Fugu-MT 論文翻訳(概要): A Memory Efficient Baseline for Open Domain Question Answering

論文の概要: A Memory Efficient Baseline for Open Domain Question Answering

arxiv url: http://arxiv.org/abs/2012.15156v1
Date: Wed, 30 Dec 2020 13:46:06 GMT
ステータス: 処理完了
システム内更新日: 2021-04-18 06:01:21.280381
Title: A Memory Efficient Baseline for Open Domain Question Answering
Title（参考訳）: オープンドメイン質問応答のためのメモリ効率のよいベースライン
Authors: Gautier Izacard, Fabio Petroni, Lucas Hosseini, Nicola De Cao, Sebastian Riedel, Edouard Grave
Abstract要約: 高密度レトリバーリーダーシステムのメモリフットプリントの低減方法を検討する。本稿では,次元削減,ベクトル量子化,通過フィルタリングの3つの手法について考察する。我々は,TriviaQAとNaturalQuestionsという2つの質問応答ベンチマークに対するアプローチを評価し,6Gb未満のメモリで競合するシステムを実現できることを示した。
参考スコア（独自算出の注目度）: 22.16527305568442
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, retrieval systems based on dense representations have led to important improvements in open-domain question answering, and related tasks. While very effective, this approach is also memory intensive, as the dense vectors for the whole knowledge source need to be kept in memory. In this paper, we study how the memory footprint of dense retriever-reader systems can be reduced. We consider three strategies to reduce the index size: dimension reduction, vector quantization and passage filtering. We evaluate our approach on two question answering benchmarks: TriviaQA and NaturalQuestions, showing that it is possible to get competitive systems using less than 6Gb of memory.
Abstract（参考訳）: 近年,高密度表現に基づく検索システムにより,オープンドメイン質問応答や関連するタスクが大幅に改善されている。このアプローチは非常に効果的だが、知識ソース全体の密度の高いベクトルをメモリに保持する必要があるため、メモリ集約型である。本稿では,高密度レトリバー・リーダーシステムのメモリフットプリントを低減する方法について検討する。本稿では,次元削減,ベクトル量子化,通過フィルタリングの3つの手法を検討する。我々は,TriviaQAとNaturalQuestionsという2つの質問応答ベンチマークに対するアプローチを評価し,6Gb未満のメモリで競合するシステムを実現できることを示した。

関連論文リスト

Embedding Compression for Efficient Re-Identification [0.0]
ReIDアルゴリズムは、オブジェクトの新しい観測結果を以前に記録されたインスタンスにマッピングすることを目的としている。我々は3つの異なる次元還元法とともに量子化学習をベンチマークする。 ReIDの埋め込みは96倍まで圧縮でき、性能は最小限に抑えられる。
論文参考訳（メタデータ） (2024-05-23T15:57:11Z)
Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
論文参考訳（メタデータ） (2024-01-24T03:03:17Z)
Attendre: Wait To Attend By Retrieval With Evicted Queries in Memory-Based Transformers for Long Context Processing [2.9733429388858714]
効果的なアプローチの1つは、FIFOメモリを使用して過去のチャンクから注目サブレイヤのキーと値を保存することで、その後のクエリへの参加を可能にすることである。本稿では,LRAやLFAなどの省略ポリシーを用いてメモリサイズを小さくし,様々なアーキテクチャに適応することを提案する。また,クエリメモリ内のクエリを削除したキー値メモリを検索することで,待ち待ち待ちのメカニズムであるAttendre層を提案する。
論文参考訳（メタデータ） (2024-01-10T02:20:48Z)
Towards Model-Size Agnostic, Compute-Free, Memorization-based Inference of Deep Learning [5.41530201129053]
本稿では,新しい暗記ベース推論(MBI)を提案する。具体的には、リカレント・アテンション・モデル(RAM)の推論機構に着目します。低次元のスリープ性を活用することで、我々の推論手順は、スリープ位置、パッチベクトルなどからなるキー値対をテーブルに格納する。計算は、テーブルを利用してキーと値のペアを読み出し、暗記による計算自由推論を実行することにより、推論中に妨げられる。
論文参考訳（メタデータ） (2023-07-14T21:01:59Z)
ABC: Attention with Bounded-memory Control [67.40631793251997]
我々は,有界メモリ制御 (ABC) を1つの抽象概念,すなわち有界メモリ制御 (ABC) に仮定できることを示した。 ABCが新たな可能性を明らかにしました。まずは、他の方法では見分けがつかないような、効率的なアテンションのバリエーションを接続します。最後に,既存のABCアプローチからインスピレーションを得たABCの新しい事例を紹介する。
論文参考訳（メタデータ） (2021-10-06T03:53:25Z)
Rethinking Space-Time Networks with Improved Memory Coverage for Efficient Video Object Segmentation [68.45737688496654]
各オブジェクトのマスク特徴を再エンコードすることなく,フレーム間の直接対応性を確立する。対応によって、現在のクエリフレーム内の全てのノードは、過去の特徴を連想的に集約することによって推測される。すべてのメモリノードにコントリビュートする機会があることを検証し、そのような多彩な投票がメモリ効率と推論精度の両方に有益であることを示した。
論文参考訳（メタデータ） (2021-06-09T16:50:57Z)
Efficient Passage Retrieval with Hashing for Open-domain Question Answering [37.41707616728358]
本稿では,メモリ効率の高いニューラル検索モデルであるBinary Passage Retriever(BPR)を紹介する。 BPRは、最先端のDense Passage Retrieverに学習からハッシュ技術を統合する。 DPRと比較して、BPRはメモリコストを65GBから2GBに大幅に削減し、精度を損なう。
論文参考訳（メタデータ） (2021-06-02T01:34:42Z)
Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
論文参考訳（メタデータ） (2021-02-20T18:40:40Z)
CNN with large memory layers [2.368995563245609]
この作業は、最近提案された製品キーメモリ構造であるcitelarge_Memoryを中心に、多くのコンピュータビジョンアプリケーションに実装されている。メモリ構造は、ほぼすべてのニューラルネットワークアーキテクチャに拡張されるのに適した単純な計算プリミティブと見なすことができる。
論文参考訳（メタデータ） (2021-01-27T20:58:20Z)
ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation [106.04777600352743]
微分可能なアーキテクチャサーチ(DARTS)は、スーパーネット全体がメモリに格納されているため、メモリコストが大幅に低下する。シングルパスのDARTSが登場し、各ステップでシングルパスのサブモデルのみを選択する。メモリフレンドリーだが、計算コストも低い。 RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-11-23T06:34:07Z)
Dense Passage Retrieval for Open-Domain Question Answering [49.028342823838486]
本研究では,高密度表現のみを用いて検索を実践可能であることを示す。我々の高密度レトリバーは、上位20経路の精度で9%-19%の絶対値で強力なルセンゼ-BM25システムより優れています。
論文参考訳（メタデータ） (2020-04-10T04:53:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。