論文の概要: SDR: Efficient Neural Re-ranking using Succinct Document Representation
- arxiv url: http://arxiv.org/abs/2110.02065v1
- Date: Sun, 3 Oct 2021 07:43:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-06 13:58:58.491184
- Title: SDR: Efficient Neural Re-ranking using Succinct Document Representation
- Title(参考訳): SDR: 副次的文書表現を用いた高能率ニューラルリグレード
- Authors: Nachshon Cohen, Amit Portnoy, Besnik Fetahu, and Amir Ingber
- Abstract要約: 本稿では, 強調圧縮した中間文書表現を演算する文書表現方式を提案する。
提案手法は効率が良く, 同一品質の圧縮速度が4x-11.6倍向上した。
- 参考スコア(独自算出の注目度): 4.9278175139681215
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: BERT based ranking models have achieved superior performance on various
information retrieval tasks. However, the large number of parameters and
complex self-attention operation come at a significant latency overhead. To
remedy this, recent works propose late-interaction architectures, which allow
pre-computation of intermediate document representations, thus reducing the
runtime latency. Nonetheless, having solved the immediate latency issue, these
methods now introduce storage costs and network fetching latency, which limits
their adoption in real-life production systems.
In this work, we propose the Succinct Document Representation (SDR) scheme
that computes \emph{highly compressed} intermediate document representations,
mitigating the storage/network issue. Our approach first reduces the dimension
of token representations by encoding them using a novel autoencoder
architecture that uses the document's textual content in both the encoding and
decoding phases. After this token encoding step, we further reduce the size of
entire document representations using a modern quantization technique.
Extensive evaluations on passage re-reranking on the MSMARCO dataset show
that compared to existing approaches using compressed document representations,
our method is highly efficient, achieving 4x-11.6x better compression rates for
the same ranking quality.
- Abstract(参考訳): BERTベースのランキングモデルは、様々な情報検索タスクにおいて優れたパフォーマンスを達成している。
しかし、大量のパラメータと複雑な自己注意操作は、かなりの遅延オーバーヘッドとなる。
これを改善するために、近年の研究では、中間文書表現の事前計算を可能にする遅延処理アーキテクチャを提案する。
それでも、即時レイテンシの問題を解決したこれらのメソッドは、ストレージコストとネットワークフェッチレイテンシを導入し、実運用システムへの導入を制限した。
そこで本研究では,SDR(Succinct Document Representation)方式を提案する。
本手法は, 文書の符号化と復号の両方において, 文書のテキスト内容を利用する新しいオートエンコーダアーキテクチャを用いて, トークン表現の次元を削減する。
このトークンエンコーディングステップの後、現代的な量子化技術を用いて、ドキュメント表現全体のサイズをさらに削減します。
MSMARCOデータセットのパス再評価により, 圧縮文書表現を用いた既存手法と比較して, 高い効率性を示し, 4x-11.6倍の圧縮率を実現した。
関連論文リスト
- DocDiff: Document Enhancement via Residual Diffusion Models [7.972081359533047]
文書強調問題に特化して設計された拡散型フレームワークであるDocDiffを提案する。
DocDiffは2つのモジュールで構成されている: 粗い予測器(CP)と高周波数残差リファインメント(HRR)モジュール。
事前学習したDocDiffのHRRモジュールは,4.17Mのパラメータしか持たない,プラグアンドプレイで使用可能である。
論文 参考訳(メタデータ) (2023-05-06T01:41:10Z) - ReBotNet: Fast Real-time Video Enhancement [59.08038313427057]
ほとんどの復元ネットワークは遅く、高い計算ボトルネックがあり、リアルタイムビデオ拡張には使用できない。
本研究では,ライブビデオ通話やビデオストリームなどの実用的なユースケースをリアルタイムに拡張するための,効率的かつ高速なフレームワークを設計する。
提案手法を評価するために,実世界のビデオ通話とストリーミングのシナリオを示す2つの新しいデータセットをエミュレートし,ReBotNetがより少ない計算,メモリ要求の低減,より高速な推論時間で既存手法より優れていることを示す。
論文 参考訳(メタデータ) (2023-03-23T17:58:05Z) - Faster DAN: Multi-target Queries with Document Positional Encoding for
End-to-end Handwritten Document Recognition [1.7875811547963403]
より高速なDANは、予測時に認識プロセスを高速化するための2段階の戦略である。
RIMES 2009、READ 2016、MAURDORデータセットの1ページと2ページのイメージ全体の少なくとも4倍高速である。
論文 参考訳(メタデータ) (2023-01-25T13:55:14Z) - SeDR: Segment Representation Learning for Long Documents Dense Retrieval [17.864362372788374]
長文Dense Retrieval(SeDR)のためのセグメンテーション表現学習を提案する。
SeDRは長いドキュメントを文書認識とセグメント認識の表現にエンコードするが、分割とプーリングの複雑さを保っている。
MS MARCO と TREC-DL データセットを用いた実験により,SeDR は DR モデルにおいて優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2022-11-20T01:28:44Z) - Towards Robust Low-Resource Fine-Tuning with Multi-View Compressed
Representations [51.75960511842552]
事前訓練された言語モデル(PLM)の微調整は、低リソースのシナリオで過度に適合する傾向がある。
オーバーフィッティングを減らすために,PLMの隠れ表現を利用する新しい手法を提案する。
論文 参考訳(メタデータ) (2022-11-16T09:39:29Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳(メタデータ) (2022-04-22T10:45:01Z) - Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。
我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。
本稿では,様々な要約データセットに対して提案手法の有効性を示す。
論文 参考訳(メタデータ) (2022-03-15T01:24:51Z) - Implicit Neural Representations for Image Compression [103.78615661013623]
Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。
量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。
我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
論文 参考訳(メタデータ) (2021-12-08T13:02:53Z) - Compressibility of Distributed Document Representations [0.0]
CoReは表現圧縮に適した表現学習者に依存しないフレームワークである。
文脈的および非文脈的文書表現、異なる圧縮レベル、および9つの異なる圧縮アルゴリズムを考慮すると、CoReの振る舞いを示す。
10万以上の圧縮実験に基づく結果から、CoReは圧縮効率と性能の非常に良いトレードオフを提供することを示している。
論文 参考訳(メタデータ) (2021-10-14T17:56:35Z) - Sparse, Dense, and Attentional Representations for Text Retrieval [25.670835450331943]
デュアルエンコーダは、文書やクエリを高密度な低次元ベクトルに符号化することで検索を行う。
単語の疎結合モデルや注目ニューラルネットワークと比較して,このアーキテクチャのキャパシティについて検討する。
本稿では,2重エンコーダの効率性と,よりコストのかかる注目アーキテクチャの表現性を結合した単純なニューラルモデルを提案する。
論文 参考訳(メタデータ) (2020-05-01T02:21:17Z) - A Generic Network Compression Framework for Sequential Recommender
Systems [71.81962915192022]
シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。
CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。
大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
論文 参考訳(メタデータ) (2020-04-21T08:40:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。