論文の概要: Sparse, Dense, and Attentional Representations for Text Retrieval

• arxiv url: http://arxiv.org/abs/2005.00181v3
• Date: Tue, 16 Feb 2021 23:18:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 23:37:14.305454
• Title: Sparse, Dense, and Attentional Representations for Text Retrieval
• Title（参考訳）: テキスト検索のためのスパース、密集、注意表現
• Authors: Yi Luan, Jacob Eisenstein, Kristina Toutanova, Michael Collins
• Abstract要約: デュアルエンコーダは、文書やクエリを高密度な低次元ベクトルに符号化することで検索を行う。 単語の疎結合モデルや注目ニューラルネットワークと比較して,このアーキテクチャのキャパシティについて検討する。 本稿では,2重エンコーダの効率性と,よりコストのかかる注目アーキテクチャの表現性を結合した単純なニューラルモデルを提案する。
• 参考スコア（独自算出の注目度）: 25.670835450331943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dual encoders perform retrieval by encoding documents and queries into dense lowdimensional vectors, scoring each document by its inner product with the query. We investigate the capacity of this architecture relative to sparse bag-of-words models and attentional neural networks. Using both theoretical and empirical analysis, we establish connections between the encoding dimension, the margin between gold and lower-ranked documents, and the document length, suggesting limitations in the capacity of fixed-length encodings to support precise retrieval of long documents. Building on these insights, we propose a simple neural model that combines the efficiency of dual encoders with some of the expressiveness of more costly attentional architectures, and explore sparse-dense hybrids to capitalize on the precision of sparse retrieval. These models outperform strong alternatives in large-scale retrieval.
• Abstract（参考訳）: デュアルエンコーダは、ドキュメントとクエリを密集した低次元ベクトルにエンコードして検索を行い、各ドキュメントをその内部積でスコア付けする。 単語の疎結合モデルや注目ニューラルネットワークと比較して,このアーキテクチャの能力について検討する。 理論的および経験的分析の両方を用いて, 符号化次元, 金と下級文書間のマージン, 文書長の相関関係を確立し, 長大文書の正確な検索を支援する固定長符号化の容量の限界を示唆した。 これらの知見に基づいて、よりコストのかかる注目アーキテクチャの表現性を両エンコーダの効率性と組み合わせた単純なニューラルモデルを提案し、スパース検索の精度を生かしたスパースセンスハイブリッドを探索する。 これらのモデルは大規模な検索において強力な代替手段を上回る。

関連論文リスト

• Summarizing long regulatory documents with a multi-step pipeline [2.2591852560804675]
  長い規則文を要約するための2段階アーキテクチャの有効性は、使用するモデルによって異なることを示す。 コンテクスト長の短い抽象エンコーダ・デコーダモデルでは抽出ステップの有効性が異なるが、長文エンコーダ・デコーダモデルでは抽出ステップが性能を悪化させる。
  論文  参考訳（メタデータ） (2024-08-19T08:07:25Z)
• Sequence Shortening for Context-Aware Machine Translation [5.803309695504831]
  マルチエンコーダアーキテクチャの特殊な場合において,コントラストデータセットの精度が向上することを示す。 遅延グループと遅延選択という2つの新しい手法を導入し、ネットワークはトークンをグループ化するか、コンテキストとしてキャッシュされるトークンを選択する。
  論文  参考訳（メタデータ） (2024-02-02T13:55:37Z)
• SparseCoder: Identifier-Aware Sparse Transformer for File-Level Code Summarization [51.67317895094664]
  本稿では,大規模なソースコードプロジェクトの理解と維持を支援するファイルレベルのコード要約について検討する。 長いコードシーケンスを効果的に処理するための識別子対応スパース変換器であるSparseCoderを提案する。
  論文  参考訳（メタデータ） (2024-01-26T09:23:27Z)
• Tram: A Token-level Retrieval-augmented Mechanism for Source Code Summarization [76.57699934689468]
  ニューラルモデルの性能を高めるために,デコーダ側で詳細なTokenレベル検索強化機構(Tram)を提案する。 文脈的コードセマンティクスの取得におけるトークンレベルの検索の課題を克服するために,コードセマンティクスを個々の要約トークンに統合することを提案する。
  論文  参考訳（メタデータ） (2023-05-18T16:02:04Z)
• Learning Diverse Document Representations with Deep Query Interactions for Dense Retrieval [79.37614949970013]
  そこで本研究では,問合せの深い文書表現を学習する高密度検索モデルを提案する。 本モデルでは,各文書に生成した擬似クエリをエンコードして,クエリインフォームド・マルチビュー文書表現を得る。
  論文  参考訳（メタデータ） (2022-08-08T16:00:55Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Efficient Cross-Modal Retrieval via Deep Binary Hashing and Quantization [5.799838997511804]
  クロスモーダル検索は、異なるコンテンツモダリティにまたがる類似の意味を持つデータを検索することを目的としている。 クロスモーダル検索のための共同学習型ディープハッシュ・量子化ネットワーク(HQ)を提案する。 NUS-WIDE、MIR-Flickr、Amazonデータセットの実験結果は、HQの精度が7%以上向上していることを示している。
  論文  参考訳（メタデータ） (2022-02-15T22:00:04Z)
• End-to-End Information Extraction by Character-Level Embedding and Multi-Stage Attentional U-Net [0.9137554315375922]
  本稿では,文書の2次元キャラクタグリッド埋め込みにおけるエンドツーエンド情報抽出のための新しいディープラーニングアーキテクチャを提案する。 このモデルでは,パラメータを40%減らしながら,ベースラインのU-Netアーキテクチャを大きなマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2021-06-02T05:42:51Z)
• Rethinking Text Line Recognition Models [57.47147190119394]
  2つのデコーダファミリー(コネクショニスト時間分類と変換器)と3つのエンコーダモジュール(双方向LSTM、自己認識、GRCL)を考える。 広く使用されているシーンと手書きテキストの公開データセットの精度とパフォーマンスを比較します。 より一般的なTransformerベースのモデルとは異なり、このアーキテクチャは任意の長さの入力を処理できる。
  論文  参考訳（メタデータ） (2021-04-15T21:43:13Z)
• A Holistically-Guided Decoder for Deep Representation Learning with Applications to Semantic Segmentation and Object Detection [74.88284082187462]
  一般的な戦略の1つは、バックボーンネットワークに拡張畳み込みを採用し、高解像度のフィーチャーマップを抽出することです。 本稿では,高分解能なセマンティクスリッチな特徴マップを得るために紹介される,新たなホリスティック誘導デコーダを提案する。
  論文  参考訳（メタデータ） (2020-12-18T10:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。