論文の概要: Conformer-Kernel with Query Term Independence for Document Retrieval

• arxiv url: http://arxiv.org/abs/2007.10434v1
• Date: Mon, 20 Jul 2020 19:47:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-11-08 13:15:26.061821
• Title: Conformer-Kernel with Query Term Independence for Document Retrieval
• Title（参考訳）: 文書検索のためのクエリ項独立型コンバータカーネル
• Authors: Bhaskar Mitra, Sebastian Hofstatter, Hamed Zamani and Nick Craswell
• Abstract要約: Transformer- Kernel (TK) モデルは、TREC Deep Learningベンチマークで強力な再ランク性能を示している。 我々は、クエリ項独立仮定を組み込むことで、TKアーキテクチャを完全な検索設定に拡張する。 コンフォーマーのGPUメモリ要件は入力シーケンス長と線形にスケールすることを示し、長いドキュメントのランク付けにおいてより有効な選択肢であることを示す。
• 参考スコア（独自算出の注目度）: 32.36908635150144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Transformer-Kernel (TK) model has demonstrated strong reranking performance on the TREC Deep Learning benchmark---and can be considered to be an efficient (but slightly less effective) alternative to BERT-based ranking models. In this work, we extend the TK architecture to the full retrieval setting by incorporating the query term independence assumption. Furthermore, to reduce the memory complexity of the Transformer layers with respect to the input sequence length, we propose a new Conformer layer. We show that the Conformer's GPU memory requirement scales linearly with input sequence length, making it a more viable option when ranking long documents. Finally, we demonstrate that incorporating explicit term matching signal into the model can be particularly useful in the full retrieval setting. We present preliminary results from our work in this paper.
• Abstract（参考訳）: Transformer-Kernel (TK) モデルは TREC Deep Learning ベンチマークで高いランク付け性能を示しており、BERT ベースのランキングモデルに代わる効率的な(わずかに効果の低い)代替品とみなすことができる。 本研究では,クエリ項独立仮定を組み込むことで,TKアーキテクチャを完全な検索設定に拡張する。 さらに、入力シーケンス長に関してトランスフォーマー層のメモリ複雑性を低減するために、新しいコンフォーマー層を提案する。 コンフォーメータのgpuメモリ要求は入力シーケンス長と線形にスケールするので、長いドキュメントのランク付けにおいてより有効な選択肢となる。 最後に,モデルに明示的な項マッチング信号を組み込むことが,全検索において特に有用であることを示す。 本稿では,本研究の予備的成果について述べる。

関連論文リスト

• Attention over pre-trained Sentence Embeddings for Long Document Classification [4.38566347001872]
  変圧器はトークンの数に2次注意の複雑さがあるため、短いシーケンスに制限されることが多い。 文を意味的に意味のある埋め込みから始めるために,事前学習した文変換器を活用することを提案する。 本稿では,3つの標準文書分類データセットに対して,この簡単なアーキテクチャを用いて得られた結果について報告する。
  論文  参考訳（メタデータ） (2023-07-18T09:06:35Z)
• Pyramid-BERT: Reducing Complexity via Successive Core-set based Token Selection [23.39962989492527]
  BERTのようなトランスフォーマーベースの言語モデルは、様々なNLPタスクで最先端を達成しているが、計算的に禁止されている。 本稿では,従来の使用法を,理論的な結果によって正当化されたemコアセットベースのトークン選択法で置き換えるピラミッド-BERTを提案する。 コアセットベースのトークン選択技術により、高価な事前トレーニングを回避でき、空間効率の良い微調整が可能となり、長いシーケンス長を扱うのに適している。
  論文  参考訳（メタデータ） (2022-03-27T19:52:01Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• KG-FiD: Infusing Knowledge Graph in Fusion-in-Decoder for Open-Domain Question Answering [68.00631278030627]
  検索した通路間の構造的関係を知識グラフで利用することにより,ノイズのある通路をフィルタする新しい手法KG-FiDを提案する。 我々は,KG-FiDが解答一致スコアの最大1.5%向上し,計算コストの40%程度でFiDに匹敵する性能が得られることを示した。
  論文  参考訳（メタデータ） (2021-10-08T18:39:59Z)
• Improving Transformer-Kernel Ranking Model Using Conformer and Query Term Independence [29.442579683405913]
  Transformer-Kernel(TK)モデルは、TREC Deep Learningベンチマークで強力なリランクパフォーマンスを示しています。 TKLと呼ばれるTKモデルの変種が開発され、より長い入力シーケンスを効率的に処理するためにローカルの自己意識が組み込まれている。 本稿では,より長い入力列にtkをスケールするための代替手法として,新しい適合層を提案する。
  論文  参考訳（メタデータ） (2021-04-19T15:32:34Z)
• IOT: Instance-wise Layer Reordering for Transformer Structures [173.39918590438245]
  トランスフォーマの固定層順序の仮定を分解し,モデル構造にインスタンス単位の層順序変更を導入する。 当社の手法はTransformer以外のアーキテクチャにも適用可能です。
  論文  参考訳（メタデータ） (2021-03-05T03:44:42Z)
• Long Document Ranking with Query-Directed Sparse Transformer [30.997237454078526]
  我々は、変換器自己アテンションにおけるIR-アキシマティック構造を誘導するクエリ指向スパースアテンションを設計する。 我々のモデルであるQDS-Transformerは、ランク付けにおいて望ましい原則特性を強制する。 1つの完全に教師されたTREC文書ランキングベンチマークと3つの数ショットのTREC文書ベンチマークの実験は、QDS-Transformerの一貫性と堅牢性を示している。
  論文  参考訳（メタデータ） (2020-10-23T21:57:56Z)
• Length-Adaptive Transformer: Train Once with Length Drop, Use Anytime with Search [84.94597821711808]
  我々は,PoWER-BERT(Goyal et al., 2020)を拡張し,一発訓練後に様々な推論シナリオに使用できる長適応変換器を提案する。 我々は,任意の計算予算の下で,精度を最大化し,効率の指標を最小化する長さ構成を求めるために,多目的進化探索を行う。 提案手法の有効性を実証的に検証し,各種設定下での精度・効率のトレードオフを実証する。
  論文  参考訳（メタデータ） (2020-10-14T12:28:08Z)
• Streaming Transformer-based Acoustic Models Using Self-attention with Augmented Memory [23.022723184325017]
  変換器をベースとした音響モデリングは,ハイブリッド・シーケンス・ツー・シーケンス音声認識の双方において大きな成功をおさめている。 本稿では,入力シーケンスの短い部分とメモリバンクに参画する,新たな自己記憶機能を提案する。
  論文  参考訳（メタデータ） (2020-05-16T16:54:52Z)
• A Generic Network Compression Framework for Sequential Recommender Systems [71.81962915192022]
  シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。 CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。 大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
  論文  参考訳（メタデータ） (2020-04-21T08:40:55Z)
• Conversational Question Reformulation via Sequence-to-Sequence Architectures and Pretrained Language Models [56.268862325167575]
  本稿では、列列列構造と事前学習言語モデル(PLM)を用いた会話型質問修正(CQR)の実証的研究について述べる。 我々はPLMを利用して、CQRタスクの目的である最大推定におけるトークン・トークン・トークン・トークンの独立性の強い仮定に対処する。 我々は、最近導入されたCANARDデータセットの微調整PLMをドメイン内タスクとして評価し、TREC 2019 CAsT Trackのデータからドメイン外タスクとしてモデルを検証する。
  論文  参考訳（メタデータ） (2020-04-04T11:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。