論文の概要: Beyond 512 Tokens: Siamese Multi-depth Transformer-based Hierarchical Encoder for Long-Form Document Matching

• arxiv url: http://arxiv.org/abs/2004.12297v2
• Date: Tue, 13 Oct 2020 01:48:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 13:45:32.602011
• Title: Beyond 512 Tokens: Siamese Multi-depth Transformer-based Hierarchical Encoder for Long-Form Document Matching
• Title（参考訳）: 512以上のトークン: 長文文書マッチングのためのシームズ多層トランスフォーマーに基づく階層エンコーダ
• Authors: Liu Yang, Mingyang Zhang, Cheng Li, Michael Bendersky, Marc Najork
• Abstract要約: 長文文書マッチングのためのシームズ多層変換器を用いたSMITHを提案する。 我々のモデルには、より長いテキスト入力に自己注意モデルを適用するためのいくつかの革新が含まれている。 われわれはウィキペディアベースのベンチマークデータセット、コード、トレーニング済みのチェックポイントをオープンソース化し、長文文書マッチングの今後の研究を加速する。
• 参考スコア（独自算出の注目度）: 28.190001111358438
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many natural language processing and information retrieval problems can be formalized as the task of semantic matching. Existing work in this area has been largely focused on matching between short texts (e.g., question answering), or between a short and a long text (e.g., ad-hoc retrieval). Semantic matching between long-form documents, which has many important applications like news recommendation, related article recommendation and document clustering, is relatively less explored and needs more research effort. In recent years, self-attention based models like Transformers and BERT have achieved state-of-the-art performance in the task of text matching. These models, however, are still limited to short text like a few sentences or one paragraph due to the quadratic computational complexity of self-attention with respect to input text length. In this paper, we address the issue by proposing the Siamese Multi-depth Transformer-based Hierarchical (SMITH) Encoder for long-form document matching. Our model contains several innovations to adapt self-attention models for longer text input. In order to better capture sentence level semantic relations within a document, we pre-train the model with a novel masked sentence block language modeling task in addition to the masked word language modeling task used by BERT. Our experimental results on several benchmark datasets for long-form document matching show that our proposed SMITH model outperforms the previous state-of-the-art models including hierarchical attention, multi-depth attention-based hierarchical recurrent neural network, and BERT. Comparing to BERT based baselines, our model is able to increase maximum input text length from 512 to 2048. We will open source a Wikipedia based benchmark dataset, code and a pre-trained checkpoint to accelerate future research on long-form document matching.
• Abstract（参考訳）: 多くの自然言語処理や情報検索問題は意味マッチングのタスクとして形式化することができる。 この分野における既存の仕事は、短いテキスト(例えば、質問への回答)と短いテキストと長いテキスト(例えば、アドホックな検索)のマッチングに重点を置いている。 ニュースレコメンデーション、関連記事レコメンデーション、文書クラスタリングなど多くの重要な応用がある長文文書間のセマンティックマッチングは、調査が比較的少なく、研究の努力が必要である。 近年,Transformers や BERT のような自己注意型モデルはテキストマッチングのタスクにおいて最先端のパフォーマンスを実現している。 しかしながら、これらのモデルは入力テキスト長に関する自己注意の2次計算の複雑さのため、いくつかの文や1段落のような短いテキストに制限されている。 本稿では,ロングフォーム文書マッチングのためのsiamese multi-depth transformer-based hierarchical (smith) エンコーダを提案する。 我々のモデルは、より長いテキスト入力に自己注意モデルを適用するためのいくつかの革新を含んでいる。 文書内での文レベルの意味関係をよりよく把握するために,BERT が使用するマスキング言語モデリングタスクに加えて,新しいマスキング文ブロック言語モデリングタスクを用いて事前学習を行う。 提案したSMITHモデルは,階層的アテンション,多層的アテンションに基づく階層的リカレントニューラルネットワーク,BERTなど,従来の最先端モデルよりも優れていることを示す。 BERTベースのベースラインと比較して,最大入力テキスト長を512から2048に向上させることができる。 われわれはウィキペディアベースのベンチマークデータセット、コード、トレーニング済みのチェックポイントをオープンソース化し、長文文書マッチングの今後の研究を加速する。

関連論文リスト

• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• Quest: Query-centric Data Synthesis Approach for Long-context Scaling of Large Language Model [22.07414287186125]
  Questはクエリ中心のデータメソッドで、セマンティックに関連があるが多様なドキュメントを集約する。 生成モデルを使用して、ドキュメント毎の潜在的なクエリを予測し、同様のクエリとキーワードでドキュメントをグループ化する。 実験では、Questの長文タスクにおける優れたパフォーマンスを示し、最大100万トークンのコンテキスト長で顕著な結果が得られる。
  論文  参考訳（メタデータ） (2024-05-30T08:50:55Z)
• LOCOST: State-Space Models for Long Document Abstractive Summarization [76.31514220737272]
  長いコンテキスト入力を持つ条件付きテキスト生成のための状態空間モデルに基づくエンコーダデコーダアーキテクチャであるLOCOSTを提案する。 計算複雑性が$O(L log L)$の場合、このアーキテクチャは疎注意パターンに基づく最先端モデルよりもはるかに長いシーケンスを処理できる。
  論文  参考訳（メタデータ） (2024-01-31T15:33:37Z)
• JOIST: A Joint Speech and Text Streaming Model For ASR [63.15848310748753]
  JOISTは、音声テキストのペア入力とテキストのみのアンペア入力の両方で、ストリーミング、カスケード、エンコーダエンドツーエンド(E2E)モデルを訓練するアルゴリズムである。 JOISTの最良のテキスト表現は、テキストで訓練されていないモデルと比較して、様々な検索およびレアワードテストセットのWERを4-14%改善することがわかった。
  論文  参考訳（メタデータ） (2022-10-13T20:59:22Z)
• Adapting Pretrained Text-to-Text Models for Long Text Sequences [39.62224414485055]
  我々は、時系列入力に既存の事前訓練されたテキスト・ツー・テキスト・モデルを適用する。 長文QAタスク上での競合性能を実現するための長文モデルを構築した。
  論文  参考訳（メタデータ） (2022-09-21T00:41:07Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Hierarchical Neural Network Approaches for Long Document Classification [3.6700088931938835]
  我々は、より効率的な表現を効率よく捉えるために、事前訓練された普遍文(USE)と変換器からの双方向表現(BERT)を階層的に採用する。 提案するモデルは概念的に単純であり,入力データをチャンクに分割し,BERTとUSEのベースモデルに渡す。 USE + CNN/LSTM はスタンドアローンのベースラインよりも優れており、BERT + CNN/LSTM はスタンドアローンのベースラインと同等である。
  論文  参考訳（メタデータ） (2022-01-18T07:17:40Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Cross-Document Language Modeling [28.34202232940097]
  クロスドキュメント言語モデル(CD-LM)はマルチドキュメントNLPタスクのマスキング言語モデリングを改善する。 私たちは、CD-LMが複数のテキストタスクの最新の結果を設定することを示しています。
  論文  参考訳（メタデータ） (2021-01-02T09:01:39Z)
• ERNIE-DOC: The Retrospective Long-Document Modeling Transformer [24.426571160930635]
  Recurrence Transformersに基づく文書レベルの言語プリトレーニングモデルであるERNIE-DOCを提案する。 ふりかえりフィード機構とリカレンスメカニズムの強化という2つのよく設計されたテクニックにより、ELNIE-DOCははるかに長いコンテキスト長を実現できます。 英語と中国語の文書レベルのタスクについて様々な実験を行った。
  論文  参考訳（メタデータ） (2020-12-31T16:12:48Z)
• Learning to Select Bi-Aspect Information for Document-Scale Text Content Manipulation [50.01708049531156]
  我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。 詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。 出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
  論文  参考訳（メタデータ） (2020-02-24T12:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。