論文の概要: Delaying Interaction Layers in Transformer-based Encoders for Efficient Open Domain Question Answering

• arxiv url: http://arxiv.org/abs/2010.08422v1
• Date: Fri, 16 Oct 2020 14:36:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 21:06:12.803481
• Title: Delaying Interaction Layers in Transformer-based Encoders for Efficient Open Domain Question Answering
• Title（参考訳）: 効率的なオープンドメイン質問応答のためのトランスコーダにおける遅延相互作用層
• Authors: Wissam Siblini, Mohamed Challal and Charlotte Pasqual
• Abstract要約: ドキュメントの大規模コーパス上でのオープンドメイン質問回答(ODQA)は、コンピュータ科学における重要な課題である。 本稿では,トランスモデルのアーキテクチャに汎用的な変更を適用することで,より直接的な補完的ソリューションを提案する。 結果の変種は、抽出作業における元のモデルと競合し、ODQA設定では、大幅なスピードアップ、そして多くのケースでパフォーマンス改善が可能である。
• 参考スコア（独自算出の注目度）: 3.111078740559015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open Domain Question Answering (ODQA) on a large-scale corpus of documents (e.g. Wikipedia) is a key challenge in computer science. Although transformer-based language models such as Bert have shown on SQuAD the ability to surpass humans for extracting answers in small passages of text, they suffer from their high complexity when faced to a much larger search space. The most common way to tackle this problem is to add a preliminary Information Retrieval step to heavily filter the corpus and only keep the relevant passages. In this paper, we propose a more direct and complementary solution which consists in applying a generic change in the architecture of transformer-based models to delay the attention between subparts of the input and allow a more efficient management of computations. The resulting variants are competitive with the original models on the extractive task and allow, on the ODQA setting, a significant speedup and even a performance improvement in many cases.
• Abstract（参考訳）: Open Domain Question Answering (ODQA) は、大規模なドキュメントのコーパス(例えばウィキペディア)について、コンピュータ科学における重要な課題である。 Bert のようなトランスフォーマーベースの言語モデルは、SQuAD 上で小さな文節で答えを抽出する能力を示したが、より大きな検索空間に直面すると、その複雑さに悩まされる。 この問題を解決する最も一般的な方法は、コーパスを深くフィルタリングし、関連するパスだけを保持するための予備情報検索ステップを追加することである。 本稿では,入力部分間の注意を遅らせ,より効率的な計算管理を可能にするために,トランスフォーマモデルアーキテクチャに汎用的な変更を適用することで,より直接的な補完的ソリューションを提案する。 結果の変種は、抽出作業における元のモデルと競合し、ODQA設定では、大幅なスピードアップ、そして多くのケースでパフォーマンス改善が可能である。

関連論文リスト

• HAFFormer: A Hierarchical Attention-Free Framework for Alzheimer's Disease Detection From Spontaneous Speech [42.688549469089985]
  我々は,アルツハイマー病検出のための長期スピーチをよりよく扱うために,階層型注意・自由変換器(HAFFormer)という新しい枠組みを構築した。 具体的には,マルチスケールデプスワイズ・コンボリューション(Multi-Scale Depthwise Convolution)のアテンションフリーモジュールを用いて,自己アテンションを置き換え,コストのかかる計算を回避する。 ADReSS-Mデータセットに関する広範な実験を行うことで、紹介されたHAFFormerは他の最近の研究と競合する結果(82.6%の精度)を達成できる。
  論文  参考訳（メタデータ） (2024-05-07T02:19:16Z)
• Incrementally-Computable Neural Networks: Efficient Inference for Dynamic Inputs [75.40636935415601]
  ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。 インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。 本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-27T16:30:27Z)
• Dynamic Query Selection for Fast Visual Perceiver [42.07082299370995]
  精度低下を抑えつつ、推論中のクエリQ数を削減し、Perceiversをさらに効率的にする方法を示す。 本研究では,精度低下を抑えつつ,推論中のクエリQ数を削減し,Perceiversをより効率的にする方法を検討する。
  論文  参考訳（メタデータ） (2022-05-22T17:23:51Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Long Document Ranking with Query-Directed Sparse Transformer [30.997237454078526]
  我々は、変換器自己アテンションにおけるIR-アキシマティック構造を誘導するクエリ指向スパースアテンションを設計する。 我々のモデルであるQDS-Transformerは、ランク付けにおいて望ましい原則特性を強制する。 1つの完全に教師されたTREC文書ランキングベンチマークと3つの数ショットのTREC文書ベンチマークの実験は、QDS-Transformerの一貫性と堅牢性を示している。
  論文  参考訳（メタデータ） (2020-10-23T21:57:56Z)
• Answering Complex Open-Domain Questions with Multi-Hop Dense Retrieval [117.07047313964773]
  複雑なオープンドメインの質問に答えるために, 単純で効率的なマルチホップ高密度検索手法を提案する。 本手法では,文書間ハイパーリンクやアノテートされたエンティティマーカーなど,コーパス固有の情報へのアクセスは不要である。 提案システムでは,HotpotQA上でのベストパブリッシュ精度と,推論時の10倍の速度で,より優れた効率・精度のトレードオフも実現している。
  論文  参考訳（メタデータ） (2020-09-27T06:12:29Z)
• Cluster-Former: Clustering-based Sparse Transformer for Long-Range Dependency Encoding [90.77031668988661]
  Cluster-Formerはクラスタリングベースの新しいスパーストランスであり、チャンクされたシーケンスにまたがって注意を向ける。 提案されたフレームワークは、Sliding-Window LayerとCluster-Former Layerの2つのユニークなタイプのTransformer Layerにピボットされている。 実験によると、Cluster-Formerはいくつかの主要なQAベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-09-13T22:09:30Z)
• The Cascade Transformer: an Application for Efficient Answer Sentence Selection [116.09532365093659]
  本稿では,変圧器をベースとしたモデルのカスケード化手法であるカスケード変換器について紹介する。 現状の変圧器モデルと比較すると,提案手法は精度にほとんど影響を与えずに計算量を37%削減する。
  論文  参考訳（メタデータ） (2020-05-05T23:32:01Z)
• Pre-training Tasks for Embedding-based Large-scale Retrieval [68.01167604281578]
  本稿では,大規模クエリ文書検索問題について考察する。 クエリ(例えば質問)が与えられたら、関連するドキュメントのセットを大きなドキュメントコーパスから返します。 本稿では, 組込み型トランスフォーマーモデルの学習の鍵となる要素が, 事前学習作業のセットであることを示す。
  論文  参考訳（メタデータ） (2020-02-10T16:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。