Fugu-MT 論文翻訳(概要): Extra Global Attention Designation Using Keyword Detection in Sparse Transformer Architectures

論文の概要: Extra Global Attention Designation Using Keyword Detection in Sparse Transformer Architectures

arxiv url: http://arxiv.org/abs/2410.08971v1
Date: Fri, 11 Oct 2024 16:41:11 GMT
ステータス: 処理完了
システム内更新日: 2024-10-30 20:56:20.148517
Title: Extra Global Attention Designation Using Keyword Detection in Sparse Transformer Architectures
Title（参考訳）: スパーストランスアーキテクチャにおけるキーワード検出を用いたグローバルアテンション設計
Authors: Evan Lucas, Dylan Kangas, Timothy C Havens,
Abstract要約: 本稿では,一般的なスパーストランスアーキテクチャであるLongformer-Decoderの拡張を提案する。グローバルアテンションを選択的に増加させる手法を提案し,実証した。
参考スコア（独自算出の注目度）: 2.2271054384396187
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: In this paper, we propose an extension to Longformer Encoder-Decoder, a popular sparse transformer architecture. One common challenge with sparse transformers is that they can struggle with encoding of long range context, such as connections between topics discussed at a beginning and end of a document. A method to selectively increase global attention is proposed and demonstrated for abstractive summarization tasks on several benchmark data sets. By prefixing the transcript with additional keywords and encoding global attention on these keywords, improvement in zero-shot, few-shot, and fine-tuned cases is demonstrated for some benchmark data sets.
Abstract（参考訳）: 本稿では,一般的なスパーストランスアーキテクチャであるLongformer Encoder-Decoderの拡張を提案する。スパーストランスフォーマーの一般的な課題の1つは、ドキュメントの開始と終了で議論されたトピック間の接続など、長い範囲のコンテキストのエンコーディングに苦労できることである。複数のベンチマークデータセット上での抽象的な要約タスクに対して,グローバルな注目度を選択的に向上する手法を提案する。追加のキーワードで書き起こしをプレフィックスし、これらのキーワードにグローバルな注意を向けることで、いくつかのベンチマークデータセットでゼロショット、少数ショット、微調整ケースの改善が示される。

関連論文リスト

Revisiting Transformer-based Models for Long Document Classification [31.60414185940218]
実世界のアプリケーションでは、マルチページのマルチパラグラフ文書が一般的であり、バニラトランスフォーマーベースのモデルでは効率的にエンコードできない。本稿では,変圧器の計算オーバーヘッドを軽減するために,トランスフォーマーを用いた長期文書分類(TrLDC)手法を比較した。我々は、より長いテキストを処理できることの明確な利点を観察し、その結果に基づいて、長い文書分類タスクにTransformerベースのモデルを適用する実践的なアドバイスを導き出す。
論文参考訳（メタデータ） (2022-04-14T00:44:36Z)
Rethinking Global Context in Crowd Counting [70.54184500538338]
純粋な変換器は、重なり合う画像パッチからグローバル情報で特徴を抽出するために用いられる。分類によってインスピレーションを得て、入力シーケンスにコンテキストトークンを追加し、画像パッチに対応するトークンと情報交換を容易にする。
論文参考訳（メタデータ） (2021-05-23T12:44:27Z)
Rethinking Text Line Recognition Models [57.47147190119394]
2つのデコーダファミリー(コネクショニスト時間分類と変換器)と3つのエンコーダモジュール(双方向LSTM、自己認識、GRCL)を考える。広く使用されているシーンと手書きテキストの公開データセットの精度とパフォーマンスを比較します。より一般的なTransformerベースのモデルとは異なり、このアーキテクチャは任意の長さの入力を処理できる。
論文参考訳（メタデータ） (2021-04-15T21:43:13Z)
Text Compression-aided Transformer Encoding [77.16960983003271]
本稿では,トランスフォーマーのエンコーディングを強化するために,明示的で暗黙的なテキスト圧縮手法を提案する。バックボーン情報、つまり入力テキストのgistは、特に焦点を当てていません。評価の結果,提案した明示的かつ暗黙的なテキスト圧縮手法は,強いベースラインと比較して結果を改善することがわかった。
論文参考訳（メタデータ） (2021-02-11T11:28:39Z)
Topical Change Detection in Documents via Embeddings of Long Sequences [4.13878392637062]
テキストセグメンテーションのタスクを独立した教師付き予測タスクとして定式化する。類似セクションの段落を微調整することで、学習した特徴がトピック情報をエンコードすることを示すことができます。文レベルで操作する従来のアプローチとは異なり、我々は常により広いコンテキストを使用します。
論文参考訳（メタデータ） (2020-12-07T12:09:37Z)
Delaying Interaction Layers in Transformer-based Encoders for Efficient Open Domain Question Answering [3.111078740559015]
ドキュメントの大規模コーパス上でのオープンドメイン質問回答(ODQA)は、コンピュータ科学における重要な課題である。本稿では,トランスモデルのアーキテクチャに汎用的な変更を適用することで,より直接的な補完的ソリューションを提案する。結果の変種は、抽出作業における元のモデルと競合し、ODQA設定では、大幅なスピードアップ、そして多くのケースでパフォーマンス改善が可能である。
論文参考訳（メタデータ） (2020-10-16T14:36:38Z)
Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
論文参考訳（メタデータ） (2020-10-07T21:02:41Z)
Cluster-Former: Clustering-based Sparse Transformer for Long-Range Dependency Encoding [90.77031668988661]
Cluster-Formerはクラスタリングベースの新しいスパーストランスであり、チャンクされたシーケンスにまたがって注意を向ける。提案されたフレームワークは、Sliding-Window LayerとCluster-Former Layerの2つのユニークなタイプのTransformer Layerにピボットされている。実験によると、Cluster-Formerはいくつかの主要なQAベンチマークで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2020-09-13T22:09:30Z)
Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
論文参考訳（メタデータ） (2020-05-16T20:00:39Z)
Keyphrase Generation with Cross-Document Attention [28.565813544820553]
キーワード生成は、与えられた文書の本質を要約した一連のフレーズを作成することを目的としている。本稿では,トランスフォーマーをグローバルな注目を集めるキーフレーズ生成装置CDKGenを提案する。また,キーフレーズ中の語彙外単語を扱うために,文書から適切な単語を選択することで,モデルを強化するコピー機構も採用している。
論文参考訳（メタデータ） (2020-04-21T07:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。