論文の概要: Finding the Needle in a Haystack: Unsupervised Rationale Extraction from Long Text Classifiers

• arxiv url: http://arxiv.org/abs/2303.07991v1
• Date: Tue, 14 Mar 2023 15:45:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 14:24:13.128706
• Title: Finding the Needle in a Haystack: Unsupervised Rationale Extraction from Long Text Classifiers
• Title（参考訳）: 干し草の山から針を見つける:長いテキスト分類器からの教師なし合理的抽出
• Authors: Kamil Bujel, Andrew Caines, Helen Yannakoudakis and Marek Rei
• Abstract要約: 本稿では,RoBERTaを文的に適用し,トークンレベルで有意な有理を抽出する構成的ソフトアテンションアーキテクチャを提案する。 本手法は,感情分類データセットに基づいて,Longformer駆動のベースラインを大幅に上回る。
• 参考スコア（独自算出の注目度）: 20.10172411803626
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-sequence transformers are designed to improve the representation of longer texts by language models and their performance on downstream document-level tasks. However, not much is understood about the quality of token-level predictions in long-form models. We investigate the performance of such architectures in the context of document classification with unsupervised rationale extraction. We find standard soft attention methods to perform significantly worse when combined with the Longformer language model. We propose a compositional soft attention architecture that applies RoBERTa sentence-wise to extract plausible rationales at the token-level. We find this method to significantly outperform Longformer-driven baselines on sentiment classification datasets, while also exhibiting significantly lower runtimes.
• Abstract（参考訳）: 長文変換器は、言語モデルによる長文表現の改善と、下流の文書レベルのタスクにおけるその性能向上を目的として設計されている。 しかし、ロングフォームモデルにおけるトークンレベルの予測の品質についてはあまり理解されていない。 教師なし合理抽出を用いた文書分類の文脈におけるそのようなアーキテクチャの性能について検討する。 また,Longformer言語モデルと組み合わせた場合,標準的なソフトアテンション手法が著しく悪化することがわかった。 本稿では,RoBERTaを文的に適用し,トークンレベルで有意な有理を抽出する構成的ソフトアテンションアーキテクチャを提案する。 本手法は,感情分類データセットにおいて,Longformer主導のベースラインを大幅に上回るが,ランタイムも著しく低い。

関連論文リスト

• HanoiT: Enhancing Context-aware Translation via Selective Context [95.93730812799798]
  コンテキスト対応ニューラルネットワーク翻訳は、文書レベルのコンテキストを使用して翻訳品質を改善することを目的としている。 無関係または自明な単語は、いくつかのノイズをもたらし、モデルが現在の文と補助的な文脈の関係を学ぶのを邪魔する可能性がある。 そこで本稿では,階層的選択機構を備えたエンド・ツー・エンドのエンコーダ・デコーダモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-17T12:07:13Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• Modeling Context With Linear Attention for Scalable Document-Level Translation [72.41955536834702]
  本稿では,近年の文書翻訳における線形アテンションモデルの有効性について検討し,直流帰納バイアスを促進するためにセンデンシャルゲートで拡張する。 感性ゲーティングはIWSLTの翻訳品質をさらに向上させることを示す。
  論文  参考訳（メタデータ） (2022-10-16T03:41:50Z)
• Adapting Pretrained Text-to-Text Models for Long Text Sequences [39.62224414485055]
  我々は、時系列入力に既存の事前訓練されたテキスト・ツー・テキスト・モデルを適用する。 長文QAタスク上での競合性能を実現するための長文モデルを構築した。
  論文  参考訳（メタデータ） (2022-09-21T00:41:07Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• TopNet: Learning from Neural Topic Model to Generate Long Stories [43.5564336855688]
  Long Story Generation (LSG) は自然言語処理における目標の1つである。 短い入力を補完する高品質なスケルトン語を得るために,emphTopNetを提案する。 提案手法は骨格語選択に極めて有効であり, 自動評価と人的評価の両方において最先端のモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-12-14T09:47:53Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Do Long-Range Language Models Actually Use Long-Range Context? [27.084888397778823]
  言語モデルは一般的に、短絡した入力シーケンスに基づいて訓練される。 近年の自己注意の効率向上に向けた取り組みは、長距離トランスフォーマー言語モデルの普及につながっている。
  論文  参考訳（メタデータ） (2021-09-19T12:49:43Z)
• Long Text Generation by Modeling Sentence-Level and Discourse-Level Coherence [59.51720326054546]
  本稿では,デコード処理における文レベルと談話レベルにおけるプレフィックス文を表現可能な長文生成モデルを提案する。 我々のモデルは最先端のベースラインよりも一貫性のあるテキストを生成することができる。
  論文  参考訳（メタデータ） (2021-05-19T07:29:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。