論文の概要: Transformer Models for Text Coherence Assessment
- arxiv url: http://arxiv.org/abs/2109.02176v1
- Date: Sun, 5 Sep 2021 22:27:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-08 03:21:25.364773
- Title: Transformer Models for Text Coherence Assessment
- Title(参考訳): テキストコヒーレンス評価のためのトランスフォーマーモデル
- Authors: Tushar Abhishek, Daksh Rawat, Manish Gupta, and Vasudeva Varma
- Abstract要約: コヒーレンス(coherence)は、テキストの品質の重要な側面であり、その可読性を保証するために不可欠である。
これまでの研究は、エンティティベースの手法、構文パターン、談話関係、最近ではテキストコヒーレンスアセスメントのための従来のディープラーニングアーキテクチャを活用してきた。
バニラ変換器,階層変換器,マルチタスク学習モデル,ファクトベース入力表現モデルという4つの異なるトランスフォーマーアーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 14.132559978971377
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coherence is an important aspect of text quality and is crucial for ensuring
its readability. It is essential desirable for outputs from text generation
systems like summarization, question answering, machine translation, question
generation, table-to-text, etc. An automated coherence scoring model is also
helpful in essay scoring or providing writing feedback. A large body of
previous work has leveraged entity-based methods, syntactic patterns, discourse
relations, and more recently traditional deep learning architectures for text
coherence assessment. Previous work suffers from drawbacks like the inability
to handle long-range dependencies, out-of-vocabulary words, or model sequence
information. We hypothesize that coherence assessment is a cognitively complex
task that requires deeper models and can benefit from other related tasks.
Accordingly, in this paper, we propose four different Transformer-based
architectures for the task: vanilla Transformer, hierarchical Transformer,
multi-task learning-based model, and a model with fact-based input
representation. Our experiments with popular benchmark datasets across multiple
domains on four different coherence assessment tasks demonstrate that our
models achieve state-of-the-art results outperforming existing models by a good
margin.
- Abstract(参考訳): コヒーレンスはテキスト品質の重要な側面であり、その可読性を確保するために重要である。
要約,質問応答,機械翻訳,質問生成,テーブル・ツー・テキストなど,テキスト生成システムからの出力には必須である。
自動コヒーレンススコアリングモデルは、エッセイスコアリングや書き込みフィードバックの提供にも役立ちます。
これまでの多くの研究は、エンティティベースの手法、構文パターン、談話関係、さらに最近ではテキストコヒーレンスアセスメントのための従来のディープラーニングアーキテクチャを活用してきた。
これまでの作業では、長距離依存関係の処理不能、語彙外単語、モデルシーケンス情報といった欠点に苦しめられている。
コヒーレンス評価は認知的に複雑なタスクであり、より深いモデルが必要であり、他の関連するタスクの恩恵を受けることができると仮定する。
そこで本稿では,このタスクに対して,バニラトランス,階層的トランスフォーマ,マルチタスク学習ベースモデル,ファクトベース入力表現モデルという4種類のトランスフォーマアーキテクチャを提案する。
4つの異なるコヒーレンス評価タスクで、複数のドメインにまたがる人気のあるベンチマークデータセットを用いて実験を行い、既存のモデルよりも優れた結果が得られることを示した。
関連論文リスト
- Extensive Evaluation of Transformer-based Architectures for Adverse Drug
Events Extraction [6.78974856327994]
逆イベント(ADE)抽出は、デジタル製薬における中核的なタスクの1つである。
我々は、非公式テキストを用いたADE抽出のための19のトランスフォーマーモデルを評価する。
分析の最後には、実験データから導出可能なテイクホームメッセージのリストを同定する。
論文 参考訳(メタデータ) (2023-06-08T15:25:24Z) - Large Language Models are Diverse Role-Players for Summarization
Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。
BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。
目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-27T10:40:59Z) - Model Criticism for Long-Form Text Generation [113.13900836015122]
我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。
我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。
トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
論文 参考訳(メタデータ) (2022-10-16T04:35:58Z) - Multi-Modal Experience Inspired AI Creation [15.780729577587673]
シーケンシャルなマルチモーダル情報に基づいてテキストを生成する方法について検討する。
まず,マルチモーダルアテンションネットワークを備えたマルチチャネルシーケンス・ツー・シーケンスアーキテクチャを設計する。
次に、逐次入力に適したカリキュラム負サンプリング戦略を提案する。
論文 参考訳(メタデータ) (2022-09-02T11:50:41Z) - Logical Reasoning for Task Oriented Dialogue Systems [57.440956636333325]
本稿では,ロバータやT5などの変圧器モデルに対して,与えられた対話コンテキストにおける事実の集合を推論する新しい手法を提案する。
本手法は,モデルが論理関係を学習するのに役立つ合成データ生成機構を含む。
対話コンテキストが全ての必要な情報を含む場合、変換器に基づくモデルが論理的推論を行い、質問に答えることを示す。
論文 参考訳(メタデータ) (2022-02-08T21:46:27Z) - Improving Generation and Evaluation of Visual Stories via Semantic
Consistency [72.00815192668193]
一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。
それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。
従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
論文 参考訳(メタデータ) (2021-05-20T20:42:42Z) - Syntax-Enhanced Pre-trained Model [49.1659635460369]
BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。
既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。
事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
論文 参考訳(メタデータ) (2020-12-28T06:48:04Z) - The Devil is in the Details: Evaluating Limitations of Transformer-based
Methods for Granular Tasks [19.099852869845495]
トランスフォーマーベースのニューラルネットワークモデルから派生したコンテキスト埋め込みは、様々なタスクに対して最先端のパフォーマンスを示している。
本稿では,文書の粒度の一致と抽象レベルという2つの観点から,テキストの類似性の問題に焦点をあてる。
異なるドメインからの2つのデータセットに対して、期待されるように抽象的なドキュメントマッチングのパフォーマンスが高いにもかかわらず、コンテキスト埋め込みは、よりきめ細かいタスクのためにTF-IDFのような単純なベースラインによって一貫して(そして非常に)パフォーマンスが向上していることを実証的に実証した。
論文 参考訳(メタデータ) (2020-11-02T18:41:32Z) - FAT ALBERT: Finding Answers in Large Texts using Semantic Similarity
Attention Layer based on BERT [0.5772546394254112]
本研究では,最先端の変圧器ネットワークであるBERTをベースとしたモデルを構築した。
私たちは、テスト精度87.79%のリーダーボードで第1位にランクされています。
論文 参考訳(メタデータ) (2020-08-22T08:04:21Z) - Towards Faithful Neural Table-to-Text Generation with Content-Matching
Constraints [63.84063384518667]
そこで本研究では,トランスフォーマーをベースとした新たな生成フレームワークを提案する。
忠実度を強制する手法の中核となる技術は、テーブル-テキストの最適トランスポート・マッチング・ロスである。
忠実度を評価するため,テーブル・ツー・テキスト生成問題に特化した新しい自動尺度を提案する。
論文 参考訳(メタデータ) (2020-05-03T02:54:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。