論文の概要: Challenges in Domain-Specific Abstractive Summarization and How to
Overcome them
- arxiv url: http://arxiv.org/abs/2307.00963v1
- Date: Mon, 3 Jul 2023 12:26:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 13:20:58.010248
- Title: Challenges in Domain-Specific Abstractive Summarization and How to
Overcome them
- Title(参考訳): ドメイン固有の抽象要約の課題と克服方法
- Authors: Anum Afzal, Juraj Vladika, Daniel Braun, Florian Matthes
- Abstract要約: 大規模言語モデルは、ドメイン固有の抽象的テキスト要約のようなタスクに使用される際のいくつかの制限を示す。
本稿では,これら3つの制約を抽象的テキスト要約の文脈における研究問題として挙げる。
- 参考スコア(独自算出の注目度): 0.6021787236982659
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models work quite well with general-purpose data and many
tasks in Natural Language Processing. However, they show several limitations
when used for a task such as domain-specific abstractive text summarization.
This paper identifies three of those limitations as research problems in the
context of abstractive text summarization: 1) Quadratic complexity of
transformer-based models with respect to the input text length; 2) Model
Hallucination, which is a model's ability to generate factually incorrect text;
and 3) Domain Shift, which happens when the distribution of the model's
training and test corpus is not the same. Along with a discussion of the open
research questions, this paper also provides an assessment of existing
state-of-the-art techniques relevant to domain-specific text summarization to
address the research gaps.
- Abstract(参考訳): 大規模言語モデルは、自然言語処理における汎用データや多くのタスクとよく機能します。
しかし、ドメイン固有の抽象テキスト要約のようなタスクに使用する場合、いくつかの制限がある。
本稿では,これら3つの制約を抽象テキスト要約の文脈における研究問題として挙げる。
1) 入力テキスト長に関する変圧器に基づくモデルの二次的複雑さ
2)モデル幻覚は,事実的不正確なテキストを生成できるモデルの能力である。
3) モデルのトレーニングとテストコーパスの分布が同じでない場合に発生するドメインシフト。
オープンな研究課題の議論とともに、本論文は、研究ギャップに対処するために、ドメイン固有のテキスト要約に関連する既存の最先端技術の評価も提供する。
関連論文リスト
- Detecting Statements in Text: A Domain-Agnostic Few-Shot Solution [1.3654846342364308]
最先端のアプローチは通常、作成にコストがかかる大規模な注釈付きデータセット上の微調整モデルを含む。
本稿では,クレームに基づくテキスト分類タスクの共通パラダイムとして,定性的で多目的な少ショット学習手法の提案とリリースを行う。
本手法は,気候変動対策,トピック/スタンス分類,うつ病関連症状検出の3つの課題の文脈で説明する。
論文 参考訳(メタデータ) (2024-05-09T12:03:38Z) - How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳(メタデータ) (2023-11-14T08:51:00Z) - Disentangling Extraction and Reasoning in Multi-hop Spatial Reasoning [22.29014955741122]
我々は,この課題に対処するモデルにおいて,情報抽出と推論のプロセスを切り離すことの潜在的な利点について検討する。
実験結果から,現実的なデータ領域におけるモデルの一般化性を高める能力を示すとともに,解離の有効性を一貫して示している。
論文 参考訳(メタデータ) (2023-10-25T16:00:47Z) - Fine-tuning GPT-3 for Russian Text Summarization [77.34726150561087]
本稿では,テキストを要約するruGPT3(ruGPT3)機能について紹介し,それに対応する人文要約を用いてロシア語ニュースのコーパスを微調整する。
得られたテキストを一連のメトリクスで評価し、アーキテクチャや損失関数に付加的な変更を加えることなく、我々のソリューションが最先端のモデルの性能を上回ることができることを示す。
論文 参考訳(メタデータ) (2021-08-07T19:01:40Z) - The Factual Inconsistency Problem in Abstractive Text Summarization: A
Survey [25.59111855107199]
Seq2Seqフレームワークによって開発されたニューラルエンコーダデコーダモデルは、より抽象的な要約を生成するという目標を達成するために提案されている。
高いレベルでは、そのようなニューラルネットワークは、使用される単語やフレーズに制約を加えることなく、自由に要約を生成することができる。
しかし、神経モデルの抽象化能力は二重刃の剣である。
論文 参考訳(メタデータ) (2021-04-30T08:46:13Z) - WikiAsp: A Dataset for Multi-domain Aspect-based Summarization [69.13865812754058]
マルチドメインアスペクトベースの要約のための大規模データセットであるWikiAspを提案する。
具体的には、アスペクトアノテーションのプロキシとして、各記事のセクションタイトルとバウンダリを使用して、20の異なるドメインからウィキペディア記事を使用してデータセットを構築します。
その結果,既存の要約モデルがこの設定で直面する重要な課題,例えば引用されたソースの適切な代名詞処理,時間に敏感なイベントの一貫した説明などが浮き彫りになった。
論文 参考訳(メタデータ) (2020-11-16T10:02:52Z) - Topic-Centric Unsupervised Multi-Document Summarization of Scientific
and News Articles [3.0504782036247438]
本稿では,トピック中心のマルチドキュメント要約フレームワークを提案し,抽象的な要約を生成する。
提案アルゴリズムは,有能な言語単位選択とテキスト生成技術を開発することにより,抽象的な要約を生成する。
提案手法は,自動抽出評価指標を用いて評価した場合の最先端技術と一致し,人間の5つの評価指標の抽象的要約に優れる。
論文 参考訳(メタデータ) (2020-11-03T04:04:21Z) - The Devil is in the Details: Evaluating Limitations of Transformer-based
Methods for Granular Tasks [19.099852869845495]
トランスフォーマーベースのニューラルネットワークモデルから派生したコンテキスト埋め込みは、様々なタスクに対して最先端のパフォーマンスを示している。
本稿では,文書の粒度の一致と抽象レベルという2つの観点から,テキストの類似性の問題に焦点をあてる。
異なるドメインからの2つのデータセットに対して、期待されるように抽象的なドキュメントマッチングのパフォーマンスが高いにもかかわらず、コンテキスト埋め込みは、よりきめ細かいタスクのためにTF-IDFのような単純なベースラインによって一貫して(そして非常に)パフォーマンスが向上していることを実証的に実証した。
論文 参考訳(メタデータ) (2020-11-02T18:41:32Z) - Positioning yourself in the maze of Neural Text Generation: A
Task-Agnostic Survey [54.34370423151014]
本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。
本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
論文 参考訳(メタデータ) (2020-10-14T17:54:42Z) - Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。
我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。
実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
論文 参考訳(メタデータ) (2020-10-06T02:51:02Z) - How Far are We from Effective Context Modeling? An Exploratory Study on
Semantic Parsing in Context [59.13515950353125]
文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。
我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
論文 参考訳(メタデータ) (2020-02-03T11:28:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。