論文の概要: The Influence of Data Pre-processing and Post-processing on Long Document Summarization

• arxiv url: http://arxiv.org/abs/2112.01660v1
• Date: Fri, 3 Dec 2021 00:56:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-06 14:32:27.884387
• Title: The Influence of Data Pre-processing and Post-processing on Long Document Summarization
• Title（参考訳）: データ前処理と後処理が長期文書要約に及ぼす影響
• Authors: Xinwei Du, Kailun Dong, Yuchen Zhang, Yongsheng Li, Ruei-Yu Tsay
• Abstract要約: 長い文書要約の優れたパフォーマンスは、モデルが人間の言語を十分に理解していることを明らかにする。 本稿では,2つの前処理法と後処理法を用いて,これらの手法が様々な長期文書要約モデルに与える影響を解析する。
• 参考スコア（独自算出の注目度）: 2.0007592415850683
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long document summarization is an important and hard task in the field of natural language processing. A good performance of the long document summarization reveals the model has a decent understanding of the human language. Currently, most researches focus on how to modify the attention mechanism of the transformer to achieve a higher ROUGE score. The study of data pre-processing and post-processing are relatively few. In this paper, we use two pre-processing methods and a post-processing method and analyze the effect of these methods on various long document summarization models.
• Abstract（参考訳）: 長い文書要約は自然言語処理の分野で重要かつ困難なタスクである。 長い文書要約の優れたパフォーマンスは、モデルが人間の言語を十分に理解していることを明らかにする。 現在、ほとんどの研究は、高いROUGEスコアを達成するためにトランスフォーマーの注意機構を変更する方法に焦点を当てている。 データ前処理と後処理の研究は比較的少ない。 本稿では,2つの前処理法と後処理法を用いて,これらの手法が各種長文要約モデルに与える影響を分析する。

関連論文リスト

• Scalable Influence and Fact Tracing for Large Language Model Pretraining [14.598556308631018]
  トレーニングデータ属性(TDA)メソッドは、特定のトレーニング例にモデル出力を振り返ることを目的としている。 本稿では,既存の勾配法を改良し,大規模に効果的に機能させる。
  論文  参考訳（メタデータ） (2024-10-22T20:39:21Z)
• A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
  復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。 本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。 その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-10T11:14:53Z)
• DECDM: Document Enhancement using Cycle-Consistent Diffusion Models [3.3813766129849845]
  近年の拡散モデルに触発された文書レベルの画像変換手法であるDECDMを提案する。 本手法は,ソース(ノイズ入力)とターゲット(クリーン出力)モデルを独立にトレーニングすることで,ペアトレーニングの限界を克服する。 また、翻訳中の文字・グリフ保存を改善するための単純なデータ拡張戦略も導入する。
  論文  参考訳（メタデータ） (2023-11-16T07:16:02Z)
• Peek Across: Improving Multi-Document Modeling via Cross-Document Question-Answering [49.85790367128085]
  我々は,事前学習対象に答える新しいクロスドキュメント質問から,汎用的なマルチドキュメントモデルを事前学習する。 この新規なマルチドキュメントQA定式化は、クロステキスト情報関係をよりよく回復させるようモデルに指示する。 分類タスクや要約タスクに焦点を当てた従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成と長いテキスト生成の両方を含むタスクを実行できる。
  論文  参考訳（メタデータ） (2023-05-24T17:48:40Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• An overview of mixing augmentation methods and augmentation strategies [0.0]
  このレビューは、主に2017年から2021年までの上位層会議や主要雑誌の資料に掲載されている手法を取り上げている。 本調査では,画像混合と拡張戦略の自動選択という,2つのDA研究ストリームに焦点を当てた。
  論文  参考訳（メタデータ） (2021-07-21T05:58:06Z)
• Knowledge-Aware Procedural Text Understanding with Multi-Stage Training [110.93934567725826]
  本稿では,このような文書の理解とプロセス中のエンティティの状態や場所の追跡を目的とした手続き的テキスト理解の課題に焦点をあてる。 常識的推論の難しさとデータ不足という2つの課題はまだ未解決のままである。 我々は、複数の外部知識を効果的に活用する、KnOwledge-Aware ProceduraL text understAnding (KOALA)モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-28T10:28:40Z)
• Subtask Analysis of Process Data Through a Predictive Model [5.7668512557707166]
  本稿では,そのようなプロセスデータの探索的解析のための計算効率の良い手法を開発した。 新しいアプローチでは、長い個々のプロセスを短いサブプロセスのシーケンスに分割することで、複雑性の低減を実現している。 PIAAC 2012のプロセスデータを用いて、新しいアプローチでプロセスデータの探索分析がどのように行えるかを示す。
  論文  参考訳（メタデータ） (2020-08-29T21:11:01Z)
• A Divide-and-Conquer Approach to the Summarization of Long Documents [4.863209463405628]
  本稿では,長い文書のニューラル・サマライゼーションのための分割・畳み込み手法を提案する。 本手法は文書の談話構造を利用して,文の類似性を利用して問題をより小さな要約問題に分割する。 本稿では,シーケンス・ツー・シーケンスのRNNやトランスフォーマーなど,様々な要約モデルと組み合わせることで,要約性能の向上が期待できることを示す。
  論文  参考訳（メタデータ） (2020-04-13T20:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。