論文の概要: Fine-tuning GPT-3 for Russian Text Summarization

• arxiv url: http://arxiv.org/abs/2108.03502v1
• Date: Sat, 7 Aug 2021 19:01:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-11 10:36:28.132229
• Title: Fine-tuning GPT-3 for Russian Text Summarization
• Title（参考訳）: ロシア語テキスト要約のための微調整GPT-3
• Authors: Alexandr Nikolich, Arina Puchkova
• Abstract要約: 本稿では,テキストを要約するruGPT3(ruGPT3)機能について紹介し,それに対応する人文要約を用いてロシア語ニュースのコーパスを微調整する。 得られたテキストを一連のメトリクスで評価し、アーキテクチャや損失関数に付加的な変更を加えることなく、我々のソリューションが最先端のモデルの性能を上回ることができることを示す。
• 参考スコア（独自算出の注目度）: 77.34726150561087
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic summarization techniques aim to shorten and generalize information given in the text while preserving its core message and the most relevant ideas. This task can be approached and treated with a variety of methods, however, not many attempts have been made to produce solutions specifically for the Russian language despite existing localizations of the state-of-the-art models. In this paper, we aim to showcase ruGPT3 ability to summarize texts, fine-tuning it on the corpora of Russian news with their corresponding human-generated summaries. Additionally, we employ hyperparameter tuning so that the model's output becomes less random and more tied to the original text. We evaluate the resulting texts with a set of metrics, showing that our solution can surpass the state-of-the-art model's performance without additional changes in architecture or loss function. Despite being able to produce sensible summaries, our model still suffers from a number of flaws, namely, it is prone to altering Named Entities present in the original text (such as surnames, places, dates), deviating from facts stated in the given document, and repeating the information in the summary.
• Abstract（参考訳）: 自動要約技術(automatic summarization techniques)は、コアメッセージと最も関連するアイデアを維持しながら、テキストに与えられる情報を短縮し、一般化することを目的としている。 このタスクは、様々な方法でアプローチし、処理することができるが、最先端のモデルの既存のローカライズにもかかわらず、ロシア語に特化したソリューションを作成する試みは、それほど多く行われていない。 本稿では,ロシアニュースのコーポラ上でテキストを要約するrugpt3機能を紹介することを目的としている。 さらに、モデルの出力がランダムになりにくくなり、元のテキストに結びつくように、ハイパーパラメータチューニングを採用する。 得られたテキストを一連のメトリクスで評価し、アーキテクチャや損失関数に付加的な変更を加えることなく、最先端のモデルの性能を超えることができることを示す。 感性のある要約を作成できたにもかかわらず,本モデルは,原文に含まれる名前付きエンティティ(姓,地名,日付など)の変更や,所定の文書に記載された事実からの逸脱,要約の情報の繰り返しなど,多くの欠陥を抱えている。

関連論文リスト

• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Factually Consistent Summarization via Reinforcement Learning with Textual Entailment Feedback [57.816210168909286]
  我々は,この問題を抽象的な要約システムで解くために,テキストエンテーメントモデルの最近の進歩を活用している。 我々は、事実整合性を最適化するために、レファレンスフリーのテキストエンターメント報酬を用いた強化学習を用いる。 自動測定と人的評価の両結果から,提案手法は生成した要約の忠実さ,サリエンス,簡潔さを著しく向上させることが示された。
  論文  参考訳（メタデータ） (2023-05-31T21:04:04Z)
• On Improving Summarization Factual Consistency from Natural Language Feedback [35.03102318835244]
  自然言語における情報フィードバックが生成品質とユーザの嗜好の整合性を改善するために活用できるかどうかを検討する。 人間の実演と情報自然言語フィードバックを含む高品質なデータセットであるDeFactoを収集する。 DeFactoは、現実的に一貫性のある人文編集の要約を提供することができる。
  論文  参考訳（メタデータ） (2022-12-20T02:47:37Z)
• Enriching and Controlling Global Semantics for Text Summarization [11.037667460077813]
  トランスフォーマーに基づくモデルは、流動的で情報的な要約を作成することで抽象的な要約タスクに有効であることが証明されている。 文書のグローバルな意味を捉えるために,正規化フローを付与したニューラルトピックモデルを導入し,それを要約モデルに統合する。 本手法は,5つの共通テキスト要約データセットにおいて,最先端の要約モデルより優れる。
  論文  参考訳（メタデータ） (2021-09-22T09:31:50Z)
• ARMAN: Pre-training with Semantically Selecting and Reordering of Sentences for Persian Abstractive Summarization [7.16879432974126]
  本稿では,トランスフォーマーをベースとしたエンコーダデコーダモデルARMANを提案する。 ARMANでは、修正されたセマンティックスコアに基づいて文書からの有能な文が選択され、擬似要約を形成する。 提案手法は,ROUGEとBERTScoreで計測された6つの要約タスクに対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-09-09T08:35:39Z)
• The Factual Inconsistency Problem in Abstractive Text Summarization: A Survey [25.59111855107199]
  Seq2Seqフレームワークによって開発されたニューラルエンコーダデコーダモデルは、より抽象的な要約を生成するという目標を達成するために提案されている。 高いレベルでは、そのようなニューラルネットワークは、使用される単語やフレーズに制約を加えることなく、自由に要約を生成することができる。 しかし、神経モデルの抽象化能力は二重刃の剣である。
  論文  参考訳（メタデータ） (2021-04-30T08:46:13Z)
• TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
  NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。 普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
  論文  参考訳（メタデータ） (2021-03-21T17:20:38Z)
• Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
  Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。 我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。 実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2020-10-06T02:51:02Z)
• Towards Faithful Neural Table-to-Text Generation with Content-Matching Constraints [63.84063384518667]
  そこで本研究では,トランスフォーマーをベースとした新たな生成フレームワークを提案する。 忠実度を強制する手法の中核となる技術は、テーブル-テキストの最適トランスポート・マッチング・ロスである。 忠実度を評価するため,テーブル・ツー・テキスト生成問題に特化した新しい自動尺度を提案する。
  論文  参考訳（メタデータ） (2020-05-03T02:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。