論文の概要: PROM: A Phrase-level Copying Mechanism with Pre-training for Abstractive Summarization

• arxiv url: http://arxiv.org/abs/2305.06647v1
• Date: Thu, 11 May 2023 08:29:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 15:29:42.377345
• Title: PROM: A Phrase-level Copying Mechanism with Pre-training for Abstractive Summarization
• Title（参考訳）: PROM: 抽象要約のためのプレトレーニング付きフレーズレベルのコピー機構
• Authors: Xinbei Ma, Yeyun Gong, Pengcheng He, Hai Zhao, Nan Duan
• Abstract要約: 本研究は,n-gramの注目度を高める新しいPhRaseレベルのcOpying機構であるPROMを提案する。 PROMは、ソースからコピーできるn-gramのトークンを明示的にピックアップするインジケータ層を追加し、コピー予測の補助損失を算出する。 ゼロショット設定では、PROMは生コーパスの自己教師付き事前学習に利用され、広範囲の要約データセットに新しい一般的なベースラインを提供する。
• 参考スコア（独自算出の注目度）: 114.9553318097818
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Based on the remarkable achievements of pre-trained language models in abstractive summarization, the copying mechanism has proved helpful by improving the factuality, stability, and overall performance. This work proposes PROM, a new PhRase-level cOpying Mechanism that enhances attention on n-grams, which can be applied to zero-shot summarization with pre-training. PROM adds an indicator layer to explicitly pick up tokens in n-gram that can be copied from the source, and calculates an auxiliary loss for the copying prediction. Empirical studies show that PROM makes significant improvements in fine-tuning on benchmarks. In zero-shot setting, PROM is utilized in the self-supervised pre-training on raw corpora and provides new general baselines on a wide range of summarization datasets. Further analysis shows that PROM performs more reasonable copying and contributes to faithfulness.
• Abstract（参考訳）: 抽象的な要約における事前学習言語モデルの顕著な成果に基づき、このコピー機構は、事実性、安定性、全体的な性能を改善することで有用であることが証明された。 本研究は,n-gramに対する注意を高める新しいフレーズレベルのコピー機構であるpromを提案し,事前学習によるゼロショット要約に適用する。 PROMは、ソースからコピーできるn-gramのトークンを明示的にピックアップするインジケータ層を追加し、コピー予測の補助損失を算出する。 実証的研究により、PROMはベンチマークの微調整を大幅に改善していることが示された。 ゼロショット設定では、PROMは生コーパスの自己教師付き事前学習に利用され、広範囲の要約データセットに新しい一般的なベースラインを提供する。 さらなる分析により、PROMはより合理的なコピーを行い、忠実に寄与することが示された。

関連論文リスト

• Reconsidering Degeneration of Token Embeddings with Definitions for Encoder-based Pre-trained Language Models [20.107727903240065]
  本研究では,エンコーダに基づく言語モデルのための等方的および意味論的トークン埋め込みを再構築するために,DefindEMBを提案する。 本実験は,Wiktionaryの定義を応用し,そのような埋め込みを再構築する効果を実証する。
  論文  参考訳（メタデータ） (2024-08-02T15:00:05Z)
• RDBE: Reasoning Distillation-Based Evaluation Enhances Automatic Essay Scoring [0.0]
  Reasoning Distillation-Based Evaluation (RDBE) は、解釈可能性を統合し、モデルスコアの背景にある理論的根拠を解明する。 実験により, データセットに考慮したすべてのスコアリングルーリックに対してRDBEの有効性が示された。
  論文  参考訳（メタデータ） (2024-07-03T05:49:01Z)
• A Scalable and Efficient Iterative Method for Copying Machine Learning Classifiers [0.802904964931021]
  本稿では,機械学習モデルのコピーのトレーニングや維持に必要な計算資源を大幅に削減する,新しいシーケンシャルなアプローチを提案する。 シーケンシャルアプローチの有効性は、合成データセットと実世界のデータセットによる実験を通じて実証され、正確性を維持したり改善したりしながら、時間とリソースの大幅な削減を示す。
  論文  参考訳（メタデータ） (2023-02-06T10:07:41Z)
• Proposal Distribution Calibration for Few-Shot Object Detection [65.19808035019031]
  few-shot object detection (FSOD)では、重度のサンプル不均衡を軽減するために、2段階の訓練パラダイムが広く採用されている。 残念ながら、極端なデータ不足は、提案の分布バイアスを増大させ、RoIヘッドが新しいクラスに進化するのを妨げます。 本稿では,RoIヘッドのローカライゼーションと分類能力を高めるために,単純かつ効果的な提案分布キャリブレーション(PDC)手法を提案する。
  論文  参考訳（メタデータ） (2022-12-15T05:09:11Z)
• From Cloze to Comprehension: Retrofitting Pre-trained Masked Language Model to Pre-trained Machine Reader [130.45769668885487]
  Pre-trained Machine Reader (PMR) は、ラベル付きデータを取得することなく、MLMを事前学習機械読解(MRC)モデルに適合させる新しい手法である。 提案したPMRを構築するために,多量の汎用および高品質なMRCスタイルのトレーニングデータを構築した。 PMRは、MRCの定式化における様々な抽出および分類タスクに対処するための統一モデルとして機能する可能性がある。
  論文  参考訳（メタデータ） (2022-12-09T10:21:56Z)
• Interpretable Research Replication Prediction via Variational Contextual Consistency Sentence Masking [14.50690911709558]
  研究レプリケーション予測(Research Replication Prediction、RRP)は、公表された研究結果が複製可能かどうかを予測するタスクである。 本研究では,キー文を自動的に抽出するVCCSM法を提案する。 欧州人権条約 (ECHR) のデータセットとともに, RRP に関する実験の結果, VCCSM は長い文書分類作業において, モデル解釈可能性を向上させることができることを示した。
  論文  参考訳（メタデータ） (2022-03-28T03:27:13Z)
• AttentionHTR: Handwritten Text Recognition Based on Attention Encoder-Decoder Networks [0.0]
  本研究は,手書き単語認識のための注目に基づくシーケンス・ツー・シーケンス・モデルを提案する。 シーンテキストイメージに事前トレーニングされたモデルを、手書き認識モデルのカスタマイズに向けた出発点として活用する。 提案したエンドツーエンドHTRシステムの有効性は、新しいマルチライターデータセットで実証的に評価されている。
  論文  参考訳（メタデータ） (2022-01-23T22:48:36Z)
• On the Copying Behaviors of Pre-Training for Neural Machine Translation [63.914940899327966]
  これまでの研究で、ニューラルネットワーク翻訳(NMT)モデルを事前訓練言語モデル(LM)で初期化することは、モデルのトレーニングを高速化し、モデル性能を向上させることが示されている。 本研究では,NMTのトレーニング目標とNMTの訓練目標との相違から,NMTの事前訓練における重要な副作用を同定する。 本稿では,復号における複写動作を制御するために,複写ペナルティ(copying penalty)というシンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2021-07-17T10:02:30Z)
• Neural BRDF Representation and Importance Sampling [79.84316447473873]
  本稿では,リフレクタンスBRDFデータのコンパクトニューラルネットワークに基づく表現について述べる。 BRDFを軽量ネットワークとしてエンコードし、適応角サンプリングによるトレーニングスキームを提案する。 複数の実世界のデータセットから等方性および異方性BRDFの符号化結果を評価する。
  論文  参考訳（メタデータ） (2021-02-11T12:00:24Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。