論文の概要: Probing of Quantitative Values in Abstractive Summarization Models
- arxiv url: http://arxiv.org/abs/2210.00667v1
- Date: Mon, 3 Oct 2022 00:59:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 15:07:59.850793
- Title: Probing of Quantitative Values in Abstractive Summarization Models
- Title(参考訳): 抽象要約モデルにおける量的値の探索
- Authors: Nathan M. White
- Abstract要約: 入力テキスト中の定量値の抽象要約モデルによるモデリングの有効性を評価する。
以上の結果から,最近のSOTA性能モデルのエンコーダは,量的価値を適切に表現する埋め込みの提供に苦慮していることが明らかとなった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Abstractive text summarization has recently become a popular approach, but
data hallucination remains a serious problem, including with quantitative data.
We propose a set of probing tests to evaluate the efficacy of abstract
summarization models' modeling of quantitative values found in the input text.
Our results show that in most cases, the encoders of recent SOTA-performing
models struggle to provide embeddings that adequately represent quantitative
values in the input compared to baselines, and in particular, they outperform
random representations in some, but surprisingly not all, cases. Under our
assumptions, this suggests that the encoder's performance contributes to the
quantity hallucination problem. One model type in particular, DistilBART-CDM,
was observed to underperform randomly initialized representations for several
experiments, and performance versus BERT suggests that standard pretraining and
fine-tuning approaches for the summarization task may play a role in
underperformance for some encoders.
- Abstract(参考訳): 抽象テキスト要約は近年,一般的なアプローチとなっているが,定量的データを含む,データの幻覚は依然として深刻な問題である。
本稿では,入力テキスト中の定量値の抽象要約モデルによるモデリングの有効性を評価するための探索テストセットを提案する。
以上の結果から,最近の sota-performing モデルのエンコーダは,入力の量的値をベースラインと比較して適切に表現できる組込みの提供に苦慮しており,特にランダム表現を上回っているが,すべてではない。
本仮説では,エンコーダの性能が量幻覚問題に寄与することを示唆する。
特にdistilbart-cdmというモデルタイプは、いくつかの実験でランダムに初期化された表現を過小評価することが観察され、パフォーマンス対bertは、要約タスクに対する標準的な事前訓練と微調整のアプローチが、いくつかのエンコーダの低パフォーマンスに役割を果たすかもしれないことを示唆している。
関連論文リスト
- AMRFact: Enhancing Summarization Factuality Evaluation with AMR-driven
Training Data Generation [63.18211192998151]
本稿では,現実的に一貫性のない要約を生成する新しいフレームワークであるAMRFactを提案する。
提案手法は, 現実的に正しい要約をAMRグラフに解析し, 否定的な例を生成するために制御された事実矛盾を注入する。
提案手法は,AggreFact-SOTAデータセットにおいて,従来のシステムよりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2023-11-16T02:56:29Z) - Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。
本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
論文 参考訳(メタデータ) (2022-12-20T19:29:37Z) - Improving the Robustness of Summarization Models by Detecting and
Removing Input Noise [50.27105057899601]
本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。
本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
論文 参考訳(メタデータ) (2022-12-20T00:33:11Z) - Tokenization Consistency Matters for Generative Models on Extractive NLP
Tasks [54.306234256074255]
生成モデルの訓練において一般的に無視されるトークン化の不整合の問題を特定する。
この問題は、入力と出力が無矛盾にトークン化されると、これらのタスクの抽出特性を損なう。
一貫性のあるトークン化では、ドメイン内のデータセットとドメイン外のデータセットの両方で、モデルのパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2022-12-19T23:33:21Z) - Improving Pre-trained Language Model Fine-tuning with Noise Stability
Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。
具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。
提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-06-12T04:42:49Z) - DQ-BART: Efficient Sequence-to-Sequence Model via Joint Distillation and
Quantization [75.72231742114951]
BARTやT5のような大規模事前学習シーケンス・ツー・シーケンスモデルは、多くの生成NLPタスクで最先端のパフォーマンスを達成する。
これらのモデルは、大きなメモリ要件と高いレイテンシのため、リソース制約のあるシナリオにおいて大きな課題となる。
そこで,本論文では,教師モデルから学生モデルへの知識の伝達と,学生モデルの定量化と定量化について提案する。
論文 参考訳(メタデータ) (2022-03-21T18:04:25Z) - Zero-shot Adversarial Quantization [11.722728148523366]
ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。
これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。
強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
論文 参考訳(メタデータ) (2021-03-29T01:33:34Z) - On a Guided Nonnegative Matrix Factorization [9.813862201223973]
本研究では,非負行列分解(NMF)モデルに基づく手法を提案する。
実験により,本モデルの可能性を実証し,極めて少ない監督情報しか持たない他の手法と競合することを示す。
論文 参考訳(メタデータ) (2020-10-22T01:06:17Z) - Estimating Example Difficulty Using Variance of Gradients [5.69361786082969]
VoG(Variance of Gradients)は、データのランク付けを難しくする指標である。
ここでは,VoGはデータのランク付けに難易度の高い指標であることを示す。
論文 参考訳(メタデータ) (2020-08-26T14:53:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。