論文の概要: Probing of Quantitative Values in Abstractive Summarization Models

• arxiv url: http://arxiv.org/abs/2210.00667v1
• Date: Mon, 3 Oct 2022 00:59:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 15:07:59.850793
• Title: Probing of Quantitative Values in Abstractive Summarization Models
• Title（参考訳）: 抽象要約モデルにおける量的値の探索
• Authors: Nathan M. White
• Abstract要約: 入力テキスト中の定量値の抽象要約モデルによるモデリングの有効性を評価する。 以上の結果から,最近のSOTA性能モデルのエンコーダは,量的価値を適切に表現する埋め込みの提供に苦慮していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Abstractive text summarization has recently become a popular approach, but data hallucination remains a serious problem, including with quantitative data. We propose a set of probing tests to evaluate the efficacy of abstract summarization models' modeling of quantitative values found in the input text. Our results show that in most cases, the encoders of recent SOTA-performing models struggle to provide embeddings that adequately represent quantitative values in the input compared to baselines, and in particular, they outperform random representations in some, but surprisingly not all, cases. Under our assumptions, this suggests that the encoder's performance contributes to the quantity hallucination problem. One model type in particular, DistilBART-CDM, was observed to underperform randomly initialized representations for several experiments, and performance versus BERT suggests that standard pretraining and fine-tuning approaches for the summarization task may play a role in underperformance for some encoders.
• Abstract（参考訳）: 抽象テキスト要約は近年,一般的なアプローチとなっているが,定量的データを含む,データの幻覚は依然として深刻な問題である。 本稿では,入力テキスト中の定量値の抽象要約モデルによるモデリングの有効性を評価するための探索テストセットを提案する。 以上の結果から,最近の sota-performing モデルのエンコーダは,入力の量的値をベースラインと比較して適切に表現できる組込みの提供に苦慮しており,特にランダム表現を上回っているが,すべてではない。 本仮説では,エンコーダの性能が量幻覚問題に寄与することを示唆する。 特にdistilbart-cdmというモデルタイプは、いくつかの実験でランダムに初期化された表現を過小評価することが観察され、パフォーマンス対bertは、要約タスクに対する標準的な事前訓練と微調整のアプローチが、いくつかのエンコーダの低パフォーマンスに役割を果たすかもしれないことを示唆している。

関連論文リスト

• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Outlier Gradient Analysis: Efficiently Identifying Detrimental Training Samples for Deep Learning Models [36.05242956018461]
  本稿では,影響関数と外乱勾配検出による有害トレーニングサンプルの同定とを橋渡しする。 まず, 合成データセットにおける外乱勾配解析手法の仮説を検証した。 次に、視覚モデルにおける誤ラベルサンプルの検出と、自然言語処理トランスフォーマーモデルの性能向上のためのデータサンプル選択の有効性を示す。
  論文  参考訳（メタデータ） (2024-05-06T21:34:46Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Zero-Shot Multi-task Hallucination Detection [8.539639901976594]
  幻覚は、生成したテキストがソースへの忠実さを欠いているモデルにおいて、創発的な状態である。 幻覚を正式に定義し,ゼロショット設定における定量的検出のための枠組みを提案する。 幻覚検出では, モデル認識設定では0.78, モデル認識設定では0.61の精度が得られた。
  論文  参考訳（メタデータ） (2024-03-18T20:50:26Z)
• AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
  抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。 提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
  論文  参考訳（メタデータ） (2023-11-16T02:56:29Z)
• Improving the Robustness of Summarization Models by Detecting and Removing Input Noise [50.27105057899601]
  本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。 本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T00:33:11Z)
• Tokenization Consistency Matters for Generative Models on Extractive NLP Tasks [54.306234256074255]
  生成モデルの訓練において一般的に無視されるトークン化の不整合の問題を特定する。 この問題は、入力と出力が無矛盾にトークン化されると、これらのタスクの抽出特性を損なう。 一貫性のあるトークン化では、ドメイン内のデータセットとドメイン外のデータセットの両方で、モデルのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2022-12-19T23:33:21Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Zero-shot Adversarial Quantization [11.722728148523366]
  ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。 これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。 強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
  論文  参考訳（メタデータ） (2021-03-29T01:33:34Z)
• On a Guided Nonnegative Matrix Factorization [9.813862201223973]
  本研究では,非負行列分解(NMF)モデルに基づく手法を提案する。 実験により,本モデルの可能性を実証し,極めて少ない監督情報しか持たない他の手法と競合することを示す。
  論文  参考訳（メタデータ） (2020-10-22T01:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。