論文の概要: Calibrating Likelihoods towards Consistency in Summarization Models

• arxiv url: http://arxiv.org/abs/2310.08764v1
• Date: Thu, 12 Oct 2023 23:17:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 15:14:11.284186
• Title: Calibrating Likelihoods towards Consistency in Summarization Models
• Title（参考訳）: 要約モデルにおける類似性の校正
• Authors: Polina Zablotskaia, Misha Khalman, Rishabh Joshi, Livio Baldini Soares, Shoshana Jakobovits, Joshua Maynez, Shashi Narayan
• Abstract要約: このような振る舞いの主な理由は、最大極大目標で訓練された要約モデルが、文脈が与えられた有理系列に高い確率を割り当てることである。 本研究では、自然言語推論(NLI)モデルにより測定された一貫性の測定値と整合性を高めるために、モデル生成シーケンスの可能性を校正することで、この問題を解決する。
• 参考スコア（独自算出の注目度）: 22.023863165579602
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite the recent advances in abstractive text summarization, current summarization models still suffer from generating factually inconsistent summaries, reducing their utility for real-world application. We argue that the main reason for such behavior is that the summarization models trained with maximum likelihood objective assign high probability to plausible sequences given the context, but they often do not accurately rank sequences by their consistency. In this work, we solve this problem by calibrating the likelihood of model generated sequences to better align with a consistency metric measured by natural language inference (NLI) models. The human evaluation study and automatic metrics show that the calibrated models generate more consistent and higher-quality summaries. We also show that the models trained using our method return probabilities that are better aligned with the NLI scores, which significantly increase reliability of summarization models.
• Abstract（参考訳）: 抽象テキスト要約の最近の進歩にもかかわらず、現在の要約モデルは、現実的に一貫性のない要約を生成することに苦しむ。 このような行動の主な理由は、最大確率目標で訓練された要約モデルが、文脈が与えられた可能性の高い列に高い確率を割り当てるが、一貫性によって順序を正確にランク付けしないことが多いためである。 本研究では,自然言語推論(nli)モデルによって測定された一貫性測定値に適合するように,モデル生成シーケンスの可能性を調整することにより,この問題を解決した。 human evaluation studyとautomatic metricsは、キャリブレーションされたモデルがより一貫性があり、より高品質な要約を生成することを示している。 また,本手法を用いて学習したモデルでは,nliスコアとの整合が良好で,要約モデルの信頼性が著しく向上することを示す。

関連論文リスト

• Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
  そこで本研究では,繰り返しのトレーニングにおいて安定な機械学習モデルのシーケンスを見つける手法を提案する。 最適モデルの復元が保証される混合整数最適化の定式化を開発する。 本手法は, 予測力の小さい, 制御可能な犠牲を伴い, 厳密に訓練されたモデルよりも強い安定性を示す。
  論文  参考訳（メタデータ） (2024-03-28T22:45:38Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling [56.70682379371534]
  提案手法は, 誤要約の修正において, 従来手法よりもはるかに優れていることを示す。 我々のモデルであるFactEditは、CNN/DMで11点、XSumで31点以上のファクトリティスコアを改善する。
  論文  参考訳（メタデータ） (2022-10-22T07:16:19Z)
• Calibrating Sequence likelihood Improves Conditional Language Generation [39.35161650538767]
  条件言語モデルは主に最大推定(MLE)を用いて訓練される MLEの訓練されたモデルは、文脈が与えられた場合、高い確率を可算列に割り当てるが、モデル確率は、品質によって正確なランク順生成列を割り当てないことが多い。 本稿では,モデルの潜在空間における参照シーケンスとの整合性を高めるために,モデル生成シーケンスのキャリブレーションを行うSLiC(Sequence chance calibration)を提案する。
  論文  参考訳（メタデータ） (2022-09-30T19:16:16Z)
• Rethinking Self-Supervision Objectives for Generalizable Coherence Modeling [8.329870357145927]
  機械生成テキストのコヒーレンス評価は、検討すべきコヒーレンスモデルの主要な応用の1つである。 タスク全体にわたってうまく一般化するモデルをもたらす訓練データと自己超越目標について検討する。 本研究では, 負サンプルの密度の増加が基本モデルを改善することを実証的に示し, 大域的負のキューを用いることで, 強負のサンプルを訓練しながらモデルをさらに改善・安定化する。
  論文  参考訳（メタデータ） (2021-10-14T07:44:14Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Factual Error Correction for Abstractive Summarization Models [41.77317902748772]
  本稿では,生成した要約の事実誤りを訂正するための編集後修正モジュールを提案する。 本モデルでは,他の神経要約モデルによって生成された要約の事実誤りを補正できることが示されている。 また、人工的なエラー訂正から下流の設定への移行は依然として非常に困難であることもわかりました。
  論文  参考訳（メタデータ） (2020-10-17T04:24:16Z)
• Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
  Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。 我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。 実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2020-10-06T02:51:02Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。