論文の概要: Consistency and Coherence from Points of Contextual Similarity

• arxiv url: http://arxiv.org/abs/2112.11638v1
• Date: Wed, 22 Dec 2021 03:04:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-23 21:05:42.594308
• Title: Consistency and Coherence from Points of Contextual Similarity
• Title（参考訳）: 文脈的類似点からの一貫性とコヒーレンス
• Authors: Oleg Vasilyev, John Bohannon
• Abstract要約: 近年,事実整合性に特化して提案されているESTIME測度は,人間の専門家のスコアと高い相関性が得られる。 これは現在の要約方式には問題はないが、将来の要約システムには障害となる可能性がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Factual consistency is one of important summary evaluation dimensions, especially as summary generation becomes more fluent and coherent. The ESTIME measure, recently proposed specifically for factual consistency, achieves high correlations with human expert scores both for consistency and fluency, while in principle being restricted to evaluating such text-summary pairs that have high dictionary overlap. This is not a problem for current styles of summarization, but it may become an obstacle for future summarization systems, or for evaluating arbitrary claims against the text. In this work we generalize the method, making it applicable to any text-summary pairs. As ESTIME uses points of contextual similarity, it provides insights into usefulness of information taken from different BERT layers. We observe that useful information exists in almost all of the layers except the several lowest ones. For consistency and fluency - qualities focused on local text details - the most useful layers are close to the top (but not at the top); for coherence and relevance we found a more complicated and interesting picture.
• Abstract（参考訳）: 実測一貫性は重要な要約評価次元の1つであり、特に要約生成がより流動的で一貫性のあるものになると顕著である。 近年提案されているエスタイム尺度は, 辞書の重複度が高いテキスト・要約ペアの評価に制限されているが, 一貫性と流動性の両方において, 人間のエキスパートスコアとの相関度が高い。 これは現在の要約方式には問題はないが、将来の要約システムやテキストに対する任意のクレーム評価において障害となる可能性がある。 本研究では,本手法を一般化し,任意のテキスト-要約ペアに適用する。 ESTIMEはコンテキストの類似点を使用するため、異なるBERT層から取得した情報の有用性に関する洞察を提供する。 我々は,いくつかの最下位層を除いて,ほぼすべての層に有用な情報が存在することを観察する。 一貫性とフラレンシ - ローカルテキストの詳細に焦点を当てた品質 - 最も有用なレイヤは(トップではなく)トップに近づき、一貫性と関連性のために、より複雑で興味深い図を見つけました。

関連論文リスト

• Using Similarity to Evaluate Factual Consistency in Summaries [2.7595794227140056]
  抽象要約器は流動的な要約を生成するが、生成したテキストの事実性は保証されない。 本稿では,ゼロショット事実性評価尺度であるSBERTScoreを提案する。 実験の結果,SBERTScoreでは,各手法の強度が異なることが示唆された。
  論文  参考訳（メタデータ） (2024-09-23T15:02:38Z)
• On Context Utilization in Summarization with Large Language Models [83.84459732796302]
  大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。 最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。 要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
  論文  参考訳（メタデータ） (2023-10-16T16:45:12Z)
• SWING: Balancing Coverage and Faithfulness for Dialogue Summarization [67.76393867114923]
  本稿では,自然言語推論(NLI)モデルを用いて,事実の不整合を回避し,カバレッジを向上させることを提案する。 我々は、NLIを用いて詳細なトレーニング信号を計算し、モデルがカバーされていない参照サマリーのコンテンツを生成することを奨励する。 DialogSumおよびSAMSumデータセットの実験により,提案手法の有効性が確認された。
  論文  参考訳（メタデータ） (2023-01-25T09:33:11Z)
• Topic Segmentation Model Focusing on Local Context [1.9871897882042773]
  本稿では,2つの入力文を個別に処理し,適切な量の情報を得るためのシマセ文埋め込み層を提案する。 また、同じトピック予測(STP)、トピック分類(TC)、Next Sentence Prediction(NSP)といったマルチタスク学習手法も採用している。
  論文  参考訳（メタデータ） (2023-01-05T06:57:42Z)
• Evaluating the Factual Consistency of Large Language Models Through News Summarization [97.04685401448499]
  本稿では,要約タスクに着目したFIB(Factual Inconsistency Benchmark)と呼ばれる新しいベンチマークを提案する。 現実的に一貫した要約では、手作業で事実的に一貫したものとして検証する、人書きの参照要約を使用します。 現実的に矛盾しない要約に対して、我々は、事実的に矛盾しているとして手動で注釈付けした一連の要約モデルから要約を生成する。
  論文  参考訳（メタデータ） (2022-11-15T18:50:34Z)
• Toward the Understanding of Deep Text Matching Models for Information Retrieval [72.72380690535766]
  本稿では,既存の深層テキストマッチング手法が情報検索の基本的な勾配を満たすかどうかを検証することを目的とする。 具体的には, 項周波数制約, 項識別制約, 長さ正規化制約, TF長制約の4つの属性を用いる。 LETOR 4.0 と MS Marco の実験結果から,研究対象の深層テキストマッチング手法はすべて,統計学において高い確率で上記の制約を満たすことが示された。
  論文  参考訳（メタデータ） (2021-08-16T13:33:15Z)
• Hierarchical Text Interaction for Rating Prediction [8.400688907233398]
  評価予測のための階層型テキストインタラクションモデルを提案する。 階層の異なる各ユーザ-イテムペア間のセマンティックな相関を利用する。 5つの実世界のデータセットの実験により、HTIは最先端のモデルよりも大きなマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-15T09:52:40Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)
• Dynamic Semantic Matching and Aggregation Network for Few-shot Intent Detection [69.2370349274216]
  利用可能な注釈付き発話が不足しているため、インテント検出は困難である。 セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。 本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
  論文  参考訳（メタデータ） (2020-10-06T05:16:38Z)
• Understanding Points of Correspondence between Sentences for Abstractive Summarization [39.7404761923196]
  本稿では,文書から引き出された文の融合について,対応点の概念を導入して検討する。 我々は、文書、ソースおよび融合文、および文間の対応点の人間のアノテーションを含むデータセットを作成する。
  論文  参考訳（メタデータ） (2020-06-10T02:42:38Z)
• Extending Text Informativeness Measures to Passage Interestingness Evaluation (Language Model vs. Word Embedding) [1.2998637003026272]
  本稿では、インフォマティヴネスの概念をインフォマティヴネスの一般化として定義する。 次に、この一般化に対応するために、アートインフォーマティヴネス対策の状態を調査する。 CLEF-INEX Tweet Contextualization 2012 Logarithm similarity measure が最適であることを示す。
  論文  参考訳（メタデータ） (2020-04-14T18:22:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。