論文の概要: ROUGE-K: Do Your Summaries Have Keywords?
- arxiv url: http://arxiv.org/abs/2403.05186v1
- Date: Fri, 8 Mar 2024 09:54:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 20:17:29.845547
- Title: ROUGE-K: Do Your Summaries Have Keywords?
- Title（参考訳）: ROUGE-K:あなたのサマリーはキーワードを持っているか?
- Authors: Sotaro Takeshita, Simone Paolo Ponzetto, Kai Eckert
- Abstract要約: 要約における内容関連単語は,効率的な情報伝達において重要な役割を担っている。
極端な要約モデルの既存の評価指標は、要約のキーワードに明確な注意を払わない。
変換器モデルに単語の重要度を組み込むための4つの手法を提案する。
- 参考スコア（独自算出の注目度）: 11.393728547335217
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Keywords, that is, content-relevant words in summaries play an important role
in efficient information conveyance, making it critical to assess if
system-generated summaries contain such informative words during evaluation.
However, existing evaluation metrics for extreme summarization models do not
pay explicit attention to keywords in summaries, leaving developers ignorant of
their presence. To address this issue, we present a keyword-oriented evaluation
metric, dubbed ROUGE-K, which provides a quantitative answer to the question of
-- \textit{How well do summaries include keywords?} Through the lens of this
keyword-aware metric, we surprisingly find that a current strong baseline model
often misses essential information in their summaries. Our analysis reveals
that human annotators indeed find the summaries with more keywords to be more
relevant to the source documents. This is an important yet previously
overlooked aspect in evaluating summarization systems. Finally, to enhance
keyword inclusion, we propose four approaches for incorporating word importance
into a transformer-based model and experimentally show that it enables guiding
models to include more keywords while keeping the overall quality. Our code is
released at https://github.com/sobamchan/rougek.
- Abstract（参考訳）: 要約中の内容関連単語は、効率的な情報伝達において重要な役割を担い、評価中にシステム生成要約がそのような情報伝達語を含むかどうかを評価することが重要である。
しかし、極端な要約モデルの既存の評価指標は、要約中のキーワードに明確な注意を払っておらず、開発者はその存在を知らないままである。
この問題に対処するために,キーワード指向評価指標 rouge-k を提示する。この指標は --\textit{how well do summaries include keywords?
} このキーワード対応メトリックのレンズを通して、現在の強力なベースラインモデルは、サマリーにおいて重要な情報を見逃すことがしばしばあります。
解析の結果,人間のアノテータは,ソース文書とより関連性の高いキーワードを持つ要約を見つけることができた。
これは、要約システムの評価において、以前見過ごされていた重要な側面である。
最後に,キーワードの包含性を高めるために,単語重要度をトランスフォーマモデルに組み込むための4つの手法を提案する。
私たちのコードはhttps://github.com/sobamchan/rougekでリリースしています。
関連論文リスト
- Hierarchical Indexing for Retrieval-Augmented Opinion Summarization [60.5923941324953]
本稿では,抽出アプローチの帰属性と拡張性と,大規模言語モデル(LLM)の一貫性と拡散性を組み合わせた,教師なし抽象的意見要約手法を提案する。
我々の方法であるHIROは、意味的に整理された離散的な階層を通して文を経路にマッピングするインデックス構造を学習する。
推測時にインデックスを投入し、入力レビューから人気意見を含む文群を識別し、検索する。
論文 参考訳（メタデータ） (2024-03-01T10:38:07Z) - Quantifying the redundancy between prosody and text [67.07817268372743]
我々は大きな言語モデルを用いて、韻律と単語自体の間にどれだけの情報が冗長であるかを推定する。
単語が持つ情報と韻律情報の間には,複数の韻律的特徴にまたがる高い冗長性が存在する。
それでも、韻律的特徴はテキストから完全には予測できないことが観察され、韻律は単語の上下に情報を運ぶことが示唆された。
論文 参考訳（メタデータ） (2023-11-28T21:15:24Z) - On Context Utilization in Summarization with Large Language Models [83.84459732796302]
大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。
最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。
要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
論文 参考訳（メタデータ） (2023-10-16T16:45:12Z) - KPEval: Towards Fine-Grained Semantic-Based Keyphrase Evaluation [69.57018875757622]
KPEvalは、参照合意、忠実性、多様性、有用性という4つの重要な側面からなる総合的な評価フレームワークである。
KPEvalを用いて、23のキーフレーズシステムを再評価し、確立されたモデル比較結果に盲点があることを発見した。
論文 参考訳（メタデータ） (2023-03-27T17:45:38Z) - Applying Transformer-based Text Summarization for Keyphrase Generation [2.28438857884398]
キーフレーズは学術文書の検索と体系化に不可欠である。
本稿では,抽象的なテキスト要約のためのトランスフォーマーモデルについて実験する。
要約モデルはフルマッチのF1スコアとBERTスコアでキーフレーズを生成するのに非常に効果的であることを示す。
また,キーフレーズをターゲットとした順序付け戦略についても検討する。
論文 参考訳（メタデータ） (2022-09-08T13:01:52Z) - Keyphrase Extraction Using Neighborhood Knowledge Based on Word
Embeddings [17.198907789163123]
我々は、単語埋め込みを背景知識として活用して、単語間グラフに意味情報を加えることにより、グラフベースのランキングモデルを強化する。
提案手法は,確立されたベンチマークデータセットを用いて評価し,単語の埋め込み近傍情報によりモデル性能が向上することを示す。
論文 参考訳（メタデータ） (2021-11-13T21:48:18Z) - Deep Keyphrase Completion [59.0413813332449]
Keyphraseは、非常にコンパクトで簡潔で、意味に満ちた文書内容の正確な情報を提供し、談話理解、組織化、テキスト検索に広く利用されている。
本論文では,文書内容と既知のキーフレーズの数が極めて限られているため,テキストキーフレーズの完全化(KPC)を提案し,文書中のキーフレーズをより多く生成する(科学出版など)。
深層学習フレームワークを通じて、既知のキーフレーズとともに文書内容の深い意味的意味を捉えようとすることから、textitdeep keyphrase completion (DKPC) と命名する。
論文 参考訳（メタデータ） (2021-10-29T07:15:35Z) - Importance Estimation from Multiple Perspectives for Keyphrase
Extraction [34.51718374923614]
複数視点からキーフレーズの重要性を推定する新しい手法を提案する(textitKIEMP)。
textitKIEMPは、構文的正確性を測定するチャンキングモジュール、情報の正確性をチェックするランキングモジュール、フレーズとドキュメント全体の概念整合性を判断するマッチングモジュールの3つのモジュールで、フレーズの重要性を見積もっている。
6つのベンチマークデータセットの実験結果から、textitKIEMPは、ほとんどの場合、既存の最先端のキーフレーズ抽出手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2021-10-19T05:48:22Z) - FRAKE: Fusional Real-time Automatic Keyword Extraction [1.332091725929965]
キーワード抽出は、テキストの主要な概念を最もよく表す単語やフレーズを識別する。
グラフ中心性特徴とテキスト特徴の2つのモデルを組み合わせたアプローチを採用している。
論文 参考訳（メタデータ） (2021-04-10T18:30:17Z) - Unsupervised Summarization for Chat Logs with Topic-Oriented Ranking and
Context-Aware Auto-Encoders [59.038157066874255]
本稿では,手動ラベル付きデータを用いずにチャット要約を行うrankaeという新しいフレームワークを提案する。
RankAEは、中心性と多様性に応じてトピックの発話を同時に選択するトピック指向のランキング戦略で構成されています。
消音自動エンコーダは、選択された発話に基づいて簡潔でコンテキスト情報に基づいた要約を生成するように設計されています。
論文 参考訳（メタデータ） (2020-12-14T07:31:17Z) - Extending Text Informativeness Measures to Passage Interestingness
Evaluation (Language Model vs. Word Embedding) [1.2998637003026272]
本稿では、インフォマティヴネスの概念をインフォマティヴネスの一般化として定義する。
次に、この一般化に対応するために、アートインフォーマティヴネス対策の状態を調査する。
CLEF-INEX Tweet Contextualization 2012 Logarithm similarity measure が最適であることを示す。
論文 参考訳（メタデータ） (2020-04-14T18:22:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。