論文の概要: Extending Text Informativeness Measures to Passage Interestingness
Evaluation (Language Model vs. Word Embedding)
- arxiv url: http://arxiv.org/abs/2004.06747v1
- Date: Tue, 14 Apr 2020 18:22:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 09:58:52.360083
- Title: Extending Text Informativeness Measures to Passage Interestingness
Evaluation (Language Model vs. Word Embedding)
- Title（参考訳）: テキストインフォマティクス尺度の拡張による関心度評価(言語モデルと単語埋め込み)
- Authors: Carlos-Emiliano Gonz\'alez-Gallardo, Eric SanJuan, Juan-Manuel
Torres-Moreno
- Abstract要約: 本稿では、インフォマティヴネスの概念をインフォマティヴネスの一般化として定義する。
次に、この一般化に対応するために、アートインフォーマティヴネス対策の状態を調査する。
CLEF-INEX Tweet Contextualization 2012 Logarithm similarity measure が最適であることを示す。
- 参考スコア（独自算出の注目度）: 1.2998637003026272
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Standard informativeness measures used to evaluate Automatic Text
Summarization mostly rely on n-gram overlapping between the automatic summary
and the reference summaries. These measures differ from the metric they use
(cosine, ROUGE, Kullback-Leibler, Logarithm Similarity, etc.) and the bag of
terms they consider (single words, word n-grams, entities, nuggets, etc.).
Recent word embedding approaches offer a continuous alternative to discrete
approaches based on the presence/absence of a text unit. Informativeness
measures have been extended to Focus Information Retrieval evaluation involving
a user's information need represented by short queries. In particular for the
task of CLEF-INEX Tweet Contextualization, tweet contents have been considered
as queries. In this paper we define the concept of Interestingness as a
generalization of Informativeness, whereby the information need is diverse and
formalized as an unknown set of implicit queries. We then study the ability of
state of the art Informativeness measures to cope with this generalization.
Lately we show that with this new framework, standard word embeddings
outperforms discrete measures only on uni-grams, however bi-grams seems to be a
key point of interestingness evaluation. Lastly we prove that the CLEF-INEX
Tweet Contextualization 2012 Logarithm Similarity measure provides best
results.
- Abstract（参考訳）: 自動テキスト要約を評価するのに使用される標準情報度尺度は、主に自動要約と参照要約のn-gramオーバーラップに依存する。
これらの尺度は、使用するメートル法(cosine、ROUGE、Kullback-Leibler、Logarithm similarityなど)と、それらが考慮する用語の袋(単一の単語、単語n-gram、エンティティ、ナゲットなど)とは異なる。
最近の単語埋め込みアプローチは、テキスト単位の存在/吸収に基づく離散的アプローチの連続的な代替を提供する。
ユーザの情報要求を短い問合せで表現することを含む情報検索評価に焦点を合わせるために,情報性尺度が拡張されている。
特にCLEF-INEX Tweet Contextualizationのタスクでは、ツイートの内容はクエリとして検討されている。
本稿では,情報要求を未知の暗黙的問合せのセットとして多種多様かつ形式化することを目的とした,情報提供性の一般化としての興味性の概念を定式化する。
次に,この一般化に対処すべく,美術情報化対策の状況把握能力について検討する。
近年,この新フレームワークでは,標準単語の埋め込みはユニグラムのみの離散測度よりも優れていたが,双グラムは興味深い評価の要点であると考えられる。
最後に、CLEF-INEX Tweet Contextualization 2012 Logarithm similarity measureが最良の結果をもたらすことを示す。
関連論文リスト
- FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction [85.26780391682894]
自然言語推論とクレーム抽出(FENICE)に基づく要約のファクチュアリティ評価を提案する。
FENICEは、ソース文書内の情報と、要約から抽出されたクレームと呼ばれる一連の原子的事実との間のNLIベースのアライメントを利用する。
我々の測定基準は、事実性評価のためのデファクトベンチマークであるAGGREFACTに関する新しい技術状況を設定する。
論文 参考訳（メタデータ） (2024-03-04T17:57:18Z) - Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。
本稿では,基準自由度に欠陥があるかどうかを考察する。
GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
論文 参考訳（メタデータ） (2024-02-18T12:36:23Z) - On Context Utilization in Summarization with Large Language Models [83.84459732796302]
大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。
最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。
要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
論文 参考訳（メタデータ） (2023-10-16T16:45:12Z) - Looking at words and points with attention: a benchmark for
text-to-shape coherence [17.340484439401894]
生成した3次元形状と入力テキスト記述とのコヒーレンスの評価には明確なベンチマークが欠如している。
我々は、形状に関連する記述を自動的に洗練するために、大きな言語モデルを使用します。
アプローチを検証するために,ユーザスタディを実施し,既存のメトリクスと定量的に比較する。
改良されたデータセット、新しいメトリック、およびユーザスタディによって検証されたテキスト-形状のペアは、新しくてきめ細かいベンチマークを構成する。
論文 参考訳（メタデータ） (2023-09-14T17:59:48Z) - Entity Disambiguation with Entity Definitions [50.01142092276296]
ローカルモデルはEntity Disambiguation (ED)で最近驚くべきパフォーマンスを達成した
それまでの研究は、各候補者のテキスト表現として、ウィキペディアのタイトルのみを使うことに限られていた。
本稿では、この制限に対処し、より表現力のあるテキスト表現がそれを緩和できる範囲について検討する。
提案する6つのベンチマークのうち2つに新たな技術の現状を報告し,未知のパターンに対する一般化能力を強く改善する。
論文 参考訳（メタデータ） (2022-10-11T17:46:28Z) - SMART: Sentences as Basic Units for Text Evaluation [48.5999587529085]
本稿では,このような制約を緩和するSMARTと呼ばれる新しい指標を提案する。
文をトークンの代わりにマッチングの基本単位として扱い,ソフトマッチ候補と参照文に文マッチング関数を用いる。
この結果から,提案手法とモデルベースマッチング関数とのシステムレベルの相関は,全ての競合する指標よりも優れていた。
論文 参考訳（メタデータ） (2022-08-01T17:58:05Z) - Consistency and Coherence from Points of Contextual Similarity [0.0]
近年,事実整合性に特化して提案されているESTIME測度は,人間の専門家のスコアと高い相関性が得られる。
これは現在の要約方式には問題はないが、将来の要約システムには障害となる可能性がある。
論文 参考訳（メタデータ） (2021-12-22T03:04:20Z) - Weakly-Supervised Aspect-Based Sentiment Analysis via Joint
Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。
We learn sentiment, aspects> joint topic embeddeds in the word embedding space。
次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文 参考訳（メタデータ） (2020-10-13T21:33:24Z) - Understanding Points of Correspondence between Sentences for Abstractive
Summarization [39.7404761923196]
本稿では,文書から引き出された文の融合について,対応点の概念を導入して検討する。
我々は、文書、ソースおよび融合文、および文間の対応点の人間のアノテーションを含むデータセットを作成する。
論文 参考訳（メタデータ） (2020-06-10T02:42:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。