Fugu-MT 論文翻訳(概要): How to Evaluate Coreference in Literary Texts?

論文の概要: How to Evaluate Coreference in Literary Texts?

arxiv url: http://arxiv.org/abs/2401.00238v1
Date: Sat, 30 Dec 2023 14:02:36 GMT
ステータス: 処理完了
システム内更新日: 2024-01-03 18:18:14.326512
Title: How to Evaluate Coreference in Literary Texts?
Title（参考訳）: 文学テキストにおける参照の評価方法
Authors: Ana-Isabel Duron-Tejedor and Pascal Amsili and Thierry Poibeau
Abstract要約: ユニークなスコアは、問題の原因となる問題の完全な複雑さを表現できないことを示す。コンテクストを考慮した新たなコア参照評価手法を提案する。
参考スコア（独自算出の注目度）: 5.120309785894395
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this short paper, we examine the main metrics used to evaluate textual coreference and we detail some of their limitations. We show that a unique score cannot represent the full complexity of the problem at stake, and is thus uninformative, or even misleading. We propose a new way of evaluating coreference, taking into account the context (in our case, the analysis of fictions, esp. novels). More specifically, we propose to distinguish long coreference chains (corresponding to main characters), from short ones (corresponding to secondary characters), and singletons (isolated elements). This way, we hope to get more interpretable and thus more informative results through evaluation.
Abstract（参考訳）: 本稿では,テキストのコア参照を評価するための主要な指標について検討し,その限界について詳述する。独特なスコアは問題の完全な複雑性を表現できないことを示し、その結果、意図的でないこと、あるいは誤解を招くことさえある。我々は,コンテクスト(本事例ではフィクションの分析,esp.小説)を考慮し,コリファレンスを評価する新しい方法を提案する。より具体的には、長いコア参照連鎖(主文字に対応する)と短いもの(二次文字に対応する)とシングルトン(孤立要素)を区別することを提案する。こうすることで、より解釈可能で、評価を通じてより有益な結果が得られることを願っています。

関連論文リスト

BookWorm: A Dataset for Character Description and Analysis [59.186325346763184]
本稿では,短い事実プロファイルを生成する文字記述と,詳細な解釈を提供する文字解析という2つのタスクを定義する。本稿では,Gutenbergプロジェクトからの書籍と,人間による記述と分析のペアリングを行うBookWormデータセットを紹介する。その結果,検索に基づくアプローチは両タスクにおいて階層的アプローチよりも優れていた。
論文参考訳（メタデータ） (2024-10-14T10:55:58Z)
Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。本稿では,基準自由度に欠陥があるかどうかを考察する。 GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
論文参考訳（メタデータ） (2024-02-18T12:36:23Z)
CoheSentia: A Novel Benchmark of Incremental versus Holistic Assessment of Coherence in Generated Texts [15.866519123942457]
自動生成テキストの人間知覚コヒーレンスに関する新しいベンチマークである sc CoheSentia を紹介する。我々のベンチマークには、自動生成および人称注釈付き500の段落が含まれており、それぞれが両方の方法で注釈付けされている。解析の結果,インクリメンタルモードにおけるアノテータ間の合意は,総合的な代替よりも高いことがわかった。
論文参考訳（メタデータ） (2023-10-25T03:21:20Z)
Improving Long Context Document-Level Machine Translation [51.359400776242786]
翻訳の一貫性と凝集性を改善するために、ニューラルネットワーク翻訳(NMT)のための文書レベルのコンテキストが不可欠である。文書レベルのNMTに関する多くの著作が出版されているが、ほとんどの作品では局所的な文脈に制限されている。本稿では、メモリ消費を同時に低減しつつ、シーケンスの最も関連性の高い部分に注意を集中させる制約付注意変種を提案する。
論文参考訳（メタデータ） (2023-06-08T13:28:48Z)
Don't Take This Out of Context! On the Need for Contextual Models and Evaluations for Stylistic Rewriting [29.983234538677543]
本稿では,文脈結合性と原文との類似性を組み合わせた新しい複合文脈評価指標であるtextttCtxSimFit$を紹介する。実験の結果,人間は文脈的書き直しを,非文脈的書き直しよりも適切で自然なものにすることが示唆された。
論文参考訳（メタデータ） (2023-05-24T05:58:17Z)
Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-27T10:40:59Z)
Entity Disambiguation with Entity Definitions [50.01142092276296]
ローカルモデルはEntity Disambiguation (ED)で最近驚くべきパフォーマンスを達成したそれまでの研究は、各候補者のテキスト表現として、ウィキペディアのタイトルのみを使うことに限られていた。本稿では、この制限に対処し、より表現力のあるテキスト表現がそれを緩和できる範囲について検討する。提案する6つのベンチマークのうち2つに新たな技術の現状を報告し,未知のパターンに対する一般化能力を強く改善する。
論文参考訳（メタデータ） (2022-10-11T17:46:28Z)
Rethinking Automatic Evaluation in Sentence Simplification [10.398614920404727]
文の簡略化に取り組むためのQuestEvalの簡単な修正を提案します。我々は,後者がBLEUやSARIといった標準指標よりも優れた,最先端の相関関係が得られることを示す。評価された単純化のコーパスを新たにリリースし,今回はシステムが生成するのではなく,人間が記述した。
論文参考訳（メタデータ） (2021-04-15T16:13:50Z)
Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文参考訳（メタデータ） (2020-10-13T21:33:24Z)
STARC: Structured Annotations for Reading Comprehension [23.153841344989143]
複数の選択肢を問う読み理解を評価するための新しいアノテーションフレームワークSTARCを提案する。このフレームワークはOneStopQAで実装されており、英語の読み理解の評価と分析のための新しい高品質データセットである。
論文参考訳（メタデータ） (2020-04-30T14:08:50Z)
Extending Text Informativeness Measures to Passage Interestingness Evaluation (Language Model vs. Word Embedding) [1.2998637003026272]
本稿では、インフォマティヴネスの概念をインフォマティヴネスの一般化として定義する。次に、この一般化に対応するために、アートインフォーマティヴネス対策の状態を調査する。 CLEF-INEX Tweet Contextualization 2012 Logarithm similarity measure が最適であることを示す。
論文参考訳（メタデータ） (2020-04-14T18:22:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。