論文の概要: A Decomposition-Based Approach for Evaluating Inter-Annotator
Disagreement in Narrative Analysis
- arxiv url: http://arxiv.org/abs/2206.05446v1
- Date: Sat, 11 Jun 2022 07:02:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 14:54:05.381225
- Title: A Decomposition-Based Approach for Evaluating Inter-Annotator
Disagreement in Narrative Analysis
- Title(参考訳): ナラティブ分析におけるアノテーション間不一致評価のための分解に基づくアプローチ
- Authors: Effi Levi, Shaul R. Shenhav
- Abstract要約: 本稿では,既存のアノテーションを2つの異なるレベルに分解する手法を提案する。
次に,2つのレベル毎に,アノテーション間の不一致がどの程度説明できるかを定量化するために,統計的解析を用いる。
我々は,他の環境におけるアノテーション間の不一致の研究および評価において,我々のアプローチがもたらす影響について,より広範な議論で結論づける。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we explore sources of inter-annotator disagreement in narrative
analysis, in light of the question of whether or not a narrative plot exists in
the text. For this purpose, we present a method for a conceptual decomposition
of an existing annotation into two separate levels: (1) \textbf{whether} or not
a narrative plot exists in the text, and (2) \textbf{which} plot elements exist
in the text. We apply this method to an existing dataset of sentences annotated
with three different narrative plot elements: \textit{Complication},
\textit{Resolution} and \textit{Success}. We then employ statistical analysis
in order to quantify how much of the inter-annotator disagreement can be
explained by each of the two levels. We further perform a qualitative analysis
of disagreement cases in each level, observing several sources of disagreement,
such as text ambiguity, scheme definition and personal differences between the
annotators. The insights gathered on the dataset may serve to reduce
inter-annotator disagreement in future annotation endeavors. We conclude with a
broader discussion on the potential implications of our approach in studying
and evaluating inter-annotator disagreement in other settings.
- Abstract(参考訳): 本研究は,文章に物語のプロットが存在するかどうかという問題を踏まえ,物語分析における注釈間の不一致の源泉を探究する。
本研究の目的は,既存のアノテーションを概念的に分解する手法を,(1) 文章中に物語的プロットが存在するか否か,(2) テキスト内には物語的プロット要素が存在するか,という2つのレベルに分解する方法を提案することである。
本手法を既存の3つの物語的プロット要素に注釈付けされた文のデータセットに適用する: \textit{Complication}, \textit{Resolution}, \textit{Success}。
次に,アノテーション間不一致の程度を2つのレベルごとに定量化するために,統計的分析を行った。
さらに,各レベルの不一致事例の質的分析を行い,テキストのあいまいさ,スキーム定義,アノテータ間の個人差など,不一致の諸要因を観察する。
データセットに収集された洞察は、将来のアノテーションの取り組みにおけるアノテーション間の不一致を減らすのに役立つかもしれない。
結論として,アノテーション間不一致を他の場面で研究・評価する上でのアプローチの潜在的意義について,より広い議論を交わした。
関連論文リスト
- Aspect-based Meeting Transcript Summarization: A Two-Stage Approach with
Weak Supervision on Sentence Classification [91.13086984529706]
Aspect-based meeting transcript summarization は複数の要約を生成することを目的としている。
従来の要約手法は、全ての側面の情報を1つの要約で混合する。
アスペクトベースの会議書き起こし要約のための2段階の手法を提案する。
論文 参考訳(メタデータ) (2023-11-07T19:06:31Z) - Multi-turn Dialogue Comprehension from a Topic-aware Perspective [70.37126956655985]
本稿では,話題認識の観点から,マルチターン対話をモデル化することを提案する。
対話文のセグメント化アルゴリズムを用いて、対話文を教師なしの方法でトピック集中フラグメントに分割する。
また,トピックセグメントを処理要素として扱う新しいモデルとして,トピック認識デュアルアテンションマッチング(TADAM)ネットワークを提案する。
論文 参考訳(メタデータ) (2023-09-18T11:03:55Z) - X-PARADE: Cross-Lingual Textual Entailment and Information Divergence
across Paragraphs [62.71573787079949]
X-PARADEは、段落レベルの情報の分岐の最初の言語間データセットである。
アノテーションは、対象言語における段落をスパンレベルでラベル付けし、ソース言語における対応する段落に対して評価する。
アライメントされた段落は、異なる言語のウィキペディアページから引用される。
論文 参考訳(メタデータ) (2023-09-16T04:34:55Z) - A Comparative Study of Sentence Embedding Models for Assessing Semantic
Variation [0.0]
本稿では,複数の文献において,連続する文間の意味的類似性の時系列と対の文類似性の行列を用いた最近の文埋め込み法について比較する。
文の埋め込み手法のほとんどは、ある文書において意味的類似性の高相関パターンを推定するが、興味深い相違が見られる。
論文 参考訳(メタデータ) (2023-08-08T23:31:10Z) - Conflicts, Villains, Resolutions: Towards models of Narrative Media
Framing [19.589945994234075]
我々は、物語の要素を明示的に捉えたコミュニケーション科学から、広く使われているフレーミングの概念化を再考する。
我々は、複雑なアノテーションタスクをより単純なバイナリー質問に分解する効果的なアノテーションパラダイムを適用します。
教師付きおよび半教師付きアプローチによるフレームの自動マルチラベル予測について検討する。
論文 参考訳(メタデータ) (2023-06-03T08:50:13Z) - Analysis of Joint Speech-Text Embeddings for Semantic Matching [3.6423306784901235]
ペア音声と書き起こし入力の距離を最小化することにより,セマンティックマッチングのために訓練された共同音声テキスト埋め込み空間について検討する。
我々は,事前学習とマルチタスクの両方のシナリオを通じて,音声認識を組み込む方法を拡張した。
論文 参考訳(メタデータ) (2022-04-04T04:50:32Z) - Contrastive Learning for Neural Topic Model [14.65513836956786]
敵対的トピックモデル(ATM)は、文書を別の異なるサンプルと区別することで、文書の意味パターンをうまくキャプチャすることができる。
最適化問題として識別目標を再定式化するための新しい手法を提案し,新しいサンプリング手法を設計する。
実験の結果、我々のフレームワークは3つの一般的なベンチマークデータセットにおいて、他の最先端のニューラルトピックモデルよりも優れていることが示された。
論文 参考訳(メタデータ) (2021-10-25T09:46:26Z) - Comprehensive Studies for Arbitrary-shape Scene Text Detection [78.50639779134944]
ボトムアップに基づくシーンテキスト検出のための統合フレームワークを提案する。
統一されたフレームワークの下では、非コアモジュールの一貫性のある設定が保証されます。
包括的調査と精巧な分析により、以前のモデルの利点と欠点を明らかにしている。
論文 参考訳(メタデータ) (2021-07-25T13:18:55Z) - Weakly-Supervised Aspect-Based Sentiment Analysis via Joint
Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。
We learn sentiment, aspects> joint topic embeddeds in the word embedding space。
次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文 参考訳(メタデータ) (2020-10-13T21:33:24Z) - A computational model implementing subjectivity with the 'Room Theory'.
The case of detecting Emotion from Text [68.8204255655161]
本研究は,テキスト分析における主観性と一般的文脈依存性を考慮した新しい手法を提案する。
単語間の類似度を用いて、ベンチマーク中の要素の相対的関連性を抽出することができる。
この方法は、主観的評価がテキストの相対値や意味を理解するために関係しているすべてのケースに適用できる。
論文 参考訳(メタデータ) (2020-05-12T21:26:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。