論文の概要: A Decomposition-Based Approach for Evaluating Inter-Annotator
Disagreement in Narrative Analysis
- arxiv url: http://arxiv.org/abs/2206.05446v1
- Date: Sat, 11 Jun 2022 07:02:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 14:54:05.381225
- Title: A Decomposition-Based Approach for Evaluating Inter-Annotator
Disagreement in Narrative Analysis
- Title（参考訳）: ナラティブ分析におけるアノテーション間不一致評価のための分解に基づくアプローチ
- Authors: Effi Levi, Shaul R. Shenhav
- Abstract要約: 本稿では,既存のアノテーションを2つの異なるレベルに分解する手法を提案する。
次に,2つのレベル毎に,アノテーション間の不一致がどの程度説明できるかを定量化するために,統計的解析を用いる。
我々は,他の環境におけるアノテーション間の不一致の研究および評価において,我々のアプローチがもたらす影響について,より広範な議論で結論づける。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we explore sources of inter-annotator disagreement in narrative
analysis, in light of the question of whether or not a narrative plot exists in
the text. For this purpose, we present a method for a conceptual decomposition
of an existing annotation into two separate levels: (1) \textbf{whether} or not
a narrative plot exists in the text, and (2) \textbf{which} plot elements exist
in the text. We apply this method to an existing dataset of sentences annotated
with three different narrative plot elements: \textit{Complication},
\textit{Resolution} and \textit{Success}. We then employ statistical analysis
in order to quantify how much of the inter-annotator disagreement can be
explained by each of the two levels. We further perform a qualitative analysis
of disagreement cases in each level, observing several sources of disagreement,
such as text ambiguity, scheme definition and personal differences between the
annotators. The insights gathered on the dataset may serve to reduce
inter-annotator disagreement in future annotation endeavors. We conclude with a
broader discussion on the potential implications of our approach in studying
and evaluating inter-annotator disagreement in other settings.
- Abstract（参考訳）: 本研究は,文章に物語のプロットが存在するかどうかという問題を踏まえ,物語分析における注釈間の不一致の源泉を探究する。
本研究の目的は,既存のアノテーションを概念的に分解する手法を,(1) 文章中に物語的プロットが存在するか否か,(2) テキスト内には物語的プロット要素が存在するか,という2つのレベルに分解する方法を提案することである。
本手法を既存の3つの物語的プロット要素に注釈付けされた文のデータセットに適用する: \textit{Complication}, \textit{Resolution}, \textit{Success}。
次に,アノテーション間不一致の程度を2つのレベルごとに定量化するために,統計的分析を行った。
さらに,各レベルの不一致事例の質的分析を行い,テキストのあいまいさ,スキーム定義,アノテータ間の個人差など,不一致の諸要因を観察する。
データセットに収集された洞察は、将来のアノテーションの取り組みにおけるアノテーション間の不一致を減らすのに役立つかもしれない。
結論として,アノテーション間不一致を他の場面で研究・評価する上でのアプローチの潜在的意義について,より広い議論を交わした。
関連論文リスト
- Explainable News Summarization -- Analysis and mitigation of Disagreement Problem [2.685668802278156]
テキスト要約のための説明可能なAI(XAI)技術は、要約の生成方法に関する貴重な理解を提供する。
近年の研究では、不一致問題として知られるこの分野の大きな課題が浮き彫りになっている。
この問題は、異なるXAI手法が同じ入力記事から生成された要約について矛盾する説明を提供するときに発生する。
本稿では,文変換器とk平均クラスタリングアルゴリズムを用いて,まず入力項目を分割し,各セグメントで生成された要約の説明を生成する手法を提案する。
論文 参考訳（メタデータ） (2024-10-24T09:07:44Z) - Detecting Statements in Text: A Domain-Agnostic Few-Shot Solution [1.3654846342364308]
最先端のアプローチは通常、作成にコストがかかる大規模な注釈付きデータセット上の微調整モデルを含む。
本稿では,クレームに基づくテキスト分類タスクの共通パラダイムとして,定性的で多目的な少ショット学習手法の提案とリリースを行う。
本手法は,気候変動対策,トピック/スタンス分類,うつ病関連症状検出の3つの課題の文脈で説明する。
論文 参考訳（メタデータ） (2024-05-09T12:03:38Z) - Aspect-based Meeting Transcript Summarization: A Two-Stage Approach with
Weak Supervision on Sentence Classification [91.13086984529706]
Aspect-based meeting transcript summarization は複数の要約を生成することを目的としている。
従来の要約手法は、全ての側面の情報を1つの要約で混合する。
アスペクトベースの会議書き起こし要約のための2段階の手法を提案する。
論文 参考訳（メタデータ） (2023-11-07T19:06:31Z) - Multi-turn Dialogue Comprehension from a Topic-aware Perspective [70.37126956655985]
本稿では,話題認識の観点から,マルチターン対話をモデル化することを提案する。
対話文のセグメント化アルゴリズムを用いて、対話文を教師なしの方法でトピック集中フラグメントに分割する。
また,トピックセグメントを処理要素として扱う新しいモデルとして,トピック認識デュアルアテンションマッチング(TADAM)ネットワークを提案する。
論文 参考訳（メタデータ） (2023-09-18T11:03:55Z) - Conflicts, Villains, Resolutions: Towards models of Narrative Media
Framing [19.589945994234075]
我々は、物語の要素を明示的に捉えたコミュニケーション科学から、広く使われているフレーミングの概念化を再考する。
我々は、複雑なアノテーションタスクをより単純なバイナリー質問に分解する効果的なアノテーションパラダイムを適用します。
教師付きおよび半教師付きアプローチによるフレームの自動マルチラベル予測について検討する。
論文 参考訳（メタデータ） (2023-06-03T08:50:13Z) - PropSegmEnt: A Large-Scale Corpus for Proposition-Level Segmentation and
Entailment Recognition [63.51569687229681]
文中の各命題の文的含意関係を個別に認識する必要性について論じる。
提案するPropSegmEntは45K以上の提案のコーパスであり, 専門家によるアノテートを行う。
我々のデータセット構造は、(1)文書内の文章を命題の集合に分割し、(2)異なるが、トポジカルに整合した文書に対して、各命題の含意関係を分類するタスクに類似している。
論文 参考訳（メタデータ） (2022-12-21T04:03:33Z) - Contrastive Learning for Neural Topic Model [14.65513836956786]
敵対的トピックモデル(ATM)は、文書を別の異なるサンプルと区別することで、文書の意味パターンをうまくキャプチャすることができる。
最適化問題として識別目標を再定式化するための新しい手法を提案し,新しいサンプリング手法を設計する。
実験の結果、我々のフレームワークは3つの一般的なベンチマークデータセットにおいて、他の最先端のニューラルトピックモデルよりも優れていることが示された。
論文 参考訳（メタデータ） (2021-10-25T09:46:26Z) - Comprehensive Studies for Arbitrary-shape Scene Text Detection [78.50639779134944]
ボトムアップに基づくシーンテキスト検出のための統合フレームワークを提案する。
統一されたフレームワークの下では、非コアモジュールの一貫性のある設定が保証されます。
包括的調査と精巧な分析により、以前のモデルの利点と欠点を明らかにしている。
論文 参考訳（メタデータ） (2021-07-25T13:18:55Z) - Weakly-Supervised Aspect-Based Sentiment Analysis via Joint
Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。
We learn sentiment, aspects> joint topic embeddeds in the word embedding space。
次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文 参考訳（メタデータ） (2020-10-13T21:33:24Z) - A computational model implementing subjectivity with the 'Room Theory'.
The case of detecting Emotion from Text [68.8204255655161]
本研究は,テキスト分析における主観性と一般的文脈依存性を考慮した新しい手法を提案する。
単語間の類似度を用いて、ベンチマーク中の要素の相対的関連性を抽出することができる。
この方法は、主観的評価がテキストの相対値や意味を理解するために関係しているすべてのケースに適用できる。
論文 参考訳（メタデータ） (2020-05-12T21:26:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。