論文の概要: A Decomposition-Based Approach for Evaluating and Analyzing Inter-Annotator Disagreement
- arxiv url: http://arxiv.org/abs/2206.05446v2
- Date: Tue, 10 Jun 2025 15:26:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-11 15:11:38.164077
- Title: A Decomposition-Based Approach for Evaluating and Analyzing Inter-Annotator Disagreement
- Title（参考訳）: 分解に基づくアノテーション間診断の評価と解析
- Authors: Effi Levi, Shaul R. Shenhav,
- Abstract要約: 本稿では,既存のアノテーションを概念的に別のレベルに分解する手法を提案する。
このアプローチを実現するために,2つの異なる戦略を提案する。
我々は、アプローチを拡張して一般化する方法を提案するとともに、他の目的のためにそれを使う方法を提案することで締めくくります。
- 参考スコア（独自算出の注目度）: 1.8416014644193066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel method to conceptually decompose an existing annotation into separate levels, allowing the analysis of inter-annotators disagreement in each level separately. We suggest two distinct strategies in order to actualize this approach: a theoretically-driven one, in which the researcher defines a decomposition based on prior knowledge of the annotation task, and an exploration-based one, in which many possible decompositions are inductively computed and presented to the researcher for interpretation and evaluation. Utilizing a recently constructed dataset for narrative analysis as our use-case, we apply each of the two strategies to demonstrate the potential of our approach in testing hypotheses regarding the sources of annotation disagreements, as well as revealing latent structures and relations within the annotation task. We conclude by suggesting how to extend and generalize our approach, as well as use it for other purposes.
- Abstract（参考訳）: 本稿では,既存のアノテーションを概念的に別のレベルに分解する手法を提案する。
提案手法は,アノテーションタスクの事前知識に基づいて分解を定義する理論駆動型手法と,多くの可能な分解を帰納的に計算し,解釈と評価のために研究者に提示する探索型手法である。
近年構築された物語分析用データセットをユースケースとして,アノテーションの不一致の原因に関する仮説を検証し,アノテーションタスク内での潜在構造と関係を明らかにするための2つの戦略をそれぞれ適用した。
我々は、アプローチを拡張して一般化する方法を提案するとともに、他の目的のためにそれを使う方法を提案することで締めくくります。
関連論文リスト
- Explainable News Summarization -- Analysis and mitigation of Disagreement Problem [2.685668802278156]
テキスト要約のための説明可能なAI(XAI)技術は、要約の生成方法に関する貴重な理解を提供する。
近年の研究では、不一致問題として知られるこの分野の大きな課題が浮き彫りになっている。
この問題は、異なるXAI手法が同じ入力記事から生成された要約について矛盾する説明を提供するときに発生する。
本稿では,文変換器とk平均クラスタリングアルゴリズムを用いて,まず入力項目を分割し,各セグメントで生成された要約の説明を生成する手法を提案する。
論文 参考訳（メタデータ） (2024-10-24T09:07:44Z) - Detecting Statements in Text: A Domain-Agnostic Few-Shot Solution [1.3654846342364308]
最先端のアプローチは通常、作成にコストがかかる大規模な注釈付きデータセット上の微調整モデルを含む。
本稿では,クレームに基づくテキスト分類タスクの共通パラダイムとして,定性的で多目的な少ショット学習手法の提案とリリースを行う。
本手法は,気候変動対策,トピック/スタンス分類,うつ病関連症状検出の3つの課題の文脈で説明する。
論文 参考訳（メタデータ） (2024-05-09T12:03:38Z) - Aspect-based Meeting Transcript Summarization: A Two-Stage Approach with
Weak Supervision on Sentence Classification [91.13086984529706]
Aspect-based meeting transcript summarization は複数の要約を生成することを目的としている。
従来の要約手法は、全ての側面の情報を1つの要約で混合する。
アスペクトベースの会議書き起こし要約のための2段階の手法を提案する。
論文 参考訳（メタデータ） (2023-11-07T19:06:31Z) - Multi-turn Dialogue Comprehension from a Topic-aware Perspective [70.37126956655985]
本稿では,話題認識の観点から,マルチターン対話をモデル化することを提案する。
対話文のセグメント化アルゴリズムを用いて、対話文を教師なしの方法でトピック集中フラグメントに分割する。
また,トピックセグメントを処理要素として扱う新しいモデルとして,トピック認識デュアルアテンションマッチング(TADAM)ネットワークを提案する。
論文 参考訳（メタデータ） (2023-09-18T11:03:55Z) - Conflicts, Villains, Resolutions: Towards models of Narrative Media
Framing [19.589945994234075]
我々は、物語の要素を明示的に捉えたコミュニケーション科学から、広く使われているフレーミングの概念化を再考する。
我々は、複雑なアノテーションタスクをより単純なバイナリー質問に分解する効果的なアノテーションパラダイムを適用します。
教師付きおよび半教師付きアプローチによるフレームの自動マルチラベル予測について検討する。
論文 参考訳（メタデータ） (2023-06-03T08:50:13Z) - PropSegmEnt: A Large-Scale Corpus for Proposition-Level Segmentation and
Entailment Recognition [63.51569687229681]
文中の各命題の文的含意関係を個別に認識する必要性について論じる。
提案するPropSegmEntは45K以上の提案のコーパスであり, 専門家によるアノテートを行う。
我々のデータセット構造は、(1)文書内の文章を命題の集合に分割し、(2)異なるが、トポジカルに整合した文書に対して、各命題の含意関係を分類するタスクに類似している。
論文 参考訳（メタデータ） (2022-12-21T04:03:33Z) - Contrastive Learning for Neural Topic Model [14.65513836956786]
敵対的トピックモデル(ATM)は、文書を別の異なるサンプルと区別することで、文書の意味パターンをうまくキャプチャすることができる。
最適化問題として識別目標を再定式化するための新しい手法を提案し,新しいサンプリング手法を設計する。
実験の結果、我々のフレームワークは3つの一般的なベンチマークデータセットにおいて、他の最先端のニューラルトピックモデルよりも優れていることが示された。
論文 参考訳（メタデータ） (2021-10-25T09:46:26Z) - Comprehensive Studies for Arbitrary-shape Scene Text Detection [78.50639779134944]
ボトムアップに基づくシーンテキスト検出のための統合フレームワークを提案する。
統一されたフレームワークの下では、非コアモジュールの一貫性のある設定が保証されます。
包括的調査と精巧な分析により、以前のモデルの利点と欠点を明らかにしている。
論文 参考訳（メタデータ） (2021-07-25T13:18:55Z) - Weakly-Supervised Aspect-Based Sentiment Analysis via Joint
Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。
We learn sentiment, aspects> joint topic embeddeds in the word embedding space。
次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文 参考訳（メタデータ） (2020-10-13T21:33:24Z) - A computational model implementing subjectivity with the 'Room Theory'.
The case of detecting Emotion from Text [68.8204255655161]
本研究は,テキスト分析における主観性と一般的文脈依存性を考慮した新しい手法を提案する。
単語間の類似度を用いて、ベンチマーク中の要素の相対的関連性を抽出することができる。
この方法は、主観的評価がテキストの相対値や意味を理解するために関係しているすべてのケースに適用できる。
論文 参考訳（メタデータ） (2020-05-12T21:26:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。