論文の概要: From Variance to Invariance: Qualitative Content Analysis for Narrative Graph Annotation
- arxiv url: http://arxiv.org/abs/2603.01930v1
- Date: Mon, 02 Mar 2026 14:48:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.915123
- Title: From Variance to Invariance: Qualitative Content Analysis for Narrative Graph Annotation
- Title(参考訳): 変分から不変性:ナラティブグラフアノテーションの質的内容分析
- Authors: Junbo Huang, Max Weinig, Ulrich Fritsche, Ricardo Usbeck,
- Abstract要約: 本稿では,定性的コンテンツ分析(QCA)の原則を統合し,アノテーションの品質を優先するナラティブグラフアノテーションフレームワークを提案する。
本稿では、ノードが事象を表現し、エッジが因果関係を符号化する有向非巡回グラフ(DAG)として注釈付けされたインフレーション物語のデータセットを提案する。
分析の結果,(1)高信頼度(オーバーラップベース距離)は信頼性を過大評価し,(2)局所的に制約された表現(例えばワンホップ隣人)はアノテーションの多様性を低下させることがわかった。
- 参考スコア(独自算出の注目度): 3.1697159529951198
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Narratives in news discourse play a critical role in shaping public understanding of economic events, such as inflation. Annotating and evaluating these narratives in a structured manner remains a key challenge for Natural Language Processing (NLP). In this work, we introduce a narrative graph annotation framework that integrates principles from qualitative content analysis (QCA) to prioritize annotation quality by reducing annotation errors. We present a dataset of inflation narratives annotated as directed acyclic graphs (DAGs), where nodes represent events and edges encode causal relations. To evaluate annotation quality, we employed a $6\times3$ factorial experimental design to examine the effects of narrative representation (six levels) and distance metric type (three levels) on inter-annotator agreement (Krippendorrf's $α$), capturing the presence of human label variation (HLV) in narrative interpretations. Our analysis shows that (1) lenient metrics (overlap-based distance) overestimate reliability, and (2) locally-constrained representations (e.g., one-hop neighbors) reduce annotation variability. Our annotation and implementation of graph-based Krippendorrf's $α$ are open-sourced. The annotation framework and evaluation results provide practical guidance for NLP research on graph-based narrative annotation under HLV.
- Abstract(参考訳): ニュース談話におけるナラティブは、インフレーションのような経済事象に対する一般大衆の理解を形成する上で重要な役割を担っている。
これらの物語を構造化された方法で注釈付けし評価することは、自然言語処理(NLP)の重要な課題である。
本稿では,定性的コンテンツ分析(QCA)の原則を統合し,アノテーションの誤りを減らし,注釈品質の優先順位付けを行う,物語グラフアノテーションフレームワークを提案する。
本稿では、ノードが事象を表現し、エッジが因果関係を符号化する有向非巡回グラフ(DAG)として注釈付けされたインフレーション物語のデータセットを提案する。
注釈の質を評価するために、6-times3$の因子的設計を用いて、物語表現(6レベル)と距離メートル法(3レベル)が注釈間の合意(Krippendorrf's $α$)に及ぼす影響を検証し、物語解釈における人間のラベル変動(HLV)の存在を捉えた。
分析の結果,(1)高信頼度(オーバーラップベース距離)は信頼性を過大評価し,(2)局所的に制約された表現(例えばワンホップ近傍)はアノテーションの多様性を低下させることがわかった。
グラフベースのKrippendorrfの$α$のアノテーションと実装はオープンソースです。
このアノテーションフレームワークと評価結果は,HLV下でのグラフベースのナラティブアノテーションに関するNLP研究の実践的ガイダンスを提供する。
関連論文リスト
- Explaining the Reasoning of Large Language Models Using Attribution Graphs [10.088088199704027]
我々は、グラフ説明(CAGE)フレームワークを介してContext Attributionを導入する。
CAGEは属性グラフ(en:Atribution graph)を導入している。これは、各世代がプロンプトとすべての前世代からどのように影響を受けているかを定量化する有向グラフである。
複数のモデル、データセット、メトリクス、メソッドにわたって、CAGEはコンテキスト属性の忠実性を改善し、最大40%の平均的なゲインを達成する。
論文 参考訳(メタデータ) (2025-12-17T18:15:26Z) - Improving Narrative Classification and Explanation via Fine Tuned Language Models [6.310433217813068]
本研究は,(1)ニュース記事における物語とサブナラティブのマルチラベル分類,(2)簡潔でエビデンスに基づく,支配的な物語の説明の生成という2つの課題に取り組む。
GPT-4oパイプラインを用いた総合的な物語検出, 予測の精細化のためのリコール指向アプローチにより, BERTモデルを微調整する。
本研究は, メディア分析, 教育, インテリジェンス収集における補助知識の活用により, 分類精度が向上し, 信頼性が向上することを示す。
論文 参考訳(メタデータ) (2025-09-04T10:12:31Z) - GraphRAG-Causal: A novel graph-augmented framework for causal reasoning and annotation in news [0.48379436447082086]
GraphRAG-Causalは、グラフベースの検索と大きな言語モデルを組み合わせることで、ニュース分析における因果推論を強化する。
因果分類のF1スコアは82.1%で、わずか20の例で達成されている。
このアプローチは精度と一貫性を大幅に向上させ、ニュース信頼性評価、誤情報検出、ポリシー分析におけるリアルタイムアプリケーションに非常に適している。
論文 参考訳(メタデータ) (2025-06-13T09:09:08Z) - How Humans Help LLMs: Assessing and Incentivizing Human Preference Annotators [8.244694683982784]
我々は,人間のアノテーションの性能を評価し,高品質なアノテーションを提供することにインセンティブを与えるという課題について検討する。
我々は,企業とアノテータの挙動と相互作用を特徴付けるプリンシパルエージェントモデルを開発した。
このモデルは、双方に利益をもたらすアノテータをインセンティブ化するボーナススキームの実践的なメカニズムを合理化する。
論文 参考訳(メタデータ) (2025-02-10T12:15:27Z) - Beyond Coarse-Grained Matching in Video-Text Retrieval [50.799697216533914]
きめ細かい評価のための新しいアプローチを導入する。
テストキャプションを自動的に生成することで,既存のデータセットにアプローチを適用することができる。
きめ細かい評価実験は、このアプローチがきめ細かな違いを理解するモデルの能力を高めることを実証している。
論文 参考訳(メタデータ) (2024-10-16T09:42:29Z) - Fine-Grained Modeling of Narrative Context: A Coherence Perspective via Retrospective Questions [48.18584733906447]
この研究は、物語の中の個々の通路が孤立するよりも密接な関係にある傾向があるという特徴から生まれた、物語理解のためのオリジナルで実践的なパラダイムを取り入れたものである。
本稿では,タスク非依存のコヒーレンス依存を明示的に表現したNarCoというグラフを定式化することにより,物語コンテキストのきめ細かいモデリングを提案する。
論文 参考訳(メタデータ) (2024-02-21T06:14:04Z) - Faithful Knowledge Graph Explanations for Commonsense Reasoning [7.242609314791262]
言語モデル(LM)と知識グラフ(KG)の融合は、常識的質問応答において広く利用されている。
現在の手法は、しばしば忠実さをデコードするパスを見落とし、グラフエンコーダ出力とモデル予測の間にばらつきをもたらす。
本研究は,LM-KGのミスアライメントと相反する効果を,突発的な説明を引き起こす重要な要因として同定する。
論文 参考訳(メタデータ) (2023-10-07T20:29:45Z) - SNaC: Coherence Error Detection for Narrative Summarization [73.48220043216087]
SNaCは長文の微粒化アノテーションに根ざした物語コヒーレンス評価フレームワークである。
本稿では,生成した物語要約におけるコヒーレンスエラーの分類法を開発し,150冊の本や映画の脚本要約にまたがる6.6k文のスパンレベルアノテーションを収集する。
我々の研究は、最先端の要約モデルによって生成されるコヒーレンスエラーの最初の特徴と、群衆アノテータからコヒーレンス判断を引き出すためのプロトコルを提供する。
論文 参考訳(メタデータ) (2022-05-19T16:01:47Z) - FactGraph: Evaluating Factuality in Summarization with Semantic Graph
Representations [114.94628499698096]
文書と要約を構造化された意味表現(MR)に分解するFactGraphを提案する。
MRは、コアセマンティックの概念とその関係を記述し、文書と要約の両方の主要な内容を標準形式で集約し、データの疎結合を減少させる。
事実性を評価するための異なるベンチマークの実験では、FactGraphは以前のアプローチよりも最大15%優れていた。
論文 参考訳(メタデータ) (2022-04-13T16:45:33Z) - Deconfounding to Explanation Evaluation in Graph Neural Networks [136.73451468551656]
我々は、全グラフと部分グラフの間に分布シフトが存在し、分布外問題を引き起こすと論じる。
本稿では,モデル予測に対する説明文の因果効果を評価するために,Decon founded Subgraph Evaluation (DSE)を提案する。
論文 参考訳(メタデータ) (2022-01-21T18:05:00Z) - Weakly-Supervised Aspect-Based Sentiment Analysis via Joint
Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。
We learn sentiment, aspects> joint topic embeddeds in the word embedding space。
次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文 参考訳(メタデータ) (2020-10-13T21:33:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。