論文の概要: Structured Disagreement in Health-Literacy Annotation: Epistemic Stability, Conceptual Difficulty, and Agreement-Stratified Inference

• arxiv url: http://arxiv.org/abs/2604.19943v1
• Date: Tue, 21 Apr 2026 19:45:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:10.764531
• Title: Structured Disagreement in Health-Literacy Annotation: Epistemic Stability, Conceptual Difficulty, and Agreement-Stratified Inference
• Title（参考訳）: 健康・リテラシーアノテーションの構造的相違--てんかんの安定性、概念的難易度、コンセンサスによる推論
• Authors: Olga Kellert, Sriya Kondury, Candice Koo, Nemika Tyagi, Steffen Eikenberry,
• Abstract要約: パースペクティビストのアプローチは、不一致を誤認ではなく、潜在的に有益な情報として扱う。 エクアドルとペルーで収集された6,323件の健康・リテラシーアノテーションの大規模分析を行った。 国、教育、都市と農村の違いを含む社会科学的な重要な影響は、規模が大きく異なり、場合によってはアノテーション間の合意のレベルを越えて逆向きになる。
• 参考スコア（独自算出の注目度）: 0.8252603363637361
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Annotation pipelines in Natural Language Processing (NLP) commonly assume a single latent ground truth per instance and resolve disagreement through label aggregation. Perspectivist approaches challenge this view by treating disagreement as potentially informative rather than erroneous. We present a large-scale analysis of graded health-literacy annotations from 6,323 open-ended COVID-19 responses collected in Ecuador and Peru. Each response was independently labeled by multiple annotators using proportional correctness scores, reflecting the degree to which responses align with normative public-health guidelines, allowing us to analyze the full distribution of judgments rather than aggregated labels. Variance decomposition shows that question-level conceptual difficulty accounts for substantially more variance than annotator identity, indicating that disagreement is structured by the task itself rather than driven by individual raters. Agreement-stratified analyses further reveal that key social-scientific effects, including country, education, and urban-rural differences, vary in magnitude and in some cases reverse direction across levels of inter-annotator agreement. These findings suggest that graded health-literacy evaluation contains both epistemically stable and unstable components, and that aggregating across them can obscure important inferential differences. We therefore argue that strong perspectivist modeling is not only conceptually justified but statistically necessary for valid inference in graded interpretive tasks.
• Abstract（参考訳）: 自然言語処理(NLP)のアノテーションパイプラインは、通常、インスタンス毎に単一の遅延基底真理を仮定し、ラベルアグリゲーションを通じて不一致を解消する。 パースペクティビストのアプローチは、不一致を誤認ではなく潜在的に有益なものとして扱うことによって、この見解に異議を唱える。 エクアドルとペルーで収集された6,323件のオープンエンドのCOVID-19応答から得られた健康・リテラシーアノテーションの大規模分析を行った。 各回答は, 基準的公衆衛生ガイドラインに適合する度合いを反映して, 複数のアノテータによって個別にラベル付けされ, 集約されたラベルではなく, 判断の完全な分布を解析できるようになった。 変数分解は、質問レベルの概念的難易度が、アノテータのアイデンティティよりもかなり分散していることを示し、不一致は個々のラッカーによって駆動されるのではなく、タスク自体によって構成されていることを示している。 合意階層化分析により、国、教育、都市と農村の差異を含む社会科学的な重要な影響は、規模によって異なり、場合によっては、アノテータ間の合意のレベルを越えて逆向きになることが明らかとなった。 これらの結果から, 段階的健康・リテラシー評価には, エピステマティックな安定成分と不安定成分の両方が含まれていることが示唆された。 そこで我々は,強いパースペクティビズム・モデリングは概念的に正当化されるだけでなく,段階的解釈タスクにおける妥当な推論に統計的に必要であると主張している。

関連論文リスト

• Multiperspectivity as a Resource for Narrative Similarity Prediction [5.242380995471618]
  同じテキストの異なる、等しく有効な読解は、異なる解釈を生じさせ、したがって異なる類似性判断を生じさせる。 本稿では,予測システムの意思決定プロセスに,このマルチスペクティビティを取り入れることを提案する。 実験はSemEval-2026 Task 4で行われ、精度は0.705。
  論文  参考訳（メタデータ） (2026-03-23T15:32:40Z)
• Explanation Multiplicity in SHAP: Characterization and Assessment [28.413883186555438]
  ポストホックの説明は、貸付、雇用、医療といった高額な領域における自動決定を正当化し、議論し、レビューするために広く使われている。 しかし、実際にSHAPの説明は、個人、予測タスク、訓練されたモデルが固定された場合でも、繰り返し実行される間に大きく異なる可能性がある。 我々は、この現象の説明多重性の概念と命名、すなわち、同じ決定に対して複数の、内部的に有効な、実質的に異なる説明が存在すること。
  論文  参考訳（メタデータ） (2026-01-19T02:01:18Z)
• Facts in Stats: Impacts of Pretraining Diversity on Language Model Generalization [33.5861323022684]
  本稿では,ジェネリックトークンの統計ストリームと,ソースとターゲットのトークンペアの抽象的な事実ストリームを組み合わせたフレキシブルな合成テストベッドを提案する。 文脈的多様性の増大は分布内分布(ID)の精度を低下させるが、分布外分布(OOD)の一般化に対する影響は文脈的構造に大きく依存する。
  論文  参考訳（メタデータ） (2025-10-17T17:58:01Z)
• Semantic Reformulation Entropy for Robust Hallucination Detection in QA Tasks [13.230578301939907]
  既存のエントロピーに基づくセマンティックレベルの不確実性推定法は,可変長解のサンプリングノイズと不安定クラスタリングによって制限される。 本稿では2つの方法で不確実性評価を改善するセマンティック・リフォーム・エントロピー(SRE)を提案する。
  論文  参考訳（メタデータ） (2025-09-22T07:38:45Z)
• Counterfactual Realizability [52.85109506684737]
  本稿では, 正規化可能性の定義, 分布からサンプルを抽出する能力を導入し, 任意の反事実分布が実現可能であるかどうかを判定する完全アルゴリズムを開発する。 本稿では、因果的公正さと因果的強化学習のモチベーション例を用いて、この新たな反ファクト的データ収集フレームワークの意義を説明する。
  論文  参考訳（メタデータ） (2025-03-14T20:54:27Z)
• Estimating Commonsense Plausibility through Semantic Shifts [66.06254418551737]
  セマンティックシフトを測定することでコモンセンスの妥当性を定量化する新しい識別フレームワークであるComPaSSを提案する。 2種類の細粒度コモンセンス可視性評価タスクの評価は,ComPaSSが一貫してベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2025-02-19T06:31:06Z)
• Robust Representation Learning for Unreliable Partial Label Learning [86.909511808373]
  部分ラベル学習(Partial Label Learning, PLL)は、弱い教師付き学習の一種で、各トレーニングインスタンスに候補ラベルのセットが割り当てられる。 これはUn Reliable partial Label Learning (UPLL) と呼ばれ、部分ラベルの本質的な信頼性の欠如とあいまいさにより、さらなる複雑さをもたらす。 本研究では,信頼できない部分ラベルに対するモデル強化を支援するために,信頼性に欠けるコントラスト学習を活用するUnreliability-Robust Representation Learning framework(URRL)を提案する。
  論文  参考訳（メタデータ） (2023-08-31T13:37:28Z)
• Nonparametric Identifiability of Causal Representations from Unknown Interventions [63.1354734978244]
  本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。 我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
  論文  参考訳（メタデータ） (2023-06-01T10:51:58Z)
• Dive into Ambiguity: Latent Distribution Mining and Pairwise Uncertainty Estimation for Facial Expression Recognition [59.52434325897716]
  DMUE(DMUE)という,アノテーションのあいまいさを2つの視点から解決するソリューションを提案する。 前者に対しては,ラベル空間における潜伏分布をよりよく記述するために,補助的マルチブランチ学習フレームワークを導入する。 後者の場合、インスタンス間の意味的特徴のペアワイズ関係を完全に活用して、インスタンス空間のあいまいさの程度を推定する。
  論文  参考訳（メタデータ） (2021-04-01T03:21:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。