論文の概要: The Ghost Annotator: a Framework to Explore Human Label Variation in Content Moderation through Conformal Prediction

• arxiv url: http://arxiv.org/abs/2606.02911v1
• Date: Mon, 01 Jun 2026 21:32:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.617289
• Title: The Ghost Annotator: a Framework to Explore Human Label Variation in Content Moderation through Conformal Prediction
• Title（参考訳）: ゴーストアノテータ:コンフォーマル予測によるコンテンツモデレーションの人間のラベル変化を探索するフレームワーク
• Authors: Mirko Lai, Alessandra Urbinati, Simona Frenda, Fabiana Vernero, Marco Antonio Stranisci,
• Abstract要約: 共形予測と協調フィルタリングスタイルのアノテータ表現を組み合わせたフレームワークを提案する。 非整合スコアを用いて、モデル予測が利用可能なすべてのアノテーションから発散するケースを定量化するために、ゴースト予測メトリックとゴーストアノテーション表現を導入する。 我々の発見は、アノテータの不一致によって全てのモデルの不確実性が増大する一方で、より大きなモデルは、人間のアノテーションと一致しないテキストの分類により自信を持つ傾向にあることを示している。
• 参考スコア（独自算出の注目度）: 39.10305114526259
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current research primarily focuses on model performance, while comparatively less attention has been devoted to uncertainty estimation, particularly in settings where LLMs are increasingly used to generate annotated data. We introduce a framework combining conformal prediction with Collaborative Filtering-style annotators' representation to model LLM behavior in relation to human annotators and to analyze patterns of agreement and disagreement. Using Non-Conformity Scores, we introduce the Ghost Prediction metric and the Ghost Annotator representation to quantify cases in which model predictions diverge from all available human annotations. We compute cosine similarity measures to explore differences in model behavior across sociodemographic axes. We evaluated four LLMs of different size and families across four content moderation datasets. Our finding shows that while we find that all models uncertainty increases with annotator disagreement, larger models tend to be more confident in the classification of texts that are not aligned with any human annotation. Finally, the Ghost Annotator framework reveals a consistent and robust pattern of demographic misalignment, suggesting a structural bias likely rooted in pretraining corpora.
• Abstract（参考訳）: 現在の研究は主にモデル性能に重点を置いているが、特に注釈付きデータの生成にLLMが使われる環境において、不確実性の推定にはあまり関心が向けられていない。 本研究では,共形予測と協調フィルタリングスタイルのアノテータ表現を組み合わせた枠組みを導入し,人間のアノテータに関連するLCMの挙動をモデル化し,コンセンサスと不一致のパターンを解析する。 非整合スコアを用いて、モデル予測が利用可能なすべてのアノテーションから発散するケースを定量化するために、ゴースト予測メトリックとゴーストアノテーション表現を導入する。 我々はコサイン類似度を計算し、ソシオデマトグラフィー軸間のモデル行動の違いを探索する。 我々は,4つのコンテンツモデレーションデータセットにおいて,サイズと家族の異なる4つのLCMを評価した。 我々の発見は、アノテータの不一致によって全てのモデルの不確かさが増大するのに対して、より大きなモデルは人間のアノテーションと一致しないテキストの分類に自信を持つ傾向にあることを示している。 最後に、Ghost Annotatorフレームワークは、人口的不適応の一貫性と堅牢なパターンを明らかにし、事前学習コーパスに根ざした構造的バイアスを示唆している。

関連論文リスト

• GenZ: Foundational models as latent variable generators within traditional statistical models [7.74887919885246]
  我々は,解釈可能な意味的特徴を通じて基礎モデルと統計的モデリングを橋渡しするハイブリッドモデルGenZを提案する。 提案手法は,反復的プロセスを通じて意味的特徴記述を発見することによってこの問題に対処する。 Netflixの映画埋め込みでは、セマンティック記述から0.59コサイン類似度で協調フィルタリング表現を予測する。
  論文  参考訳（メタデータ） (2025-12-31T12:56:01Z)
• Towards Consistent Detection of Cognitive Distortions: LLM-Based Annotation and Dataset-Agnostic Evaluation [2.699704259580951]
  テキストに基づく自動認知歪み検出は、主観的な性質のため難しい課題である。 一貫性のある信頼性のあるアノテータとしてLarge Language Models (LLM)の使用について検討する。
  論文  参考訳（メタデータ） (2025-11-03T11:45:26Z)
• QuMAB: Query-based Multi-Annotator Behavior Modeling with Reliability under Sparse Labels [23.555446749682467]
  マルチアノテーション学習は伝統的に、様々なアノテーションを集約して単一の真実を近似し、不一致をノイズとして扱う。 本稿では,サンプル・ワイド・アグリゲーションからアノテータ・ワイド・ビヘイビア・モデリングへのパラダイムシフトを紹介する。 アノテータの不一致をノイズではなく貴重な情報として扱うことにより、アノテータ固有の行動パターンをモデル化することで、未ラベルデータを再構築してアノテーションコストを低減し、集約信頼性を高め、アノテータの決定動作を説明することができる。
  論文  参考訳（メタデータ） (2025-07-23T16:17:43Z)
• CONTESTS: a Framework for Consistency Testing of Span Probabilities in Language Models [16.436592723426305]
  単語スパンに関節確率を割り当てる異なる方法で、言語モデルが同じ値を生成するかどうかは不明である。 我々の研究はConTestSという新しいフレームワークを導入し、交換可能な完了順序と条件付き順序でスコアの整合性を評価する統計的テストを含む。
  論文  参考訳（メタデータ） (2024-09-30T06:24:43Z)
• Evaluating Model Bias Requires Characterizing its Mistakes [19.777130236160712]
  スキューサイズ(SkewSize)は、モデルの予測における誤りからバイアスを捉える、原則付きフレキシブルなメトリクスである。 マルチクラスの設定で使用したり、生成モデルのオープンな語彙設定に一般化することができる。 合成データで訓練された標準的な視覚モデル、ImageNetで訓練された視覚モデル、BLIP-2ファミリーの大規模視覚言語モデルなどである。
  論文  参考訳（メタデータ） (2024-07-15T11:46:21Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
  seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。 モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。 要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:57:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。