論文の概要: Improving Labeling Consistency with Detailed Constitutional Definitions and AI-Driven Evaluation

• arxiv url: http://arxiv.org/abs/2605.24247v1
• Date: Fri, 22 May 2026 21:52:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:17.773729
• Title: Improving Labeling Consistency with Detailed Constitutional Definitions and AI-Driven Evaluation
• Title（参考訳）: 詳細な構成定義によるラベリング一貫性の向上とAIによる評価
• Authors: Konstantin Berlin, Adam Swanda,
• Abstract要約: 多くの自動ラベリングパイプラインは、入力を記述された仕様で定義されたカテゴリに分類する。 1つの解決策は、ラベラーが記述された解釈に異を唱えることができないような、十分な実際の境界条件を解決した規範的な定義を書くことである。 実際には、その詳細レベルでの定義は人間のアノテータがワーキングメモリで保持できるものを超えているので、ラベルは記述されたルールから逸脱する。 我々は、エッジケースをカバーするのに十分な詳細でラベルを定義するカテゴリごとのコンフィグレーションの記述を支援するAI駆動ワークフローの有効性を提案し、実証する。
• 参考スコア（独自算出の注目度）: 0.21483624911986507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many automated labeling pipelines classify inputs into categories defined by a written specification, content moderation being a prominent use case. Simple category definitions are not detailed enough for labelers to produce the accurate, consistent golden labels these pipelines require. One solution is to write a prescriptive definition that settles enough real boundary cases that labelers cannot disagree with the written interpretation. In practice, definitions at that level of detail exceed what a human annotator can hold in working memory, so annotators fall back on intuition and the labels drift from the written rules, regressing on accuracy and consistency. We propose and demonstrate the efficacy of an AI-driven workflow in which AI helps write a per-category constitution that defines the label in enough detail to cover edge cases, and a frontier LLM interprets it on each input to produce the golden label more consistently and accurately than humans reading the same document. We evaluate on three content moderation categories (harassment, hate speech, non-violent crime) and show that the approach reduces cross-model inconsistency by up to 57x compared to paragraph definitions, with cross-model disagreement diagnosing specification gaps and the human responsible for high-level decisions about what each category should mean rather than individual labeling calls. For the safety evaluation, we introduce a dual-axis formulation scoring intent and content independently over the full conversation, so downstream consumers can act on either axis or both.
• Abstract（参考訳）: 多くの自動ラベリングパイプラインは、入力を記述された仕様によって定義されたカテゴリに分類する。 単純なカテゴリ定義は、これらのパイプラインが必要とする正確で一貫性のある黄金のラベルを作るのに十分な詳細ではない。 1つの解決策は、ラベラーが記述された解釈に異を唱えることができないような、十分な実際の境界条件を解決した規範的な定義を書くことである。 実際には、その詳細レベルでの定義は人間のアノテータが動作記憶に保持できるものを超えるため、アノテータは直感に陥り、ラベルは記述された規則から逸脱し、正確さと一貫性に回帰する。 エッジケースをカバーするのに十分な詳細でラベルを定義するカテゴリごとのコンフィグレーションの記述を支援するAI駆動ワークフローを提案し,その効果を実証する。 本研究は,3つのコンテンツモデレーションカテゴリー(ハラスメント,ヘイトスピーチ,非暴力犯罪)について評価し,各カテゴリが個々のラベリングコールではなく,高レベルな判断を行う責任を負う人間と,仕様のギャップを診断するクロスモデル不一致を,第2項より最大57倍に低減することを示す。 安全性評価のために、両軸の定式化の意図と内容が会話全体に対して独立して導入されるので、下流の消費者はいずれの軸でも、両方でも行動することができる。

関連論文リスト

• Interpretable Discriminative Text Representations via Agreement and Label Disentanglement [4.2788570168072395]
  本稿では,解釈可能な識別テキスト表現のための操作基準を提案する。 各座標は、一致の確率で測定された概念的明快さを満たすべきである。 LLM支援機能発見におけるこの基準のインスタンス化を行う。
  論文  参考訳（メタデータ） (2026-05-20T04:41:44Z)
• Humans Hallucinate Too: Language Models Identify and Correct Subjective Annotation Errors With Label-in-a-Haystack Prompts [41.162545164426085]
  大規模言語モデル(LLM)を用いた文脈におけるラベル検証について検討する。 主観的ラベル補正のためのLiaHR(Label-in-a-Haystack Rectification)フレームワークを提案する。 このアプローチは、信号と雑音の比率を高めるために、アノテーションパイプラインに統合することができる。
  論文  参考訳（メタデータ） (2025-05-22T18:55:22Z)
• Gen-Z: Generative Zero-Shot Text Classification with Contextualized Label Descriptions [50.92702206798324]
  ゼロショットテキスト分類のための生成的プロンプトフレームワークを提案する。 GEN-Zはラベルの自然言語記述に基づく入力テキストのLM可能性を測定する。 データソースの文脈化によるゼロショット分類は、ゼロショットベースラインと少数ショットベースラインの両方を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2023-11-13T07:12:57Z)
• Description-Enhanced Label Embedding Contrastive Learning for Text Classification [65.01077813330559]
  モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計 テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。 ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
  論文  参考訳（メタデータ） (2023-06-15T02:19:34Z)
• Imprecise Label Learning: A Unified Framework for Learning with Various Imprecise Label Configurations [91.67511167969934]
  imprecise label learning (ILL)は、様々な不正確なラベル構成で学習を統合するためのフレームワークである。 我々は、ILLが部分ラベル学習、半教師付き学習、雑音ラベル学習にシームレスに適応できることを実証した。
  論文  参考訳（メタデータ） (2023-05-22T04:50:28Z)
• Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly Supervised Video Anomaly Detection [149.23913018423022]
  弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。 2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。 本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-08T05:53:53Z)
• Unsupervised Ranking and Aggregation of Label Descriptions for Zero-Shot Classifiers [8.434227773463022]
  本当のゼロショット設定では、開発セットがないため、良いラベル記述を設計することは難しい。 本研究では, ラベル記述を教師なしの方法で選択するために, 繰り返し評価分析の確率モデルをどのように利用できるかを検討する。
  論文  参考訳（メタデータ） (2022-04-20T14:23:09Z)
• A Study on the Autoregressive and non-Autoregressive Multi-label Learning [77.11075863067131]
  本稿では,ラベルとラベルの依存関係を共同で抽出する自己アテンションに基づく変分エンコーダモデルを提案する。 したがって、ラベルラベルとラベル機能の両方の依存関係を保ちながら、すべてのラベルを並列に予測することができる。
  論文  参考訳（メタデータ） (2020-12-03T05:41:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。