論文の概要: Multi-Label Agreement: A Flexible Framework for Inter-Annotator Reliability

• arxiv url: http://arxiv.org/abs/2610.37292v1
• Date: Tue, 27 Oct 2026 14:15:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.65404
• Title: Multi-Label Agreement: A Flexible Framework for Inter-Annotator Reliability
• Title（参考訳）: Multi-Label Agreement: アノテーション間の信頼性のための柔軟なフレームワーク
• Abstract要約: マルチラベルアグリーメント(MLA)は、マルチラベルアノテーションタスクにおいてアグリーメントを評価するフレキシブルなフレームワークである。 得られた価値がラベルの有病率、宣言されたラベルの在庫、および期待される合意の選択モデルにどのように依存するかを示す。
• 参考スコア（独自算出の注目度）: 0.5524804393257919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable evaluation of inter-annotator agreement (IAA) is important for assessing the consistency of annotation processes. While established IAA metrics such as Cohen's kappa, Fleiss' kappa, and Krippendorff's alpha are commonly applied in single-label settings, multi-label tasks require additional decisions about how full label sets, joint selections, and joint omissions should be compared. In this work, we present Multi-Label Agreement (MLA), a flexible framework for evaluating agreement in multi-label annotation tasks. MLA preserves the full binary label vectors assigned to each item and uses average pairwise Hamming agreement, thereby accounting for both joint selections and joint omissions. Its pooled-marginal form is not a mathematically independent coefficient: it is a chance-disagreement-weighted average of label-wise Fleiss/Scott-type coefficients and is closely related to Krippendorff's alpha with normalized Hamming distance. The framework supports pooled-marginal, Gwet AC1, and fixed-baseline normalizations, yields item-level, label-level, and corpus-level results, and includes a conditional minimum-agreement diagnostic. Through a worked example and Monte Carlo simulations, we show how the resulting values depend on label prevalence, the declared label inventory, and the selected model of expected agreement. We also provide a Python implementation. MLA thus offers a transparent and interpretable framework for multi-label agreement analysis without claiming that one normalization is universally preferable.
• Abstract（参考訳）: アノテーションプロセスの一貫性を評価するためには,IAA(Inter- Annotator Agreement)の信頼性評価が重要である。 Cohen's kappa、Fleiss' kappa、Krippendorff's Alphaなどの確立したIAAメトリクスはシングルラベル設定で一般的に適用されているが、マルチラベルタスクでは、完全なラベルセット、ジョイントセレクション、ジョイントオミッションの比較に関する追加的な決定が必要である。 本稿では,マルチラベルアノテーションタスクにおいて,アグリーメントを評価するフレキシブルなフレームワークであるMulti-Label Agreement(MLA)を提案する。 MLAは各項目に割り当てられた完全なバイナリラベルベクトルを保持し、平均的なペア・ハミング合意を用いて、共同選択と共同省略の両方を考慮に入れている。 正則化ハミング距離を持つクリッペンドルフのアルファと密接に関連している、ラベルワイズ/スコット型係数の確率分解重み付き平均である。 このフレームワークは、プールマージナル、Gwet AC1、固定ベースライン正規化をサポートし、アイテムレベル、ラベルレベル、コーパスレベルの結果を出力し、条件付き最小値診断を含む。 実例とモンテカルロシミュレーションを通して、結果の値はラベルの有病率、宣言されたラベルの在庫、期待される合意の選択されたモデルにどのように依存するかを示す。 Pythonの実装も提供しています。 したがって、MLAは1つの正規化が普遍的に好ましいと主張することなく、多ラベル合意分析のための透過的で解釈可能なフレームワークを提供する。

関連論文リスト

• Quality and Agreement in Multilabel Emotion Annotation: A Case Study and Evaluation Framework [0.042970700836450486]
  マルチラベル感情アノテーションのケーススタディを提案する。 本稿では,アノテータの行動とアグリゲーションの選択が,合意推定と下流感情分類にどのように影響するかを検討する。 本研究は,マルチラベル感情データセットの設計,集約,評価のための実践的ガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-06-19T03:36:05Z)
• Feature-Label Modal Alignment for Robust Partial Multi-Label Learning [66.1611192892514]
  特徴ラベルアライメント(PML-MA)に基づく新しいPML手法を提案する。 PML-MAは特徴とラベルを2つの相補的なモダリティとして扱い、体系的なアライメントを通じて一貫性を回復する。 実世界のデータセットと合成データセットの両方の実験では、PML-MAが最先端の手法を大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2026-04-10T07:44:46Z)
• Least-Ambiguous Multi-Label Classifier [2.0482700732041397]
  単陽性多言語学習(SPMLL)に対するモデルに依存しないアプローチを提案する。 本手法は,ラベル分布の仮定に頼らずに,シングルラベルトレーニングとマルチラベル評価の監督ギャップを埋める。
  論文  参考訳（メタデータ） (2025-09-12T20:45:24Z)
• Appeal: Allow Mislabeled Samples the Chance to be Rectified in Partial Label Learning [55.4510979153023]
  部分ラベル学習(PLL)では、各インスタンスは候補ラベルのセットに関連付けられ、そのうち1つだけが接地真実である。 誤記されたサンプルの「アペアル」を支援するため,最初の魅力に基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-18T09:09:52Z)
• One Positive Label is Sufficient: Single-Positive Multi-Label Learning with Label Enhancement [71.9401831465908]
  本研究では,SPMLL (Single- positive multi-label learning) について検討した。 ラベルエンハンスメントを用いた単陽性MultIラベル学習という新しい手法を提案する。 ベンチマークデータセットの実験により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-06-01T14:26:30Z)
• Acknowledging the Unknown for Multi-label Learning with Single Positive Labels [65.5889334964149]
  伝統的に、全ての無注釈ラベルは、単一正のマルチラベル学習(SPML)において負のラベルとして仮定される。 本研究では, 予測確率のエントロピーを最大化するエントロピー最大化(EM)損失を提案する。 非通知ラベルの正負ラベル不均衡を考慮し、非対称耐性戦略とより精密な監視を行うセルフペースト手順を備えた非対称擬似ラベル(APL)を提案する。
  論文  参考訳（メタデータ） (2022-03-30T11:43:59Z)
• Instance-Dependent Partial Label Learning [69.49681837908511]
  部分ラベル学習は、典型的には弱教師付き学習問題である。 既存のほとんどのアプローチでは、トレーニングサンプルの間違ったラベルがランダムに候補ラベルとして選択されていると仮定している。 本稿では,各例が実数で構成された潜在ラベル分布と関連していると仮定する。
  論文  参考訳（メタデータ） (2021-10-25T12:50:26Z)
• Enhancing Label Correlation Feedback in Multi-Label Text Classification via Multi-Task Learning [6.1538971100140145]
  ラベル相関フィードバックを高めるために,マルチタスク学習を用いた新しい手法を提案する。 本稿では,ラベル相関学習を強化するための2つの補助ラベル共起予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-06-06T12:26:14Z)
• Partial Multi-label Learning with Label and Feature Collaboration [21.294791188490056]
  部分的マルチラベル学習(PML)は、各トレーニングインスタンスに候補ラベルのセットをアノテートするシナリオをモデル化する。 PMLデータに対する信頼性のある予測器を実現するため,PML-LFC (Partial Multi-label Learning with Label and Feature Collaboration)を提案する。 PML-LFCは、ラベルと特徴空間の両方から類似性を用いて、各インスタンスの関連ラベルの信頼性値を推定する。
  論文  参考訳（メタデータ） (2020-03-17T08:34:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。