論文の概要: Fine-grained Fallacy Detection with Human Label Variation

• arxiv url: http://arxiv.org/abs/2502.13853v1
• Date: Wed, 19 Feb 2025 16:18:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:00:07.489936
• Title: Fine-grained Fallacy Detection with Human Label Variation
• Title（参考訳）: ラベル変化によるきめ細かい誤検出
• Authors: Alan Ramponi, Agnese Daffara, Sara Tonelli,
• Abstract要約: Fainaは、複数の妥当な回答と自然な不一致を取り入れた、誤検出のための最初のデータセットである。 Faunaには、イタリア語のソーシャルメディア投稿に、20種類の誤字が重複した11万以上のスパンレベルのアノテーションが含まれている。
• 参考スコア（独自算出の注目度）: 6.390923249771241
• License:
• Abstract: We introduce Faina, the first dataset for fallacy detection that embraces multiple plausible answers and natural disagreement. Faina includes over 11K span-level annotations with overlaps across 20 fallacy types on social media posts in Italian about migration, climate change, and public health given by two expert annotators. Through an extensive annotation study that allowed discussion over multiple rounds, we minimize annotation errors whilst keeping signals of human label variation. Moreover, we devise a framework that goes beyond "single ground truth" evaluation and simultaneously accounts for multiple (equally reliable) test sets and the peculiarities of the task, i.e., partial span matches, overlaps, and the varying severity of labeling errors. Our experiments across four fallacy detection setups show that multi-task and multi-label transformer-based approaches are strong baselines across all settings. We release our data, code, and annotation guidelines to foster research on fallacy detection and human label variation more broadly.
• Abstract（参考訳）: Fainaは、複数の妥当な回答と自然な不一致を取り入れた、誤検出のための最初のデータセットである。 Fainaには、移民、気候変動、そして2人の専門家アノテーターが与える公衆衛生について、イタリアのソーシャルメディア投稿に、20種類の誤字が重複した11万件以上のスパンレベルのアノテーションが含まれている。 複数のラウンドにわたる議論を可能にする広範囲なアノテーション研究を通じて、人間のラベル変化の信号を保持しながら、アノテーションエラーを最小限に抑える。 さらに,複数の(同様に信頼性の高い)テストセットとタスクの特異性,すなわち部分的なスパンマッチ,重複,ラベル付けエラーの重大さを同時に考慮する枠組みを考案する。 4つの誤検出装置による実験により,マルチタスクとマルチラベルトランスフォーマーに基づくアプローチが,全ての設定において強いベースラインであることが確認された。 データ、コード、アノテーションのガイドラインを公開し、誤検出と人間のラベルの変化に関する研究をより広範囲に進めます。

関連論文リスト

• Harnessing Hierarchical Label Distribution Variations in Test Agnostic Long-tail Recognition [114.96385572118042]
  テストラベルの分布の変動は階層的にグローバルレベルとローカルレベルに分解できると主張している。 ラベル分布の異なるDirichletメタ分布に専門家を割り当てる新しいMoE戦略である$mathsfDirMixE$を提案する。 本稿では,分散に基づく正規化による一般化の促進による目的性を示す。
  論文  参考訳（メタデータ） (2024-05-13T14:24:56Z)
• VariErr NLI: Separating Annotation Error from Human Label Variation [23.392480595432676]
  系統的手法と新しいデータセットであるVariErr(変分対エラー)を導入する。 VariErr は 500 個の再注釈された MNLI 項目について 1,933 個の説明に対して 7,732 個の妥当性判断を下している。 現状のAID法はGPTと人間を著しく過小評価している。
  論文  参考訳（メタデータ） (2024-03-04T10:57:14Z)
• Appeal: Allow Mislabeled Samples the Chance to be Rectified in Partial Label Learning [55.4510979153023]
  部分ラベル学習(PLL)では、各インスタンスは候補ラベルのセットに関連付けられ、そのうち1つだけが接地真実である。 誤記されたサンプルの「アペアル」を支援するため,最初の魅力に基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-18T09:09:52Z)
• Robust Assignment of Labels for Active Learning with Sparse and Noisy Annotations [0.17188280334580192]
  監視された分類アルゴリズムは、世界中の多くの現実の問題を解決するために使用される。 残念なことに、多くのタスクに対して良質なアノテーションを取得することは、実際に行うには不可能か、あるいはコストがかかりすぎます。 サンプル空間のラベルのない部分を利用する2つの新しいアノテーション統一アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-25T19:40:41Z)
• Probabilistic Test-Time Generalization by Variational Neighbor-Labeling [62.158807685159736]
  本稿では、ドメインの一般化を試み、モデルが未確認のターゲットドメインにデプロイされる前に、ソースドメインにのみトレーニングされる。 ソーストレーニングされたモデルをテスト時にターゲットドメインに一般化するための、ターゲットサンプルの擬似ラベル化の確率。 より堅牢な擬似ラベルを生成するために、近隣のターゲットサンプルの情報を含む変分隣接ラベル。
  論文  参考訳（メタデータ） (2023-07-08T18:58:08Z)
• Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
  入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。 また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。 我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
  論文  参考訳（メタデータ） (2023-03-14T16:11:47Z)
• Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly Supervised Video Anomaly Detection [149.23913018423022]
  弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。 2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。 本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-08T05:53:53Z)
• The 'Problem' of Human Label Variation: On Ground Truth in Data, Modeling and Evaluation [21.513743126525622]
  我々は、人間のラベルの変動という大きなオープンな問題が持続し、我々の分野を前進させるためには、より注意が必要であると論じている。 我々は、これまで提案された異なるラベルのバリエーションの概念を整理し、公開可能なデータセットのリポジトリを非集約ラベルで提供し、これまで提案されてきたアプローチを描写し、ギャップを識別し、今後の方向性を提案する。
  論文  参考訳（メタデータ） (2022-11-04T16:38:09Z)
• One Positive Label is Sufficient: Single-Positive Multi-Label Learning with Label Enhancement [71.9401831465908]
  本研究では,SPMLL (Single- positive multi-label learning) について検討した。 ラベルエンハンスメントを用いた単陽性MultIラベル学習という新しい手法を提案する。 ベンチマークデータセットの実験により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-06-01T14:26:30Z)
• End-to-End Annotator Bias Approximation on Crowdsourced Single-Label Sentiment Analysis [0.4925222726301579]
  感性分析は、多くのアノテータから与えられた主観的なラベルをクラウドソーシングする作業であることが多い。 それぞれのアノテータのアノテーションバイアスがいかにして最先端の手法で正しくモデル化できるかは、まだ完全には分かっていない。 我々の貢献は、正確な神経終末バイアスモデリングと基底真理推定のための説明と改善である。
  論文  参考訳（メタデータ） (2021-11-03T16:20:16Z)
• Embracing Uncertainty: Decoupling and De-bias for Robust Temporal Grounding [23.571580627202405]
  時間接地は、言語クエリによって、未トリミングビデオ内の時間境界をローカライズすることを目的としている。 クエリの不確実性とラベルの不確実性という2つのタイプの避けられない人間の不確実性の課題に直面しています。 人間の不確実性を受け入れる新しいDeNet(Decoupling and De-bias)を提案する。
  論文  参考訳（メタデータ） (2021-03-31T07:00:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。