Fugu-MT 論文翻訳(概要): Perspectives in Play: A Multi-Perspective Approach for More Inclusive NLP Systems

論文の概要: Perspectives in Play: A Multi-Perspective Approach for More Inclusive NLP Systems

arxiv url: http://arxiv.org/abs/2506.20209v1
Date: Wed, 25 Jun 2025 07:53:36 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-26 21:00:42.651689
Title: Perspectives in Play: A Multi-Perspective Approach for More Inclusive NLP Systems
Title（参考訳）: より包括的なNLPシステムに対するマルチパースペクティブアプローチ
Authors: Benedetta Muscato, Lucia Passaro, Gizem Gezici, Fosca Giannotti,
Abstract要約: 本研究では,視点認識モデルの開発を促進するために,ソフトラベルを用いた新しい多視点アプローチを提案する。我々は、ヘイトスピーチ、皮肉、虐待言語、スタンス検出など、多様な主観的テキスト分類タスクの分析を行う。結果は、Jensen-Shannon Divergence (JSD) が測定したように、マルチパースペクティブアプローチが人間のラベル分布をよりよく近似していることを示している。本手法は,本文の主観性に起因して,皮肉や姿勢検出などの課題に対する信頼度を低下させる。
参考スコア（独自算出の注目度）: 3.011820285006942
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In the realm of Natural Language Processing (NLP), common approaches for handling human disagreement consist of aggregating annotators' viewpoints to establish a single ground truth. However, prior studies show that disregarding individual opinions can lead can lead to the side effect of underrepresenting minority perspectives, especially in subjective tasks, where annotators may systematically disagree because of their preferences. Recognizing that labels reflect the diverse backgrounds, life experiences, and values of individuals, this study proposes a new multi-perspective approach using soft labels to encourage the development of the next generation of perspective aware models, more inclusive and pluralistic. We conduct an extensive analysis across diverse subjective text classification tasks, including hate speech, irony, abusive language, and stance detection, to highlight the importance of capturing human disagreements, often overlooked by traditional aggregation methods. Results show that the multi-perspective approach not only better approximates human label distributions, as measured by Jensen-Shannon Divergence (JSD), but also achieves superior classification performance (higher F1 scores), outperforming traditional approaches. However, our approach exhibits lower confidence in tasks like irony and stance detection, likely due to the inherent subjectivity present in the texts. Lastly, leveraging Explainable AI (XAI), we explore model uncertainty and uncover meaningful insights into model predictions.
Abstract（参考訳）: 自然言語処理(NLP)の領域では、人間の不一致を扱うための一般的なアプローチは、アノテータの視点を集約して一つの基礎的真実を確立することである。しかし、先行研究は、個々の意見を無視したことが、特に主観的なタスクにおいて少数派視点を過小評価する副作用を引き起こす可能性があることを示している。本研究は,ラベルが個人の多様な背景,生活経験,価値観を反映していることを認識し,より包括的で多元的な次世代の視点認識モデルの開発を促進するために,ソフトラベルを用いた新しい多視点アプローチを提案する。我々は、ヘイトスピーチ、皮肉、虐待言語、スタンス検出など、多様な主観的テキスト分類タスクを幅広く分析し、従来の集約手法で見落とされがちな人間の不一致を捉えることの重要性を強調する。結果は,Jensen-Shannon Divergence (JSD) が測定したように,マルチパースペクティブアプローチは人間のラベル分布をよりよく近似するだけでなく,優れた分類性能(より高いF1スコア)を達成し,従来の手法よりも優れていたことを示している。しかし,本手法は,テキストに固有の主観性のため,皮肉や姿勢検出などの課題に対する信頼性が低い。最後に、説明可能なAI(XAI)を活用して、モデルの不確実性を調査し、モデル予測に関する有意義な洞察を明らかにする。

関連論文リスト

A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [53.18562650350898]
思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
論文参考訳（メタデータ） (2025-05-29T18:55:05Z)
VisuLogic: A Benchmark for Evaluating Visual Reasoning in Multi-modal Large Language Models [121.03333569013148]
VisuLogicは、6つのカテゴリにまたがる1,000の人間認証された問題のベンチマークです。これらの質問は、複数の視点からMLLMの視覚的推論能力を評価するために評価することができる。ほとんどのモデルは精度が30%以下で、25%のランダムベースラインよりわずかに高く、人間によって達成された51.4%よりはるかに低い。
論文参考訳（メタデータ） (2025-04-21T17:59:53Z)
Embracing Diversity: A Multi-Perspective Approach with Soft Labels [3.529000007777341]
本稿では,複数のアノテータが議論の的となっているトピックに基づいてスタンスを割り当てる,スタンス検出タスクにおける視点認識モデルの設計手法を提案する。その結果,マルチパースペクティブアプローチにより,より優れた分類性能(より高いF1スコア)が得られることがわかった。
論文参考訳（メタデータ） (2025-03-01T13:33:38Z)
Reasoner Outperforms: Generative Stance Detection with Rationalization for Social Media [12.479554210753664]
本研究は、明確な解釈可能な有理性を含む姿勢予測を含む生成的アプローチを採用する。姿勢検出に推論を組み込むことで、より小さなモデル(FlanT5)がGPT-3.5のゼロショット性能を上回ることが判明した。
論文参考訳（メタデータ） (2024-12-13T16:34:39Z)
On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [68.62012304574012]
マルチモーダル生成モデルは信頼性公正性誤用の可能性について批判的な議論を巻き起こしました埋め込み空間におけるグローバルおよびローカルな摂動に対する応答を解析し、モデルの信頼性を評価するための評価フレームワークを提案する。提案手法は, 信頼できない, バイアス注入されたモデルを検出し, 組込みバイアスの証明をトレースするための基礎となる。
論文参考訳（メタデータ） (2024-11-21T09:46:55Z)
Multi-Perspective Stance Detection [2.8073184910275293]
マルチパースペクティブアプローチは、単一ラベルを使用するベースラインよりも優れた分類性能が得られる。これは、より包括的な視点を意識したAIモデルを設計することが、責任と倫理的なAIを実装するための重要な第一歩であるだけでなく、従来のアプローチよりも優れた結果を達成することも必要である。
論文参考訳（メタデータ） (2024-11-13T16:30:41Z)
Uncovering Biases with Reflective Large Language Models [2.5200794639628032]
人間のラベル付きデータのバイアスとエラーは、機械学習にとって重要な課題である。本稿では,多種多様な視点を明らかにするために,構造化逆対話を利用した反射型LLM対話フレームワーク RLDF を提案する。実験の結果、RDDFは人間のラベル付きデータの制限を露呈しながら、公開コンテンツの潜在的なバイアスを特定することに成功した。
論文参考訳（メタデータ） (2024-08-24T04:48:32Z)
Social Bias Probing: Fairness Benchmarking for Language Models [38.180696489079985]
本稿では,社会的偏見を考慮した言語モデル構築のための新しい枠組みを提案する。既存のフェアネスコレクションの制限に対処するために設計された大規模なベンチマークであるSoFaをキュレートする。我々は、言語モデル内のバイアスが認識されるよりもニュアンスが高いことを示し、これまで認識されていたよりもより広く符号化されたバイアスの範囲を示している。
論文参考訳（メタデータ） (2023-11-15T16:35:59Z)
Few-shot Forgery Detection via Guided Adversarial Interpolation [56.59499187594308]
既存の偽造検出手法は、見知らぬ新しい偽造手法に適用した場合、大幅な性能低下に悩まされる。本稿では,数発の偽造検出問題を克服するために,GAI(Guid Adversarial Interpolation)を提案する。我々の手法は、多数派と少数派の偽造アプローチの選択に対して堅牢であることが検証されている。
論文参考訳（メタデータ） (2022-04-12T16:05:10Z)
Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文参考訳（メタデータ） (2021-11-04T12:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。