論文の概要: Fairness Metric Design Exploration in Multi-Domain Moral Sentiment Classification using Transformer-Based Models

• arxiv url: http://arxiv.org/abs/2510.11222v1
• Date: Mon, 13 Oct 2025 10:05:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.308688
• Title: Fairness Metric Design Exploration in Multi-Domain Moral Sentiment Classification using Transformer-Based Models
• Title（参考訳）: 変圧器モデルを用いたマルチドメインモーラル感性分類におけるフェアネス・メトリデザイン探索
• Authors: Battemuulen Naranbat, Seyed Sahand Mohammadi Ziabari, Yousuf Nasser Al Husaini, Ali Mohammed Mansoor Alsahag,
• Abstract要約: この研究は、BERTとDistilBERTを、ドメイン内およびクロスドメインプロトコルを備えたマルチラベル設定で評価する。 ラベル毎の分析では、全体のスコアによって隠された公平性違反が明らかになる。 本稿では,道徳的基礎検出のドメイン間安定性を定量化するMFC(Moral Fairness Consistency)指標を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring fairness in natural language processing for moral sentiment classification is challenging, particularly under cross-domain shifts where transformer models are increasingly deployed. Using the Moral Foundations Twitter Corpus (MFTC) and Moral Foundations Reddit Corpus (MFRC), this work evaluates BERT and DistilBERT in a multi-label setting with in-domain and cross-domain protocols. Aggregate performance can mask disparities: we observe pronounced asymmetry in transfer, with Twitter->Reddit degrading micro-F1 by 14.9% versus only 1.5% for Reddit->Twitter. Per-label analysis reveals fairness violations hidden by overall scores; notably, the authority label exhibits Demographic Parity Differences of 0.22-0.23 and Equalized Odds Differences of 0.40-0.41. To address this gap, we introduce the Moral Fairness Consistency (MFC) metric, which quantifies the cross-domain stability of moral foundation detection. MFC shows strong empirical validity, achieving a perfect negative correlation with Demographic Parity Difference (rho = -1.000, p < 0.001) while remaining independent of standard performance metrics. Across labels, loyalty demonstrates the highest consistency (MFC = 0.96) and authority the lowest (MFC = 0.78). These findings establish MFC as a complementary, diagnosis-oriented metric for fairness-aware evaluation of moral reasoning models, enabling more reliable deployment across heterogeneous linguistic contexts. .
• Abstract（参考訳）: 道徳的感情分類のための自然言語処理の公平性を保証することは、特にトランスフォーマーモデルがますますデプロイされるクロスドメインシフトの下では困難である。 Moral Foundations Twitter Corpus (MFTC) と Moral Foundations Reddit Corpus (MFRC) を使用して、この研究はBERT と DistilBERT を、ドメイン内およびクロスドメインプロトコルを備えたマルチラベル設定で評価する。 Twitter->Redditはmicro-F1を14.9%低下させ、Reddit->Twitterはわずか1.5%に留まった。 ラベルごとの分析では、全体のスコアによって隠された公正な違反が明らかであり、特に、権威ラベルでは、デモグラフィックパリティの差 0.22-0.23 と、等化オッドの差 0.40-0.41 が示されている。 このギャップに対処するために、道徳的基礎検出のクロスドメイン安定性を定量化するMFC(Moral Fairness Consistency)メトリクスを導入する。 MFCは強い経験的妥当性を示し、標準的なパフォーマンス指標とは無関係ながら、Demographic Parity difference (rho = -1.000, p < 0.001) と完全な負の相関を達成している。 ラベル全体では、忠誠心は最高一貫性(MFC = 0.96)、権威(MFC = 0.78)を示す。 これらの結果から,MFCは道徳的推論モデルの公平性を考慮した評価のための補完的,診断指向の指標として確立され,不均一な言語文脈をまたいでより信頼性の高い展開が可能となった。 と。

関連論文リスト

• Semantic F1 Scores: Fair Evaluation Under Fuzzy Class Boundaries [65.89202599399252]
  本稿では,主観的,ファジィなマルチラベル分類のための新しい評価指標であるセマンティックF1スコアを提案する。 セマンティックF1は意味的に関連があるが、識別できないラベルに部分クレジットを与えることで、人間の不一致やファジィ圏の境界によって特徴付けられる領域の現実をよりよく反映する。
  論文  参考訳（メタデータ） (2025-09-25T21:48:48Z)
• mFARM: Towards Multi-Faceted Fairness Assessment based on HARMs in Clinical Decision Support [10.90604216960609]
  大規模言語モデル(LLM)の高度な医療環境への展開は、AIアライメントの重要な課題である。 既存の公正性評価手法は、医療被害の多次元的な性質を無視する単純な指標を使用するため、これらの文脈では不十分である。 本稿では,hARMs(mFARM$)に基づく多面的公正度評価(マルチメトリック・フェアネス・アセスメント)を提案する。 提案した$mFARM$のメトリクスは、さまざまな設定下でより効果的に微妙なバイアスをキャプチャします。
  論文  参考訳（メタデータ） (2025-09-02T06:47:57Z)
• Assessing the Reliability of Large Language Models for Deductive Qualitative Coding: A Comparative Study of ChatGPT Interventions [0.0]
  本研究では,構造化定性符号化における大規模言語モデル (LLM) の利用について検討する。 我々は合衆国最高裁判所の判例を21の政策領域に分類した。 ChatGPTは、低支持サブクラスにおける高いF1スコアを含む、サンプル間で安定した一致を示した。
  論文  参考訳（メタデータ） (2025-07-18T22:16:04Z)
• Towards Group Fairness with Multiple Sensitive Attributes in Federated Foundation Models [14.113154804954858]
  フェデレーション・ファンデーション・モデル(FFM)の時代において、グループフェアネスの達成は、ますます顕著な問題となっている。 本稿では,FFMにおけるグループフェアネスとグループフェアネスの関係の因果解析に向けた最初の試みを行う。 我々は、FFM構造を拡張し、複数の機密属性を同時に交換し、因果発見と推論によってグループフェアネスの背後にある因果効果を定量化する。
  論文  参考訳（メタデータ） (2025-06-23T15:09:14Z)
• Estimating Commonsense Plausibility through Semantic Shifts [66.06254418551737]
  セマンティックシフトを測定することでコモンセンスの妥当性を定量化する新しい識別フレームワークであるComPaSSを提案する。 2種類の細粒度コモンセンス可視性評価タスクの評価は,ComPaSSが一貫してベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2025-02-19T06:31:06Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)
• A Framework for Supervised Heterogeneous Transfer Learning using Dynamic Distribution Adaptation and Manifold Regularization [3.476077954140922]
  我々は、ラベル付きトレーニングレコードがほとんどないターゲットドメインの分類器を構築する TLF というフレームワークを提案する。 我々は、構造リスク関数、領域間の結合分布、および境界分布に基づく多様体の整合性を同時に最適化することにより、分布のばらつきを処理する。 TLFを利用可能な7つの自然データセット上で評価し、TLFの性能と11の最先端技術の性能を比較した。
  論文  参考訳（メタデータ） (2021-08-27T14:00:09Z)
• On the Relation between Quality-Diversity Evaluation and Distribution-Fitting Goal in Text Generation [86.11292297348622]
  本研究では, 品質と多様性の線形結合が, 生成した分布と実分布との分岐距離を構成することを示す。 品質/多様性メトリックペアの代替としてCR/NRRを提案する。
  論文  参考訳（メタデータ） (2020-07-03T04:06:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。