論文の概要: Fairness for Whom? Understanding the Reader's Perception of Fairness in Text Summarization

• arxiv url: http://arxiv.org/abs/2101.12406v2
• Date: Tue, 2 Feb 2021 04:26:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-03 12:48:50.560632
• Title: Fairness for Whom? Understanding the Reader's Perception of Fairness in Text Summarization
• Title（参考訳）: 誰のための公平? テキスト要約における読者の公平性認識の理解
• Authors: Anurag Shandilya, Abhisek Dash, Abhijnan Chakraborty, Kripabandhu Ghosh, Saptarshi Ghosh
• Abstract要約: フェアネスの概念と読者のテキスト要約における認識の相互関係について検討する。 標準的なROUGE評価指標は、要約の認識された(不公平な)性質を定量化できない。
• 参考スコア（独自算出の注目度）: 9.136419921943235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the surge in user-generated textual information, there has been a recent increase in the use of summarization algorithms for providing an overview of the extensive content. Traditional metrics for evaluation of these algorithms (e.g. ROUGE scores) rely on matching algorithmic summaries to human-generated ones. However, it has been shown that when the textual contents are heterogeneous, e.g., when they come from different socially salient groups, most existing summarization algorithms represent the social groups very differently compared to their distribution in the original data. To mitigate such adverse impacts, some fairness-preserving summarization algorithms have also been proposed. All of these studies have considered normative notions of fairness from the perspective of writers of the contents, neglecting the readers' perceptions of the underlying fairness notions. To bridge this gap, in this work, we study the interplay between the fairness notions and how readers perceive them in textual summaries. Through our experiments, we show that reader's perception of fairness is often context-sensitive. Moreover, standard ROUGE evaluation metrics are unable to quantify the perceived (un)fairness of the summaries. To this end, we propose a human-in-the-loop metric and an automated graph-based methodology to quantify the perceived bias in textual summaries. We demonstrate their utility by quantifying the (un)fairness of several summaries of heterogeneous socio-political microblog datasets.
• Abstract（参考訳）: ユーザが生成するテキスト情報の増加に伴い、近年、広範囲なコンテンツの概要を提供するための要約アルゴリズムの利用が増加している。 これらのアルゴリズムを評価するための伝統的なメトリクス(例) ROUGEスコア)は、アルゴリズムの要約と人間生成の要約を一致させることに頼っている。 しかし、テキストの内容が異質である場合、例えば、異なる社会的に有能なグループから来る場合、既存の要約アルゴリズムのほとんどは、元のデータにおける分布と非常に異なる社会集団を表すことが示されている。 このような悪影響を軽減するため、公正保存要約アルゴリズムも提案されている。 これらの研究のすべては、内容の作家の視点から公正の規範的な概念を検討し、根底にある公平性の概念に対する読者の認識を無視しています。 このギャップを埋めるため,本研究では,フェアネス概念と読者がテキスト要約でどのように認識するかを考察する。 実験により,読者の公平感は文脈に敏感な場合が多いことを示した。 さらに、標準的なROUGE評価指標は、要約の知覚的(不公平)性を定量化できない。 そこで本研究では,テキスト要約における知覚バイアスを定量化するための,ループ内人間メトリックとグラフベースの自動手法を提案する。 我々は,不均質な社会-政治的マイクロブログデータセットのいくつかの要約(un)を定量化し,その有用性を示す。

関連論文リスト

• Bias and Fairness in Large Language Models: A Survey [76.65471160523444]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Fairness meets Cross-Domain Learning: a new perspective on Models and Metrics [80.07271410743806]
  クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。 いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。 本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
  論文  参考訳（メタデータ） (2023-03-25T09:34:05Z)
• Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
  対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。 具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
  論文  参考訳（メタデータ） (2022-05-23T17:38:30Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)
• Consistency and Coherence from Points of Contextual Similarity [0.0]
  近年,事実整合性に特化して提案されているESTIME測度は,人間の専門家のスコアと高い相関性が得られる。 これは現在の要約方式には問題はないが、将来の要約システムには障害となる可能性がある。
  論文  参考訳（メタデータ） (2021-12-22T03:04:20Z)
• A Systematic Approach to Group Fairness in Automated Decision Making [0.0]
  本論文の目的は,データ科学者に対して,グループフェアネス指標の紹介を提供することである。 我々は、公正な言明をするために、社会デマログラフィーグループをどの感覚で比較するかを考えることでこれを行おうとする。
  論文  参考訳（メタデータ） (2021-09-09T12:47:15Z)
• On the Interpretability and Significance of Bias Metrics in Texts: a PMI-based Approach [3.2326259807823026]
  我々は、テキスト中のバイアスを定量化するために、別のPMIベースのメトリクスを分析する。 これは条件付き確率の関数として表すことができ、単語共起の言葉で簡単に解釈できる。
  論文  参考訳（メタデータ） (2021-04-13T19:34:17Z)
• Quantifying Learnability and Describability of Visual Concepts Emerging in Representation Learning [91.58529629419135]
  我々は、ディープニューラルネットワークによって自動的に発見された視覚的なグルーピングを特徴付ける方法を検討する。 本稿では、任意の画像グループ化の解釈可能性の定量化に使用できる視覚的学習可能性と記述可能性という2つの概念を紹介する。
  論文  参考訳（メタデータ） (2020-10-27T18:41:49Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)
• Extending Text Informativeness Measures to Passage Interestingness Evaluation (Language Model vs. Word Embedding) [1.2998637003026272]
  本稿では、インフォマティヴネスの概念をインフォマティヴネスの一般化として定義する。 次に、この一般化に対応するために、アートインフォーマティヴネス対策の状態を調査する。 CLEF-INEX Tweet Contextualization 2012 Logarithm similarity measure が最適であることを示す。
  論文  参考訳（メタデータ） (2020-04-14T18:22:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。