論文の概要: Quantitative Assessment of Intersectional Empathetic Bias and Understanding

• arxiv url: http://arxiv.org/abs/2411.05777v1
• Date: Fri, 08 Nov 2024 18:43:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:55:32.914063
• Title: Quantitative Assessment of Intersectional Empathetic Bias and Understanding
• Title（参考訳）: 交叉交感神経の定量的評価と理解
• Authors: Vojtech Formanek, Ondrej Sotolar,
• Abstract要約: 多くの文献が、構成のゆるい定義に基づいて現在の共感の運用について批判している。 本稿では,その心理的起源に近い共感を運用する共感評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: A growing amount of literature critiques the current operationalizations of empathy based on loose definitions of the construct. Such definitions negatively affect dataset quality, model robustness, and evaluation reliability. We propose an empathy evaluation framework that operationalizes empathy close to its psychological origins. The framework measures the variance in responses of LLMs to prompts using existing metrics for empathy and emotional valence. The variance is introduced through the controlled generation of the prompts by varying social biases affecting context understanding, thus impacting empathetic understanding. The control over generation ensures high theoretical validity of the constructs in the prompt dataset. Also, it makes high-quality translation, especially into languages that currently have little-to-no way of evaluating empathy or bias, such as the Slavonic family, more manageable. Using chosen LLMs and various prompt types, we demonstrate the empathy evaluation with the framework, including multiple-choice answers and free generation. The variance in our initial evaluation sample is small and we were unable to measure convincing differences between the empathetic understanding in contexts given by different social groups. However, the results are promising because the models showed significant alterations their reasoning chains needed to capture the relatively subtle changes in the prompts. This provides the basis for future research into the construction of the evaluation sample and statistical methods for measuring the results.
• Abstract（参考訳）: 多くの文献が、構成のゆるい定義に基づいて現在の共感の運用について批判している。 このような定義はデータセットの品質、モデルの堅牢性、評価信頼性に悪影響を及ぼす。 本稿では,その心理的起源に近い共感を運用する共感評価フレームワークを提案する。 このフレームワークは、LLMの応答のばらつきを計測し、共感と感情の原子価を既存の指標で測定する。 この分散は、文脈理解に影響を与える様々な社会的バイアスによってプロンプトの制御生成を通じて導入され、共感的理解に影響を及ぼす。 生成の制御により、プロンプトデータセットにおける構成物の高い理論的妥当性が保証される。 また、高品質な翻訳、特にスラヴ語族のような共感や偏見を評価する方法がほとんどない言語への翻訳も、より管理しやすい。 選択したLLMと様々なプロンプトタイプを用いて,複数選択の回答と自由生成を含む,フレームワークによる共感評価を実演する。 初期評価サンプルの差異は小さく,異なる社会集団が与える文脈における共感的理解の説得力の違いを測定できなかった。 しかし、これらのモデルでは、プロンプトの比較的微妙な変化を捉えるために必要な推論チェーンが大幅に変更されているため、結果は有望である。 本研究は, 評価試料の構築に関する今後の研究の基盤と, 結果測定のための統計的手法を提供する。

関連論文リスト

• Do Large Language Models Possess Sensitive to Sentiment? [18.88126980975737]
  大規模言語モデル(LLM)は、最近、言語理解における異常な能力を示した。 本稿では,LLMがテキストモーダルの感情を検知し,反応する能力について検討する。
  論文  参考訳（メタデータ） (2024-09-04T01:40:20Z)
• Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
  視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。 本稿では,基準自由度に欠陥があるかどうかを考察する。 GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-18T12:36:23Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
  本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。 我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
  論文  参考訳（メタデータ） (2022-10-17T08:55:26Z)
• Towards Explainable Evaluation Metrics for Natural Language Generation [36.594817754285984]
  重要な特性を特定し,機械翻訳評価指標の重要な目標を提案する。 我々は,従来のNLP手法が高品質なブラックボックス評価指標の限界を自動的に識別するのに不適であることを示す新しい実験を行った。
  論文  参考訳（メタデータ） (2022-03-21T17:05:54Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• SMURF: SeMantic and linguistic UndeRstanding Fusion for Caption Evaluation via Typicality Analysis [20.026835809227283]
  情報理論に根ざした評価の新しい定式化である「定型性」を導入する。 これらの分割された意味論と流布の次元が、キャプタの違いに関するシステムレベルの洞察をいかに与えているかを示す。 提案手法とそれらの組み合わせであるSMURFは,他のルールベース評価指標と比較した場合,人間の判断と最先端の相関が得られた。
  論文  参考訳（メタデータ） (2021-06-02T19:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。