論文の概要: "One-Size-Fits-All"? Examining Expectations around What Constitute "Fair" or "Good" NLG System Behaviors

• arxiv url: http://arxiv.org/abs/2310.15398v2
• Date: Wed, 3 Apr 2024 07:20:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 23:08:03.554415
• Title: "One-Size-Fits-All"? Examining Expectations around What Constitute "Fair" or "Good" NLG System Behaviors
• Title（参考訳）: ワンサイズフィッツオール」? : コンフォーメーション「フェア」と「グッド」NLGシステム行動に関する期待
• Authors: Li Lucy, Su Lin Blodgett, Milad Shokouhi, Hanna Wallach, Alexandra Olteanu,
• Abstract要約: NLGシステム入力において、異なる種類のアイデンティティ関連言語特徴(名前、役割、場所、方言、スタイル)を摂動するケーススタディを行う。 適応の動機には、社会的規範、文化的相違、特徴特化情報、宿泊が含まれる。 対照的に、不変性のモチベーションには、規範主義を支持する視点、NLGシステムが適切に行うのが不必要または困難であると見なす視点、偽の仮定に注意を払っている視点が含まれる。
• 参考スコア（独自算出の注目度）: 57.63649797577999
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fairness-related assumptions about what constitute appropriate NLG system behaviors range from invariance, where systems are expected to behave identically for social groups, to adaptation, where behaviors should instead vary across them. To illuminate tensions around invariance and adaptation, we conduct five case studies, in which we perturb different types of identity-related language features (names, roles, locations, dialect, and style) in NLG system inputs. Through these cases studies, we examine people's expectations of system behaviors, and surface potential caveats of these contrasting yet commonly held assumptions. We find that motivations for adaptation include social norms, cultural differences, feature-specific information, and accommodation; in contrast, motivations for invariance include perspectives that favor prescriptivism, view adaptation as unnecessary or too difficult for NLG systems to do appropriately, and are wary of false assumptions. Our findings highlight open challenges around what constitute "fair" or "good" NLG system behaviors.
• Abstract（参考訳）: 適切なNLGシステム行動を構成することの公平性に関する仮定は、社会集団に対してシステムが同一に振る舞うことが期待される不変性から、その代わりに行動が異なるように適応することまで様々である。 NLGシステム入力における個人性関連言語の特徴(名前、役割、場所、方言、スタイル)を摂動させる5つのケーススタディを実施。 これらのケーススタディを通じて、システムの振る舞いに対する人々の期待と、対照的に一般的に想定される仮定の潜在的な注意点について検討する。 適応のためのモチベーションには、社会的規範、文化的差異、特徴特化情報、宿泊が含まれるが、対照的に、相違へのモチベーションには、規範主義を支持する視点、NLGシステムにとって不必要または困難であると見なす視点、偽の仮定に注意が必要である。 以上の結果から,NLGシステムの「公正」な行動や「良好な」行動に関するオープンな課題が浮かび上がっている。

関連論文リスト

• The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Pre-trained Language Models [78.69526166193236]
  プレトレーニング言語モデル(PLM)は、社会的バイアスのような有害な情報を含むことが認識されている。 我々は,社会バイアスなどの望ましくない行動に起因する言語モデルにおいて,正確に単位(すなわちニューロン)を特定するために,sc Social Bias Neuronsを提案する。 StereoSetの以前の測定値からわかるように、我々のモデルは、低コストで言語モデリング能力を維持しながら、より高い公平性を達成する。
  論文  参考訳（メタデータ） (2024-06-14T15:41:06Z)
• FAIRO: Fairness-aware Adaptation in Sequential-Decision Making for Human-in-the-Loop Systems [8.713442325649801]
  本稿では,Human-in-the-Loop(HITL)適応における公平性を考慮したシーケンシャル意思決定のための新しいアルゴリズムを提案する。 特に、FAIROは、この複雑な公正タスクを、個々の人間の好みに基づいて適応的なサブタスクに分解する。 FAIROは、他の3つのアプリケーションと比較して、35.36%の公平性を向上できることを示す。
  論文  参考訳（メタデータ） (2023-07-12T00:35:19Z)
• ACROCPoLis: A Descriptive Framework for Making Sense of Fairness [6.4686347616068005]
  本研究では,アロケーションプロセスを表現するためのACROCPoLisフレームワークを提案する。 このフレームワークは、異なる状況や手順に対する公平性評価に関連する要因を明示する共有語彙を提供する。
  論文  参考訳（メタデータ） (2023-04-19T21:14:57Z)
• Stable Bias: Analyzing Societal Representations in Diffusion Models [72.27121528451528]
  本稿では,テキスト・ツー・イメージ(TTI)システムにおける社会的バイアスを探索する新しい手法を提案する。 我々のアプローチは、プロンプト内の性別や民族のマーカーを列挙して生成された画像の変動を特徴づけることに依存している。 我々はこの手法を利用して3つのTTIシステムによって生成された画像を分析し、そのアウトプットが米国の労働人口層と相関しているのに対して、彼らは常に異なる範囲において、限界化されたアイデンティティを低く表現している。
  論文  参考訳（メタデータ） (2023-03-20T19:32:49Z)
• Picking on the Same Person: Does Algorithmic Monoculture lead to Outcome Homogenization? [90.35044668396591]
  機械学習における繰り返しのテーマはアルゴリズムによるモノカルチャーである。同じシステム、またはコンポーネントを共有するシステムは、複数の意思決定者によってデプロイされる。 意思決定者がトレーニングデータや特定のモデルなどのコンポーネントを共有すれば、より均一な結果が得られます。 我々はこの仮説をアルゴリズムフェアネスベンチマークで検証し、トレーニングデータの共有がホモジェナイゼーションを確実に悪化させることを示した。 結果の均質化に関する哲学的分析と社会的な課題を、デプロイされた機械学習システムに含めることに着目して結論付ける。
  論文  参考訳（メタデータ） (2022-11-25T09:33:11Z)
• Survey on Fairness Notions and Related Tensions [4.257210316104905]
  自動化された意思決定システムは、雇用やローンの貸与といった問題において、逐次的な決定を下すのにますます使われています。 しかし、客観的機械学習(ML)アルゴリズムはバイアスを起こしやすいため、不公平な判断を下す。 本稿では、一般的に使われている公正概念を調査し、プライバシと精度で両者間の緊張関係について論じる。
  論文  参考訳（メタデータ） (2022-09-16T13:36:05Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)
• Adaptation to Unknown Situations as the Holy Grail of Learning-Based Self-Adaptive Systems: Research Directions [3.7311680121118345]
  我々は、未知の状況への適応は自己適応システムにとって究極の課題であると主張する。 我々は、可能であったとしても、人間の監督を伴わずに、自分たちの行動を定義し、彼らの目標に適応するシステムを構築するべきかどうかを議論を締めくくった。
  論文  参考訳（メタデータ） (2021-03-11T19:07:02Z)
• Moral Stories: Situated Reasoning about Norms, Intents, Actions, and their Consequences [36.884156839960184]
  現代のNLGモデルが社会環境にデプロイされたシステムの行動優先度として機能するかどうかを検討する。 本研究では,「モラルストーリー」という,階層的,分枝的なナラティブのクラウドソーシングデータセットを導入し,基礎的,目標指向の社会推論の研究を行う。
  論文  参考訳（メタデータ） (2020-12-31T17:28:01Z)
• COSMO: Conditional SEQ2SEQ-based Mixture Model for Zero-Shot Commonsense Question Answering [50.65816570279115]
  社会的文脈の暗黙的な原因と影響の特定は、機械が常識的推論を実行できるようにする駆動能力である。 この領域における現在のアプローチには、目に見えない状況に直面して常識推論を行う能力がない。 本稿では,動的かつ多様なコンテンツ生成機能を備えた条件付きSEQ2SEQベースの混合モデル(COSMO)を提案する。
  論文  参考訳（メタデータ） (2020-11-02T07:08:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。