論文の概要: "One-size-fits-all"? Observations and Expectations of NLG Systems Across
Identity-Related Language Features
- arxiv url: http://arxiv.org/abs/2310.15398v1
- Date: Mon, 23 Oct 2023 23:00:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 21:22:09.503067
- Title: "One-size-fits-all"? Observations and Expectations of NLG Systems Across
Identity-Related Language Features
- Title(参考訳): 「ワンサイズフィットオール」?
NLGシステムのアイデンティティ関連言語特性の観察と期待
- Authors: Li Lucy, Su Lin Blodgett, Milad Shokouhi, Hanna Wallach, Alexandra
Olteanu
- Abstract要約: 適応のためのモチベーションには,社会的規範,文化的相違,特徴特化情報,宿泊が含まれる。
本研究は, 公正なNLGシステム動作を構成するものの定義に関して, オープンな課題を浮き彫りにした。
- 参考スコア(独自算出の注目度): 61.07254514062558
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fairness-related assumptions about what constitutes appropriate NLG system
behaviors range from invariance, where systems are expected to respond
identically to social groups, to adaptation, where responses should instead
vary across them. We design and conduct five case studies, in which we perturb
different types of identity-related language features (names, roles, locations,
dialect, and style) in NLG system inputs to illuminate tensions around
invariance and adaptation. We outline people's expectations of system
behaviors, and surface potential caveats of these two contrasting yet
commonly-held assumptions. We find that motivations for adaptation include
social norms, cultural differences, feature-specific information, and
accommodation; motivations for invariance include perspectives that favor
prescriptivism, view adaptation as unnecessary or too difficult for NLG systems
to do appropriately, and are wary of false assumptions. Our findings highlight
open challenges around defining what constitutes fair NLG system behavior.
- Abstract(参考訳): 適切なNLGシステム行動を構成することの公平性に関する仮定は、システムが社会グループに同じ反応を期待されるような不変性から、適応性まで様々である。
我々は,NLGシステム入力における識別関連言語の特徴(名前,役割,場所,方言,スタイル)を摂動させ,不変性や適応性に関する緊張感を照らす5つのケーススタディを設計・実施する。
我々は、システムの振る舞いに対する人々の期待を概説し、これら2つの対照的に一般的な仮定に注意を払っている。
適応の動機は,社会的規範,文化的差異,特徴特異的情報,調節などであり,非分散的モチベーションには規範主義を好む視点,nlgシステムにとって不必要あるいは難しすぎる視点,誤った仮定への注意などが含まれる。
本研究は, 公正なNLGシステム動作を構成するものの定義に関して, オープンな課題を浮き彫りにした。
関連論文リスト
- The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Pre-trained Language Models [78.69526166193236]
プレトレーニング言語モデル(PLM)は、社会的バイアスのような有害な情報を含むことが認識されている。
我々は,社会バイアスなどの望ましくない行動に起因する言語モデルにおいて,正確に単位(すなわちニューロン)を特定するために,sc Social Bias Neuronsを提案する。
StereoSetの以前の測定値からわかるように、我々のモデルは、低コストで言語モデリング能力を維持しながら、より高い公平性を達成する。
論文 参考訳(メタデータ) (2024-06-14T15:41:06Z) - FAIRO: Fairness-aware Adaptation in Sequential-Decision Making for
Human-in-the-Loop Systems [8.713442325649801]
本稿では,Human-in-the-Loop(HITL)適応における公平性を考慮したシーケンシャル意思決定のための新しいアルゴリズムを提案する。
特に、FAIROは、この複雑な公正タスクを、個々の人間の好みに基づいて適応的なサブタスクに分解する。
FAIROは、他の3つのアプリケーションと比較して、35.36%の公平性を向上できることを示す。
論文 参考訳(メタデータ) (2023-07-12T00:35:19Z) - ACROCPoLis: A Descriptive Framework for Making Sense of Fairness [6.4686347616068005]
本研究では,アロケーションプロセスを表現するためのACROCPoLisフレームワークを提案する。
このフレームワークは、異なる状況や手順に対する公平性評価に関連する要因を明示する共有語彙を提供する。
論文 参考訳(メタデータ) (2023-04-19T21:14:57Z) - Stable Bias: Analyzing Societal Representations in Diffusion Models [72.27121528451528]
本稿では,テキスト・ツー・イメージ(TTI)システムにおける社会的バイアスを探索する新しい手法を提案する。
我々のアプローチは、プロンプト内の性別や民族のマーカーを列挙して生成された画像の変動を特徴づけることに依存している。
我々はこの手法を利用して3つのTTIシステムによって生成された画像を分析し、そのアウトプットが米国の労働人口層と相関しているのに対して、彼らは常に異なる範囲において、限界化されたアイデンティティを低く表現している。
論文 参考訳(メタデータ) (2023-03-20T19:32:49Z) - Picking on the Same Person: Does Algorithmic Monoculture lead to Outcome
Homogenization? [90.35044668396591]
機械学習における繰り返しのテーマはアルゴリズムによるモノカルチャーである。同じシステム、またはコンポーネントを共有するシステムは、複数の意思決定者によってデプロイされる。
意思決定者がトレーニングデータや特定のモデルなどのコンポーネントを共有すれば、より均一な結果が得られます。
我々はこの仮説をアルゴリズムフェアネスベンチマークで検証し、トレーニングデータの共有がホモジェナイゼーションを確実に悪化させることを示した。
結果の均質化に関する哲学的分析と社会的な課題を、デプロイされた機械学習システムに含めることに着目して結論付ける。
論文 参考訳(メタデータ) (2022-11-25T09:33:11Z) - Survey on Fairness Notions and Related Tensions [4.257210316104905]
自動化された意思決定システムは、雇用やローンの貸与といった問題において、逐次的な決定を下すのにますます使われています。
しかし、客観的機械学習(ML)アルゴリズムはバイアスを起こしやすいため、不公平な判断を下す。
本稿では、一般的に使われている公正概念を調査し、プライバシと精度で両者間の緊張関係について論じる。
論文 参考訳(メタデータ) (2022-09-16T13:36:05Z) - Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。
この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
論文 参考訳(メタデータ) (2022-03-16T15:00:33Z) - Adaptation to Unknown Situations as the Holy Grail of Learning-Based
Self-Adaptive Systems: Research Directions [3.7311680121118345]
我々は、未知の状況への適応は自己適応システムにとって究極の課題であると主張する。
我々は、可能であったとしても、人間の監督を伴わずに、自分たちの行動を定義し、彼らの目標に適応するシステムを構築するべきかどうかを議論を締めくくった。
論文 参考訳(メタデータ) (2021-03-11T19:07:02Z) - Moral Stories: Situated Reasoning about Norms, Intents, Actions, and
their Consequences [36.884156839960184]
現代のNLGモデルが社会環境にデプロイされたシステムの行動優先度として機能するかどうかを検討する。
本研究では,「モラルストーリー」という,階層的,分枝的なナラティブのクラウドソーシングデータセットを導入し,基礎的,目標指向の社会推論の研究を行う。
論文 参考訳(メタデータ) (2020-12-31T17:28:01Z) - COSMO: Conditional SEQ2SEQ-based Mixture Model for Zero-Shot Commonsense
Question Answering [50.65816570279115]
社会的文脈の暗黙的な原因と影響の特定は、機械が常識的推論を実行できるようにする駆動能力である。
この領域における現在のアプローチには、目に見えない状況に直面して常識推論を行う能力がない。
本稿では,動的かつ多様なコンテンツ生成機能を備えた条件付きSEQ2SEQベースの混合モデル(COSMO)を提案する。
論文 参考訳(メタデータ) (2020-11-02T07:08:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。