論文の概要: Jury Learning: Integrating Dissenting Voices into Machine Learning Models

• arxiv url: http://arxiv.org/abs/2202.02950v1
• Date: Mon, 7 Feb 2022 05:23:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-08 15:04:50.455192
• Title: Jury Learning: Integrating Dissenting Voices into Machine Learning Models
• Title（参考訳）: ジャリーラーニング: 散在する音声を機械学習モデルに統合する
• Authors: Mitchell L. Gordon, Michelle S. Lam, Joon Sung Park, Kayur Patel, Jeffrey T. Hancock, Tatsunori Hashimoto, Michael S. Bernstein
• Abstract要約: ジャリー・ラーニング(英: Jury learning)とは、陪審員の比喩を通じて、不一致を明確に解決する教師付き機械学習アプローチである。 データセット内のすべてのアノテータをモデル化し、アノテータのモデルからサンプルを採取して陪審を集成し、推論して分類するディープラーニングアーキテクチャにコントリビュートします。 我々のアーキテクチャは、陪審員が彼らの構成を動的に適応し、反事実を探求し、不満を可視化することを可能にする。
• 参考スコア（独自算出の注目度）: 38.66234866615259
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Whose labels should a machine learning (ML) algorithm learn to emulate? For ML tasks ranging from online comment toxicity to misinformation detection to medical diagnosis, different groups in society may have irreconcilable disagreements about ground truth labels. Supervised ML today resolves these label disagreements implicitly using majority vote, which overrides minority groups' labels. We introduce jury learning, a supervised ML approach that resolves these disagreements explicitly through the metaphor of a jury: defining which people or groups, in what proportion, determine the classifier's prediction. For example, a jury learning model for online toxicity might centrally feature women and Black jurors, who are commonly targets of online harassment. To enable jury learning, we contribute a deep learning architecture that models every annotator in a dataset, samples from annotators' models to populate the jury, then runs inference to classify. Our architecture enables juries that dynamically adapt their composition, explore counterfactuals, and visualize dissent.
• Abstract（参考訳）: 機械学習(ml)アルゴリズムは誰のラベルをエミュレートすべきか? オンラインコメント毒性から誤情報検出、医療診断まで、MLタスクでは、社会の様々なグループが、根拠となる真理ラベルについて不一致を抱えている可能性がある。 監督されたMLは、これらのラベルの不一致を多数決で暗黙的に解決し、少数派を圧倒している。 これは、陪審員のメタファーを通じて、これらの不一致を明確に解決する、監督されたmlアプローチである:どの人々やグループがどの割合で分類者の予測を決定するかを定義する。 例えば、オンライン中毒に関する陪審の学習モデルでは、オンラインハラスメントの対象となっている女性や黒人陪審員が中心になる可能性がある。 陪審員の学習を可能にするために、データセット内のすべてのアノテータをモデル化し、アノテータのモデルからサンプルを採取して陪審員を投入し、推論して分類するディープラーニングアーキテクチャをコントリビュートする。 私たちのアーキテクチャは、構成を動的に適応し、反事実を探求し、意見を視覚化する陪審活動を可能にします。

関連論文リスト

• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges [6.609843448260634]
  LLM-as-a-judgeパラダイムは,大規模言語モデルを評価するアプローチとして急速に普及している。 本稿では,人間間の合意が高いクリーンなシナリオに焦点を当てる。 我々は、複雑性や長さを早めるための感度や、寛大さへの傾向など、審査モデルの脆弱性を識別する。
  論文  参考訳（メタデータ） (2024-06-18T13:49:54Z)
• Stereotype Detection in LLMs: A Multiclass, Explainable, and Benchmark-Driven Approach [4.908389661988191]
  本稿では, 性別, 人種, 職業, 宗教, その他のステレオタイプにまたがる51,867の事例からなるMulti-Grain Stereotype (MGS)データセットを提案する。 我々は、さまざまな機械学習アプローチを評価し、異なるアーキテクチャと大きさのベースラインと微調整言語モデルを確立する。 我々は、モデルが学習したパターンがステレオタイプに関する人間の直観と一致するかどうかを評価するために、SHAP、LIME、BertVizを含む説明可能なAI(XAI)ツールを採用する。
  論文  参考訳（メタデータ） (2024-04-02T09:31:32Z)
• Explain Thyself Bully: Sentiment Aided Cyberbullying Detection with Explanation [52.3781496277104]
  さまざまなソーシャルメディアネットワークやオンラインコミュニケーションアプリの人気により、サイバーいじめが大きな問題になっている。 一般データ保護規則の「説明の権利」のような近年の法律は、解釈可能なモデルの開発に拍車をかけた。 我々は,コード混在言語からの自動サイバーバブル検出のための,mExCBと呼ばれる最初の解釈可能なマルチタスクモデルを開発した。
  論文  参考訳（メタデータ） (2024-01-17T07:36:22Z)
• Subjective Crowd Disagreements for Subjective Data: Uncovering Meaningful CrowdOpinion with Population-level Learning [8.530934084017966]
  emphCrowdOpinionは、言語特徴とラベル分布を用いて、類似した項目をラベル分布のより大きなサンプルにまとめる教師なし学習手法である。 ソーシャルメディアから利用可能な5つのベンチマークデータセット(アノテータの不一致のレベルが異なる)を使用します。 また、Facebookのデータセットを使って、投稿に反応するユーザーによって、プラットフォーム自体からアノテーションが送られてくるような実験も行っています。
  論文  参考訳（メタデータ） (2023-07-07T22:09:46Z)
• Revealing Unfair Models by Mining Interpretable Evidence [50.48264727620845]
  機械学習の人気は、不公平なモデルがハイリスクなアプリケーションにデプロイされるリスクを高めている。 本稿では,解釈可能な証拠をマイニングすることで不公平なモデルを明らかにする新しい課題に取り組む。 本手法は,訓練されたモデルの不公平性を効果的に明らかにするために,極めて解釈可能な確固たる証拠を見出す。
  論文  参考訳（メタデータ） (2022-07-12T20:03:08Z)
• Fair Group-Shared Representations with Normalizing Flows [68.29997072804537]
  本研究では,異なるグループに属する個人を1つのグループにマッピングできる公正表現学習アルゴリズムを開発した。 提案手法は,他の公正表現学習アルゴリズムと競合することを示す。
  論文  参考訳（メタデータ） (2022-01-17T10:49:49Z)
• Learning and Evaluating Representations for Deep One-class Classification [59.095144932794646]
  ディープワンクラス分類のための2段階フレームワークを提案する。 まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。 実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-11-04T23:33:41Z)
• Making ML models fairer through explanations: the case of LimeOut [7.952582509792971]
  アルゴリズムによる決定は今では日常的に使われており、複雑でバイアスのかかる機械学習(ML)プロセスに基づいている。 これは、偏見のある決定が個人や社会全体に与える影響を考えると、いくつかの懸念を提起する。 モデルフェアネスを改善するために,「フィーチャードロップアウト」というシンプルなアイデアと「アンサンブルアプローチ」を併用する方法について述べる。
  論文  参考訳（メタデータ） (2020-11-01T19:07:11Z)
• Visual Analysis of Discrimination in Machine Learning [40.678688013911994]
  機械学習における識別のより包括的な分析を支援するために,インタラクティブな可視化ツールであるDiscriLensを提案する。 拡張されたオイラー図と行列に基づく可視化を組み合わせることで、識別項目の探索と解釈を容易にする新しい集合の可視化を開発する。 ユーザスタディでは、視覚的に符号化された情報をDiscriLensで迅速かつ正確に解釈できることが示されている。
  論文  参考訳（メタデータ） (2020-07-30T02:07:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。