論文の概要: Rating Sentiment Analysis Systems for Bias through a Causal Lens
- arxiv url: http://arxiv.org/abs/2302.02038v1
- Date: Sat, 4 Feb 2023 00:22:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-07 20:43:25.592993
- Title: Rating Sentiment Analysis Systems for Bias through a Causal Lens
- Title（参考訳）: 因果レンズによるバイアスに対する感情分析システムの評価
- Authors: Kausik Lakkaraju, Biplav Srivastava, Marco Valtorta
- Abstract要約: 知覚分析システム(英: Sentiment Analysis Systems、SAS)は、データ駆動人工知能(AI)システムである。
制御因果設定において入力が摂動するSASを評価・評価するための新しい手法を提案する。
次に、SASのロバスト性を入力変化に伝達するために、ラベル(レート)をきめ細やかなレベルで割り当てる。
- 参考スコア（独自算出の注目度）: 7.5139432477244545
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Sentiment Analysis Systems (SASs) are data-driven Artificial Intelligence
(AI) systems that, given a piece of text, assign one or more numbers conveying
the polarity and emotional intensity expressed in the input. Like other
automatic machine learning systems, they have also been known to exhibit model
uncertainty where a (small) change in the input leads to drastic swings in the
output. This can be especially problematic when inputs are related to protected
features like gender or race since such behavior can be perceived as a lack of
fairness, i.e., bias. We introduce a novel method to assess and rate SASs where
inputs are perturbed in a controlled causal setting to test if the output
sentiment is sensitive to protected variables even when other components of the
textual input, e.g., chosen emotion words, are fixed. We then use the result to
assign labels (ratings) at fine-grained and overall levels to convey the
robustness of the SAS to input changes. The ratings serve as a principled basis
to compare SASs and choose among them based on behavior. It benefits all users,
especially developers who reuse off-the-shelf SASs to build larger AI systems
but do not have access to their code or training data to compare.
- Abstract（参考訳）: 感情分析システム(sass)はデータ駆動型人工知能(ai)システムであり、テキストの一部が与えられたとき、入力で表現される極性と感情の強さを伝える1つ以上の数字を割り当てる。
他の自動機械学習システムと同様に、入力の(小さな)変化が出力の劇的な揺らぎを引き起こすようなモデルの不確実性を示すことも知られている。
これは、入力が性別や人種のような保護された特徴と関連付けられている場合、特に問題となる。
本稿では,テキスト入力の他の構成要素,例えば選択された感情語が固定された場合でも,出力感情が保護変数に敏感であるかどうかをテストするために,制御因果設定において入力が摂動しているsassを評価し評価する新しい手法を提案する。
次に、結果を使用してラベル(レーティング)を細かなレベルと全体的なレベルに割り当て、入力変更に対するsasの堅牢さを伝達します。
評価は、SASを比較し、行動に基づいてそれらの中から選択する原則として機能する。
これは、すべてのユーザー、特に既存のsassを再利用してより大きなaiシステムを構築しているが、比較するためのコードやトレーニングデータにアクセスできない開発者にとって有益である。
関連論文リスト
- What should an AI assessor optimise for? [57.96463917842822]
AIアセスタ(AI Assessmentor)は、他のAIシステムの指標(損失値など)を予測する、外的、理想的には不適切なシステムである。
ここでは、問題に対処する: 常にターゲットメトリックのアセスメントをトレーニングするのが最適か?
本研究では, モノトニック写像と非モノトニック写像を用いた回帰損失と分類スコアについて実験的に検討した。
論文 参考訳（メタデータ） (2025-02-01T08:41:57Z) - Watching the AI Watchdogs: A Fairness and Robustness Analysis of AI Safety Moderation Classifiers [5.35599092568615]
安全モデレーション(ASM)分類器は、ソーシャルメディアプラットフォーム上のコンテンツを適度に扱うように設計されている。
これらの分類器が少数民族のユーザーに属するコンテンツを不当に分類しないことを確実にすることが重要である。
そこで本研究では,広く使用されている4つのオープンソースASM分類器の公平性とロバスト性について検討する。
論文 参考訳（メタデータ） (2025-01-23T01:04:00Z) - Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。
ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。
そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
論文 参考訳（メタデータ） (2024-06-26T05:30:21Z) - Debiasing Machine Learning Models by Using Weakly Supervised Learning [3.3298048942057523]
アルゴリズムの出力と感度変数の両方が連続的な設定において、アルゴリズム決定のバイアス軽減の問題に取り組む。
典型的な例は、年齢や財政状況に関して行われる不公平な決定である。
我々のバイアス緩和戦略は弱い教師付き学習手法であり、データのごく一部を公平に測定する必要がある。
論文 参考訳（メタデータ） (2024-02-23T18:11:32Z) - The Effect of Human v/s Synthetic Test Data and Round-tripping on
Assessment of Sentiment Analysis Systems for Bias [4.951074769592826]
知覚分析システム(英: Sentiment Analysis Systems、SAS)は、データ駆動型人工知能(AI)システムで、テキストを入力として与えたときに極性と感情的な強度を出力する。
近年、トレーニングデータやコードなしで、ブラックボックス設定でSASを評価し、それらを合成英語データを用いてバイアスとして評価するアプローチが導入された。
我々の発見は、研究者や実践者がSASテスト戦略を洗練させ、SASがよりミッションクリティカルなグローバル利用のアプリケーションの一部であるとして信頼を育むのに役立つだろう。
論文 参考訳（メタデータ） (2024-01-15T15:27:18Z) - How are Prompts Different in Terms of Sensitivity? [50.67313477651395]
本稿では,関数の感度に基づく包括的即時解析を提案する。
出力に対する入力トークンの関連性に異なるプロンプトがどう影響するかを実証的に示すために、勾配に基づく唾液度スコアを使用する。
本稿では, 感度推定をペナルティ項として組み込んだ感度認識復号法を標準グリーディ復号法で導入する。
論文 参考訳（メタデータ） (2023-11-13T10:52:01Z) - Locating disparities in machine learning [24.519488484614953]
我々は、ALD(Automatic Location of Disparities)と呼ばれるデータ駆動型フレームワークを提案する。
ALDは、機械学習アルゴリズムにおける格差の特定を目的としている。
合成と実世界の両方のデータセットに基づくALDの有効性を示す。
論文 参考訳（メタデータ） (2022-08-13T16:39:51Z) - D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling
Algorithmic Bias [57.87117733071416]
D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。
ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。
それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
論文 参考訳（メタデータ） (2022-08-10T03:41:48Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳（メタデータ） (2021-09-24T03:49:38Z) - Get It Scored Using AutoSAS -- An Automated System for Scoring Short
Answers [63.835172924290326]
SAS(Automatic Short Answer Scoring)への高速でスケーラブルで正確なアプローチを提示します。
SASのためのシステム、すなわちAutoSASの設計と開発を提案し、説明します。
AutoSASは最先端のパフォーマンスを示し、いくつかの質問のプロンプトで8%以上良い結果が得られる。
論文 参考訳（メタデータ） (2020-12-21T10:47:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。