論文の概要: The Effect of Human v/s Synthetic Test Data and Round-tripping on Assessment of Sentiment Analysis Systems for Bias

• arxiv url: http://arxiv.org/abs/2401.12985v1
• Date: Mon, 15 Jan 2024 15:27:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-28 15:45:28.592539
• Title: The Effect of Human v/s Synthetic Test Data and Round-tripping on Assessment of Sentiment Analysis Systems for Bias
• Title（参考訳）: ヒトv/s合成テストデータとラウンドトリップがバイアスに対する感情分析システムの評価に及ぼす影響
• Authors: Kausik Lakkaraju, Aniket Gupta, Biplav Srivastava, Marco Valtorta, Dezhi Wu
• Abstract要約: 知覚分析システム(英: Sentiment Analysis Systems、SAS)は、データ駆動型人工知能(AI)システムで、テキストを入力として与えたときに極性と感情的な強度を出力する。 近年、トレーニングデータやコードなしで、ブラックボックス設定でSASを評価し、それらを合成英語データを用いてバイアスとして評価するアプローチが導入された。 我々の発見は、研究者や実践者がSASテスト戦略を洗練させ、SASがよりミッションクリティカルなグローバル利用のアプリケーションの一部であるとして信頼を育むのに役立つだろう。
• 参考スコア（独自算出の注目度）: 4.951074769592826
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Sentiment Analysis Systems (SASs) are data-driven Artificial Intelligence (AI) systems that output polarity and emotional intensity when given a piece of text as input. Like other AIs, SASs are also known to have unstable behavior when subjected to changes in data which can make it problematic to trust out of concerns like bias when AI works with humans and data has protected attributes like gender, race, and age. Recently, an approach was introduced to assess SASs in a blackbox setting without training data or code, and rating them for bias using synthetic English data. We augment it by introducing two human-generated chatbot datasets and also consider a round-trip setting of translating the data from one language to the same through an intermediate language. We find that these settings show SASs performance in a more realistic light. Specifically, we find that rating SASs on the chatbot data showed more bias compared to the synthetic data, and round-tripping using Spanish and Danish as intermediate languages reduces the bias (up to 68% reduction) in human-generated data while, in synthetic data, it takes a surprising turn by increasing the bias! Our findings will help researchers and practitioners refine their SAS testing strategies and foster trust as SASs are considered part of more mission-critical applications for global use.
• Abstract（参考訳）: 知覚分析システム(英: Sentiment Analysis Systems、SAS)は、データ駆動人工知能(AI)システムで、テキストを入力として与えたときに極性と感情的な強度を出力する。 他のAIと同様、SASもデータの変更を受けると不安定な振る舞いをすることが知られており、AIが人間と働き、データが性別、人種、年齢などの属性を保護している場合、バイアスのような懸念から信頼することが問題になる可能性がある。 近年、トレーニングデータやコードなしでブラックボックス設定でSASを評価し、合成英語データを用いてバイアスとして評価する手法が提案されている。 2つの人間が生成したチャットボットデータセットを導入し、中間言語を介して1つの言語から1つの言語にデータを変換するラウンドトリップ設定も検討する。 これらの設定はより現実的な光でSASのパフォーマンスを示す。 具体的には、チャットボットデータに対する評価SASは、合成データよりも偏りが強く、中間言語としてスペイン語とデンマーク語を使ったラウンドトリップは、人為的なデータの偏り(最大68%の減少)を減らし、合成データでは、偏りを増すことで驚くべきターンをとっています。 我々の発見は、研究者や実践者がSASテスト戦略を洗練させ、SASがよりミッションクリティカルなグローバル利用のアプリケーションの一部であるとして信頼を高めるのに役立つだろう。

関連論文リスト

• AutoPureData: Automated Filtering of Web Data for LLM Fine-tuning [0.0]
  本研究では,既存の信頼されたAIモデルの助けを借りて,Webデータを収集し,不要なテキストを自動的にフィルタリングするシステムを提案する。 実験では、Webデータの小さなサンプルを収集し、フィルタリングし、データを浄化するシステムの有効性を実証した。
  論文  参考訳（メタデータ） (2024-06-27T15:37:57Z)
• ChatGPT Based Data Augmentation for Improved Parameter-Efficient Debiasing of LLMs [65.9625653425636]
  大型言語モデル(LLM)は有害な社会的バイアスを示す。 そこで本研究では,ChatGPTを用いて合成学習データを生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T01:28:48Z)
• Sudden Drops in the Loss: Syntax Acquisition, Phase Transitions, and Simplicity Bias in MLMs [50.5783641817253]
  マスキング言語モデル(MLM)における構文習得のケーススタディを提案する。 本研究では,特定のトランスフォーマーヘッドが特定の構文的関係に焦点をあてる,アクセシビリティの自然発生特性である構文的注意構造(SAS)について検討する。 学習中にSASを操作することでSASの因果的役割を解明し,SASが文法的能力の発達に必要であることを示す。
  論文  参考訳（メタデータ） (2023-09-13T20:57:11Z)
• Synthetic Alone: Exploring the Dark Side of Synthetic Data for Grammatical Error Correction [5.586798679167892]
  データ中心のAIアプローチは、モデルを変更することなく、モデルのパフォーマンスを向上させることを目的としている。 データ品質管理手法は、実世界のデータで訓練されたモデルに肯定的な影響を与える。 合成データのみに基づいて訓練されたモデルでは、負の影響が観測される。
  論文  参考訳（メタデータ） (2023-06-26T01:40:28Z)
• Rating Sentiment Analysis Systems for Bias through a Causal Lens [7.5139432477244545]
  知覚分析システム(英: Sentiment Analysis Systems、SAS)は、データ駆動人工知能(AI)システムである。 制御因果設定において入力が摂動するSASを評価・評価するための新しい手法を提案する。 次に、SASのロバスト性を入力変化に伝達するために、ラベル(レート)をきめ細やかなレベルで割り当てる。
  論文  参考訳（メタデータ） (2023-02-04T00:22:43Z)
• Investigating Bias with a Synthetic Data Generator: Empirical Evidence and Philosophical Interpretation [66.64736150040093]
  機械学習の応用は、私たちの社会でますます広まりつつある。 リスクは、データに埋め込まれたバイアスを体系的に広めることである。 本稿では,特定の種類のバイアスとその組み合わせで合成データを生成するフレームワークを導入することにより,バイアスを分析することを提案する。
  論文  参考訳（メタデータ） (2022-09-13T11:18:50Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• COM2SENSE: A Commonsense Reasoning Benchmark with Complementary Sentences [21.11065466376105]
  常識推論は人間にとって直感的であるが、人工知能(AI)の長期的な課題である。 事前訓練された言語モデルの最近の進歩は、いくつかのCommonsenseベンチマークデータセットで有望な結果を示している。 本稿では,自然言語真偽文からなる新しいコモンセンス推論ベンチマークデータセットを提案する。
  論文  参考訳（メタデータ） (2021-06-02T06:31:55Z)
• Representative & Fair Synthetic Data [68.8204255655161]
  公平性制約を自己監督学習プロセスに組み込むためのフレームワークを提示する。 私たちはuci成人国勢調査データセットの代表者および公正版を作成します。 我々は、代表的かつ公正な合成データを将来有望なビルディングブロックとみなし、歴史的世界ではなく、私たちが生きようとしている世界についてアルゴリズムを教える。
  論文  参考訳（メタデータ） (2021-04-07T09:19:46Z)
• Get It Scored Using AutoSAS -- An Automated System for Scoring Short Answers [63.835172924290326]
  SAS(Automatic Short Answer Scoring)への高速でスケーラブルで正確なアプローチを提示します。 SASのためのシステム、すなわちAutoSASの設計と開発を提案し、説明します。 AutoSASは最先端のパフォーマンスを示し、いくつかの質問のプロンプトで8%以上良い結果が得られる。
  論文  参考訳（メタデータ） (2020-12-21T10:47:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。