論文の概要: Human Bias in the Face of AI: The Role of Human Judgement in AI Generated Text Evaluation

• arxiv url: http://arxiv.org/abs/2410.03723v1
• Date: Sun, 29 Sep 2024 04:31:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 20:28:28.229795
• Title: Human Bias in the Face of AI: The Role of Human Judgement in AI Generated Text Evaluation
• Title（参考訳）: AIの顔におけるヒューマンバイアス:AI生成テキスト評価における人間の判断の役割
• Authors: Tiffany Zhu, Iain Weissburg, Kexun Zhang, William Yang Wang,
• Abstract要約: 本研究では、偏見がAIと人為的コンテンツの知覚をどう形成するかを考察する。 ラベル付きおよびラベルなしコンテンツに対するヒトのラッカーの反応について検討した。
• 参考スコア（独自算出の注目度）: 48.70176791365903
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As AI advances in text generation, human trust in AI generated content remains constrained by biases that go beyond concerns of accuracy. This study explores how bias shapes the perception of AI versus human generated content. Through three experiments involving text rephrasing, news article summarization, and persuasive writing, we investigated how human raters respond to labeled and unlabeled content. While the raters could not differentiate the two types of texts in the blind test, they overwhelmingly favored content labeled as "Human Generated," over those labeled "AI Generated," by a preference score of over 30%. We observed the same pattern even when the labels were deliberately swapped. This human bias against AI has broader societal and cognitive implications, as it undervalues AI performance. This study highlights the limitations of human judgment in interacting with AI and offers a foundation for improving human-AI collaboration, especially in creative fields.
• Abstract（参考訳）: AIがテキスト生成に進歩するにつれて、AIが生成したコンテンツに対する人間の信頼は、正確性の懸念を超えてバイアスによって制限される。 本研究では、偏見がAIと人為的コンテンツの知覚をどう形成するかを考察する。 テキスト・リフレッシング, ニュース記事要約, 説得文の3つの実験を通じて, ラベル付き・未ラベルのコンテンツに対して, 人間がどう反応するかを検討した。 ブラインドテストでは2種類のテキストを区別できなかったが、「AI生成」とラベル付けされたコンテンツよりも「Human Generated」とラベル付けされたコンテンツを30%以上の優先スコアで圧倒的に好んだ。 ラベルが意図的に交換された場合でも,同じパターンが観察された。 このAIに対する人間の偏見は、AIのパフォーマンスを過小評価するため、より広い社会的・認知的意味を持つ。 この研究は、AIと対話する際の人間の判断の限界を強調し、特に創造的な分野において、人間とAIのコラボレーションを改善する基盤を提供する。

関連論文リスト

• Measuring Human Contribution in AI-Assisted Content Generation [68.03658922067487]
  本研究は,AIによるコンテンツ生成における人間の貢献度を測定する研究課題を提起する。 人間の入力とAI支援出力の自己情報に対する相互情報を計算することにより、コンテンツ生成における人間の比例情報貢献を定量化する。
  論文  参考訳（メタデータ） (2024-08-27T05:56:04Z)
• Rolling in the deep of cognitive and AI biases [1.556153237434314]
  我々は、AIが設計、開発、デプロイされる状況とは切り離せない社会技術システムとして理解する必要があると論じる。 我々は、人間の認知バイアスがAIフェアネスの概観の中核となる急進的な新しい方法論に従うことで、この問題に対処する。 我々は、人間にAIバイアスを正当化する新しいマッピングを導入し、関連する公正度と相互依存を検出する。
  論文  参考訳（メタデータ） (2024-07-30T21:34:04Z)
• Generation Z's Ability to Discriminate Between AI-generated and Human-Authored Text on Discord [0.32885740436059047]
  DiscordはAI統合を可能にし、主にAI生成コンテンツに"ジェネレーションZ"ユーザベースをさらけ出す。 我々は,AI生成テキストと人間によるテキストの識別能力を評価するため,世代Zの高齢者を対象に調査を行った。 ジェネレーションZの個人は、AIと人間によるテキストを区別できない。
  論文  参考訳（メタデータ） (2023-12-31T11:52:15Z)
• Improving Human-AI Collaboration With Descriptions of AI Behavior [14.904401331154062]
  人々はAIシステムを使って意思決定を改善するが、しばしばAIの予測を過度に、あるいは過度に予測し、手伝わなかったよりも悪いパフォーマンスをする。 人々がAIアシスタントを適切に頼りにするために、行動記述を示すことを提案する。
  論文  参考訳（メタデータ） (2023-01-06T00:33:08Z)
• The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
  この分野でのAIのメリット、課題、欠点についてレビューする。 データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
  論文  参考訳（メタデータ） (2022-12-08T23:23:39Z)
• Can Machines Imitate Humans? Integrative Turing Tests for Vision and Language Demonstrate a Narrowing Gap [45.6806234490428]
  3つの言語タスクと3つのビジョンタスクで人間を模倣する能力において、現在のAIをベンチマークします。 実験では、549人の人間エージェントと26人のAIエージェントがデータセットの作成に使われ、1,126人の人間審査員と10人のAI審査員が参加した。 結果として、現在のAIは、複雑な言語とビジョンの課題において人間を偽装できるものではないことが判明した。
  論文  参考訳（メタデータ） (2022-11-23T16:16:52Z)
• On the Influence of Explainable AI on Automation Bias [0.0]
  我々は、説明可能なAI(XAI)によって自動化バイアスに影響を与える可能性に光を当てることを目指している。 ホテルのレビュー分類に関するオンライン実験を行い、最初の結果について議論する。
  論文  参考訳（メタデータ） (2022-04-19T12:54:23Z)
• The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
  私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。 その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
  論文  参考訳（メタデータ） (2021-07-28T17:32:04Z)
• Trustworthy AI: A Computational Perspective [54.80482955088197]
  我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。 各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
  論文  参考訳（メタデータ） (2021-07-12T14:21:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。