論文の概要: Detecting The Corruption Of Online Questionnaires By Artificial
Intelligence
- arxiv url: http://arxiv.org/abs/2308.07499v1
- Date: Mon, 14 Aug 2023 23:47:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-16 14:29:29.797655
- Title: Detecting The Corruption Of Online Questionnaires By Artificial
Intelligence
- Title（参考訳）: 人工知能によるオンラインアンケートの腐敗の検出
- Authors: Benjamin Lebrun, Sharon Temtsin, Andrew Vonasch, Christoph Bartneck
- Abstract要約: この研究は、オンライン研究のためにAIが生成したテキストが、人間と自動AI検出システムの両方で検出できるかどうかを検証した。
人間はチャンスレベル以上のテキストの著者を正しく特定することができた。
しかし、彼らのパフォーマンスは、満足のいくデータ品質を保証するために必要となるものより依然として劣っていた。
- 参考スコア（独自算出の注目度）: 1.9458156037869137
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Online questionnaires that use crowd-sourcing platforms to recruit
participants have become commonplace, due to their ease of use and low costs.
Artificial Intelligence (AI) based Large Language Models (LLM) have made it
easy for bad actors to automatically fill in online forms, including generating
meaningful text for open-ended tasks. These technological advances threaten the
data quality for studies that use online questionnaires. This study tested if
text generated by an AI for the purpose of an online study can be detected by
both humans and automatic AI detection systems. While humans were able to
correctly identify authorship of text above chance level (76 percent accuracy),
their performance was still below what would be required to ensure satisfactory
data quality. Researchers currently have to rely on the disinterest of bad
actors to successfully use open-ended responses as a useful tool for ensuring
data quality. Automatic AI detection systems are currently completely unusable.
If AIs become too prevalent in submitting responses then the costs associated
with detecting fraudulent submissions will outweigh the benefits of online
questionnaires. Individual attention checks will no longer be a sufficient tool
to ensure good data quality. This problem can only be systematically addressed
by crowd-sourcing platforms. They cannot rely on automatic AI detection systems
and it is unclear how they can ensure data quality for their paying clients.
- Abstract（参考訳）: クラウドソーシングプラットフォームを使って参加者を募集するオンラインアンケートは、使いやすさとコストの低さから一般的になっている。
人工知能(AI)ベースのLarge Language Models(LLM)は、悪いアクターがオンラインフォームに自動的に記入できるようにする。
これらの技術進歩は、オンラインアンケートを用いた研究におけるデータ品質を脅かす。
オンライン研究のためにAIが生成したテキストが、人間と自動AI検出システムの両方で検出できるかどうかをテストする。
人間はチャンスレベル以上のテキストのオーサリングを正確に識別することができた(精度76パーセント)が、そのパフォーマンスは、満足のいくデータ品質を保証するために必要となるものよりは低かった。
現在研究者は、データ品質を確保するための有用なツールとしてオープンエンドレスポンスをうまく使うために、悪役の不利益に頼る必要がある。
自動ai検出システムは、現在完全に使用できない。
もしAIが回答を提出するのに普及しすぎると、不正な投稿を検出するコストはオンラインアンケートの利点を上回ることになる。
個々の注意チェックは、データの品質を確保するための十分なツールではなくなります。
この問題はクラウドソーシングプラットフォームによってのみ体系的に対処できる。
彼らは自動AI検出システムに頼ることができず、有料クライアントのデータ品質をどうやって保証できるかは不明だ。
関連論文リスト
- Are AI Detectors Good Enough? A Survey on Quality of Datasets With Machine-Generated Texts [0.0]
AIフラグメントを備えた膨大な数の検出器とコレクションが出現し、いくつかの検出方法は認識品質を99.9%まで向上させた。
検出器は実際に非常に信頼性が高いのか、あるいは評価データセットの質が低いことから高いベンチマークスコアを得るのか?
本稿では,AI生成コンテンツ検出専用のコンペからのデータセットを体系的にレビューし,AI生成フラグメントを含むデータセットの品質を評価する手法を提案する。
論文 参考訳（メタデータ） (2024-10-18T17:59:57Z) - Personhood credentials: Artificial intelligence and the value of privacy-preserving tools to distinguish who is real online [5.365346373228897]
悪質な俳優は長い間、不正行為、偽情報拡散、その他の偽装的なスキームの実行に誤解を招くアイデンティティを使用してきた。
ますます有能なAIの出現により、悪いアクターは彼らの活動の潜在的な規模と効果を増幅することができる。
我々は、この課題に対処する新しいツールの価値を分析する:「個人認証」(PHC)。
PHCは、ユーザーに対して、個人情報を開示することなく、実際の人間(AIではなく)をオンラインサービスに示すことを可能にする。
論文 参考訳（メタデータ） (2024-08-15T02:41:25Z) - Data Readiness for AI: A 360-Degree Survey [0.9343816282846432]
粗悪な品質データは不正確で非効率なAIモデルを生成する。
データ品質の改善に多くの研究開発努力が費やされている。
本稿では、構造化データセットと非構造化データセットのためのAI(DRAI)メトリクスのためのデータ準備性の分類法を提案する。
論文 参考訳（メタデータ） (2024-04-08T15:19:57Z) - Towards Possibilities & Impossibilities of AI-generated Text Detection:
A Survey [97.33926242130732]
大規模言語モデル(LLM)は、自然言語処理(NLP)の領域に革命をもたらし、人間のようなテキスト応答を生成する能力を持つ。
これらの進歩にもかかわらず、既存の文献のいくつかは、LLMの潜在的な誤用について深刻な懸念を提起している。
これらの懸念に対処するために、研究コミュニティのコンセンサスは、AI生成テキストを検出するアルゴリズムソリューションを開発することである。
論文 参考訳（メタデータ） (2023-10-23T18:11:32Z) - Who Said That? Benchmarking Social Media AI Detection [12.862865254507177]
本稿では、実ソーシャルメディアプラットフォームにおけるAIテキスト検出モデルの能力を評価するために開発された新しいベンチマークであるSAID(Social media AI Detection)を紹介する。
ZhihuやQuoraといった人気のソーシャルメディアプラットフォームから、AI生成テキストが組み込まれている。
Zhihuデータセットに基づく我々の研究の注目すべき発見は、アノテータがAI生成テキストと人間生成テキストを96.5%の平均精度で区別できることを示している。
論文 参考訳（メタデータ） (2023-10-12T11:35:24Z) - Human-Centric Multimodal Machine Learning: Recent Advances and Testbed
on AI-based Recruitment [66.91538273487379]
人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。
i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
論文 参考訳（メタデータ） (2023-02-13T16:44:44Z) - The Role of AI in Drug Discovery: Challenges, Opportunities, and
Strategies [97.5153823429076]
この分野でのAIのメリット、課題、欠点についてレビューする。
データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
論文 参考訳（メタデータ） (2022-12-08T23:23:39Z) - A Survey of Machine Unlearning [56.017968863854186]
最近の規制では、要求に応じて、ユーザに関する個人情報をコンピュータシステムから削除する必要がある。
MLモデルは古いデータをよく記憶します。
機械学習に関する最近の研究は、この問題を完全に解決することはできなかった。
論文 参考訳（メタデータ） (2022-09-06T08:51:53Z) - LioNets: A Neural-Specific Local Interpretation Technique Exploiting
Penultimate Layer Information [6.570220157893279]
解釈可能な機械学習(IML)は研究の緊急のトピックである。
本稿では,テキストデータと時系列データに適用される局所的,神経特異的な解釈プロセスに焦点を当てる。
論文 参考訳（メタデータ） (2021-04-13T09:39:33Z) - Trustworthy AI [75.99046162669997]
入力データの小さな敵対的変化への脆さ、決定の説明能力、トレーニングデータのバイアスに対処する能力は、最も顕著な制限である。
我々は,AIシステムに対するユーザおよび公的な信頼を高める上での6つの重要な問題に対処するために,信頼に値するAIに関するチュートリアルを提案する。
論文 参考訳（メタデータ） (2020-11-02T20:04:18Z) - Bias in Multimodal AI: Testbed for Fair Automatic Recruitment [73.85525896663371]
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
我々は、性別や人種の偏りを意識的に評価したマルチモーダルな合成プロファイルを用いて、自動求人アルゴリズムを訓練する。
我々の方法論と結果は、一般により公平なAIベースのツール、特により公平な自動採用システムを生成する方法を示している。
論文 参考訳（メタデータ） (2020-04-15T15:58:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。