論文の概要: Can Crowdsourcing Survive the LLM Era? A Community Survey on Human Data Collection

• arxiv url: http://arxiv.org/abs/2606.04924v1
• Date: Wed, 03 Jun 2026 14:18:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.816025
• Title: Can Crowdsourcing Survive the LLM Era? A Community Survey on Human Data Collection
• Title（参考訳）: クラウドソーシングはLLM時代を救えるか? : 人的データ収集に関するコミュニティ調査
• Authors: Aswathy Velutharambath, Neele Falk, Sofie Labat, Tarun Tater, Amelie Wuehrl,
• Abstract要約: 大規模言語モデル(LLM)を書き込みツールとして広く利用することは、クラウドソースデータの有効性に挑戦する。 本稿では,実践者の課題,緩和戦略,データ品質への影響について概説する。
• 参考スコア（独自算出の注目度）: 8.623161636452592
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The widespread use of Large Language Models (LLMs) as writing tools challenges the validity of crowdsourced data, as crowdworkers may outsource tasks to models. To better understand how this is addressed, we surveyed 155 researchers in NLP and related disciplines about their experiences and opinions on collecting free-text responses via crowdsourcing. This paper provides an overview of practitioners' challenges, mitigation strategies, and the foreseen implications on data quality. 44% of respondents reported observing LLM usage in their crowdsourced data. While 93% of them had anticipated this, half were unsure what precautions to take. The most prevalent detection strategies are distinctive textual style patterns and unusually fast completion times. Overall, survey responses show that the research community is aware of the problem and taking measures, but existing efforts remain insufficient to fully address it. Finally, we derive a set of considerations to guide future crowdsourced free-text data collection in the era of LLMs.
• Abstract（参考訳）: 大規模言語モデル (LLM) を記述ツールとして広く利用することは、クラウドソーシングされたデータの有効性に挑戦する。 そこで我々は,NLPの155人の研究者を対象に,クラウドソーシングによるフリーテキスト応答収集に関する経験と意見について調査を行った。 本稿では,実践者の課題,緩和戦略,データ品質への影響について概説する。 回答者の44%がクラウドソースデータでLLMを使用していると回答している。 そのうち93%が予想していたのに対し、半分はどのような予防措置を取るべきかわからないものだった。 最も一般的な検出戦略は、独特なテクストスタイルのパターンと、異常に高速な完了時間である。 総じて、調査回答は、研究コミュニティが問題を認識し、対策を講じていることを示しているが、既存の取り組みは十分に対処するには不十分である。 最後に, LLM 時代におけるクラウドソースフリーテキストデータ収集の方向性について考察する。

関連論文リスト

• Information-Guided Identification of Training Data Imprint in (Proprietary) Large Language Models [52.439289085318634]
  情報誘導プローブを用いて,プロプライエタリな大規模言語モデル (LLM) で知られているトレーニングデータを識別する方法を示す。 我々の研究は、重要な観察の上に成り立っている: 高次数テキストパスは、暗記プローブにとって良い検索材料である。
  論文  参考訳（メタデータ） (2025-03-15T10:19:15Z)
• NewsInterview: a Dataset and a Playground to Evaluate LLMs' Ground Gap via Informational Interviews [65.35458530702442]
  我々はジャーナリストのインタビューに焦点をあて、コミュニケーションの基盤と豊富なデータに富んだドメインに焦点をあてる。 我々はNPRとCNNから4万人の2人によるインフォメーションインタビューのデータセットをキュレートする。 LLMは、人間のインタビュアーよりも、認識を使い、より高いレベルの質問に目を向ける可能性がはるかに低い。
  論文  参考訳（メタデータ） (2024-11-21T01:37:38Z)
• A Comprehensive Survey of Bias in LLMs: Current Landscape and Future Directions [0.0]
  大規模言語モデル(LLM)は、前例のないテキスト生成、翻訳、理解能力を提供することで、自然言語処理(NLP)の様々な応用に革命をもたらした。 彼らの広範な展開は、これらのモデルに埋め込まれたバイアスに関して、重大な懸念をもたらしました。 本稿では, LLMにおけるバイアスの包括的調査を行い, これらのバイアスに関するタイプ, ソース, 影響, 緩和戦略について, 広範なレビューを行うことを目的としている。
  論文  参考訳（メタデータ） (2024-09-24T19:50:38Z)
• LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
  大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。 本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。 私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
  論文  参考訳（メタデータ） (2024-06-24T01:30:22Z)
• Factuality of Large Language Models: A Survey [29.557596701431827]
  我々は、主要な課題とその原因を特定することを目的として、既存の研究を批判的に分析する。 オープンエンドテキスト生成における事実自動評価の障害を解析する。
  論文  参考訳（メタデータ） (2024-02-04T09:36:31Z)
• Aligning Large Language Models with Human: A Survey [53.6014921995006]
  広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。 その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。 本調査では,これらのアライメント技術の概要について概観する。
  論文  参考訳（メタデータ） (2023-07-24T17:44:58Z)
• What Ingredients Make for an Effective Crowdsourcing Protocol for Difficult NLU Data Collection Tasks? [31.39009622826369]
  我々は、データ品質を改善する方法として、先行研究で提案された介入の有効性を比較した。 我々は,NLU例の難易度を高めるための非効率なスタンドアロン戦略として,実例の説明書を書くよう労働者に求めていることを見出した。 専門家評価を伴う反復的プロトコルからのデータは、いくつかの尺度によりより困難であることが観察された。
  論文  参考訳（メタデータ） (2021-06-01T21:05:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。