論文の概要: Towards Detecting AI-Assisted Responses in Online Surveys

• arxiv url: http://arxiv.org/abs/2609.17317v1
• Date: Tue, 15 Sep 2026 15:27:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.599006
• Title: Towards Detecting AI-Assisted Responses in Online Surveys
• Title（参考訳）: オンラインサーベイにおけるAI支援応答の検出に向けて
• Abstract要約: 我々はAI支援調査参加のための初期ベンチマークデータセットであるASURREを紹介した。 一方、回答者全員を模倣するペルソナグラウンドのエージェントは、検出性能を偶然に向上させる。
• 参考スコア（独自算出の注目度）: 10.251117966654645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The use of LLMs to complete online surveys impacts the validity of survey-based research, but detecting such usage remains underexplored. We introduce an initial benchmark dataset, namely ASURRE, for AI-assisted survey participation to capture usage strategies ranging from full generation and revision to persona-grounded agentic completion. Controlled by these strategies, LLM-assisted survey responses are generated using multiple LLMs on three real-world surveys in different disciplines, paired with genuine human responses. Our evaluation of existing machine-generated text (MGT) detectors shows that naive AI usage is readily detectable, whereas persona-grounded agents that mimic entire respondents push detector performance toward chance. We further show that agentic completion cannot fully replicate respondent-level behaviour and leaves distinctive behavioural traces. While individual cues can be circumvented by targeted prompting, a simple few-shot, training-free aggregator over these cues improves mean AUROC by +0.14 over the best existing detector across agentic settings. Our project is available at https://github.com/mike-qz-wang/ASURRE.
• Abstract（参考訳）: LLMによるオンライン調査の完了は、調査に基づく調査の妥当性に影響を及ぼすが、そのような使用状況の検出は未検討のままである。 我々は、AIによる調査参加のための初期ベンチマークデータセット、ASURREを導入し、フルジェネレーションからリビジョン、ペルソナグラウンドのエージェント・コンプリートまでの使用戦略を把握した。 これらの戦略によって制御されたLLM支援調査応答は、実世界の3つの異なる分野における複数のLLMを用いて生成され、本物の人間の反応と組み合わせられる。 既存の機械生成テキスト検出装置 (MGT) の評価では, ナイーブAIの使用が容易に検出可能であるのに対して, 回答者全体を模倣するペルソナ接地エージェントは, 検出性能を偶然に向上させる。 さらに, エージェント・コンプリートは応答レベルの動作を完全に再現することができず, 特異な挙動の痕跡を残していることを示す。 個別のキューはターゲットのプロンプトによって回避できるが、単純な数発のトレーニング不要のアグリゲータは、エージェント設定全体にわたって、AUROCを+0.14倍に改善する。 私たちのプロジェクトはhttps://github.com/mike-qz-wang/ASURRE.comで公開されています。

関連論文リスト

• A Penny for Your Prompts: Experiments Detecting and Mitigating LLM Usage by Survey Respondents [1.6643984790651822]
  大規模な言語モデルは,調査に回答する上で,クラウドソーシングプラットフォーム上で参加者によって使用されるものが増えています。 本研究の目的は,この行動の頻度を定量化し,その検出・防止方法を検討することである。
  論文  参考訳（メタデータ） (2026-07-01T04:01:26Z)
• Measuring Real-World Prompt Injection Attacks in LLM-based Resume Screening [101.09427874773901]
  広範に利用されているアプリケーションにおいて,最初のシステマティック・インジェクション・アタックについて述べる。 我々の分析は、数年以上にわたって雇用EZによって収集された約200万の現実世界の履歴書に基づいている。
  論文  参考訳（メタデータ） (2026-05-27T18:56:19Z)
• Distinguishing Artificial from Authentic: Evaluating LLMs for Detecting LLM-Generated Content [2.7048403457282633]
  大規模言語モデル(LLM)は、学生が自然言語応答やプログラムコードを生成するのにますます使われている。 本研究では,LLMが複数の学習課題タイプにまたがって生成したコンテンツを検知できる範囲について検討する。
  論文  参考訳（メタデータ） (2026-05-13T13:38:40Z)
• Learning to Retrieve from Agent Trajectories [72.8923565916533]
  我々はエージェント間相互作用データから直接エージェント探索のための検索モデルを訓練すべきであると主張している。 エージェント・トラジェクトリからの学習を新たな訓練パラダイムとして導入し,マルチステップエージェントのインタラクションから指導を導出する。 本研究は,エージェント探索時代における検索の方向性を示すとともに,エージェントトラジェクトリを実用的でスケーラブルな監視源として強調するものである。
  論文  参考訳（メタデータ） (2026-03-30T17:59:02Z)
• Transparent Reference-free Automated Evaluation of Open-Ended User Survey Responses [7.295969279816647]
  オープンな調査回答は、マーケティング研究に貴重な洞察を与えます。 品質の低い回答は、手動フィルタリングの研究者に負担を与えるだけでなく、誤った結論をもたらすリスクも負う。 そこで本研究では,ヒトのサーベイ応答に特化して設計された2段階評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-03T08:37:33Z)
• Learning from Convenience Samples: A Case Study on Fine-Tuning LLMs for Survey Non-response in the German Longitudinal Election Study [0.6104510780984732]
  ランダムな非応答と体系的な非応答の両方で自己申告された投票選択をインプットするために、大きな言語モデルを微調整する。 LLMは、ゼロショットよりも正確に個人レベルの予測と人口レベルの分布を復元することができる。 このことは、微調整のLSMが、非確率的なサンプルや体系的な欠陥を扱う研究者に有望な戦略を提供することを示唆している。
  論文  参考訳（メタデータ） (2025-09-29T17:12:18Z)
• DetectAnyLLM: Towards Generalizable and Robust Detection of Machine-Generated Text Across Domains and Models [60.713908578319256]
  タスク指向の知識で検出器を最適化するために,DDL(Direct Discrepancy Learning)を提案する。 そこで本研究では,最新のMGTD性能を実現する統合検出フレームワークであるTectAnyLLMを紹介する。 MIRAGEは5つのテキストドメインにまたがる10のコーパスから人書きテキストをサンプリングし、17個の最先端のLLMを使用して再生成または修正する。
  論文  参考訳（メタデータ） (2025-09-15T10:59:57Z)
• AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents [66.29263282311258]
  我々は、AIウェブナビゲーションエージェントがデータ最小化のプライバシー原則に従うかどうかを測定する新しいベンチマークAgentDAMを紹介する。 我々のベンチマークは、現実的なWebインタラクションシナリオをエンドツーエンドでシミュレートし、既存のWebナビゲーションエージェントに適応する。
  論文  参考訳（メタデータ） (2025-03-12T19:30:31Z)
• LLM-Mirror: A Generated-Persona Approach for Survey Pre-Testing [0.0]
  統計的分布と個別意思決定パターンの両方を再現できるかどうかを検討する。 また,LLMに応答性固有の情報を供給することによって生成されるユーザペルソナであるLLM-Mirrorの概念についても紹介する。 PLS-SEM分析の結果, LLMはヒトの反応に一致し, LLMはヒトの反応を再現し, LLM-Mirror反応はヒトの反応に密接に従っていることがわかった。
  論文  参考訳（メタデータ） (2024-12-04T09:39:56Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。