論文の概要: Inverse Turing Bench: Evaluating Language Models as Judges of Human vs. AI Dialogue

• arxiv url: http://arxiv.org/abs/2606.21844v1
• Date: Sat, 20 Jun 2026 02:47:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 02:48:23.743694
• Title: Inverse Turing Bench: Evaluating Language Models as Judges of Human vs. AI Dialogue
• Title（参考訳）: 逆チューリングベンチ:人間対AI対話の判断としての言語モデルの評価
• Authors: William Hager, Ishika Rathi, Masum Hasan, Cameron Jones,
• Abstract要約: Inverse Turing Benchは、人間とAIをマルチターンテキストで区別する能力のモデルを評価するベンチマークである。 このベンチマークでは、ペア化された対話書き起こしの集合が提供されており、1つの対話は2人の人間、もう1つは人間とAIの間の対話である。 その結果,GPTZero,Claude Opus-4.6,GPT-5.5が精度が高いことがわかった。
• 参考スコア（独自算出の注目度）: 1.1305136905804842
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As AI systems integrate into online spaces, differentiating them from humans in conversations is increasingly important. We present Inverse Turing Bench, a benchmark that evaluates LLMs and other models on their ability to differentiate humans and AI in multi-turn text. The benchmark provides a collection of paired dialogue transcripts, wherein one dialogue is between two humans and the other is between a human and an AI. The task is to correctly identify which dialogue is human-only vs. human-AI. We evaluated a preliminary set of models against this benchmark, and found that GPTZero, Claude Opus-4.6, and GPT-5.5 achieve the highest accuracy: 89.41%, 77.92%, and 75.94% respectively. Our results suggest that statistical approaches to detection have semantic blind spots, but semantic approaches are susceptible to persona-prompting. Our work speaks to the Inverse Turing Test as a probe of LLM theory of mind, and motivates human-AI differentiation as a critical capability for AI systems. Our live benchmark can be found at https://huggingface.co/spaces/roc-hci/Inverse-Turing-Bench-Leaderboard (anonymity preserved).
• Abstract（参考訳）: AIシステムがオンライン空間に統合されるにつれて、会話の中で人間と区別することがますます重要である。 逆チューリングベンチ(Inverse Turing Bench)は、マルチターンテキストで人間とAIを区別する能力について、LSMやその他のモデルを評価するベンチマークである。 このベンチマークでは、ペア化された対話書き起こしの集合が提供されており、1つの対話は2人の人間、もう1つは人間とAIの間の対話である。 課題は、どの対話が人間のみか、人間対AIかを正確に識別することである。 GPTZero, Claude Opus-4.6, GPT-5.5がそれぞれ89.41%, 77.92%, 75.94%という高い精度を達成した。 以上の結果から,検出に対する統計的アプローチは意味的盲点を持つが,意味論的アプローチはペルソナ・プロンプトの影響を受けやすいことが示唆された。 我々の研究は、逆チューリングテスト(Inverse Turing Test)を、LLMの心の理論のプローブとして取り上げ、AIシステムにとって重要な能力として、人間とAIの差別化を動機付けている。 ライブベンチマークはhttps://huggingface.co/spaces/roc-hci/Inverse-Turing-Bench-Leaderboard(匿名保存)で確認できます。

関連論文リスト

• X-TURING: Towards an Enhanced and Efficient Turing Test for Long-Term Dialogue Agents [56.64615470513102]
  チューリングテストは、自然言語の会話においてAIが人間のような振る舞いを示すかどうかを調べる。 従来の設定では、各参加者は一度に1つのメッセージに制限される。 本稿では,textitburstダイアログパターンを用いて,元のテストを強化するtextbftextscX-Turingを提案する。
  論文  参考訳（メタデータ） (2024-08-19T09:57:28Z)
• GPT-4 is judged more human than humans in displaced and inverted Turing tests [0.7437224586066946]
  毎日のAI検出は、オンライン会話における人とAIの差別化を必要とする。 我々は、Turingテストの2つの修正版(反転と置換)を使って、人や大きな言語モデルがいかに差別化できるかを測定した。
  論文  参考訳（メタデータ） (2024-07-11T20:28:24Z)
• Evaluating Human-Language Model Interaction [79.33022878034627]
  我々は,対話型システムのコンポーネントを定義する,HALIE(Human-AI Language-based Interaction Evaluation)という新しいフレームワークを開発した。 ソーシャル対話,質問応答,クロスワードパズル,要約,メタファ生成という,対話のさまざまな形態をカバーする5つのタスクを設計する。 より優れた非対話的性能は、必ずしもより良い人間とLMの相互作用に必ずしも変換されない。
  論文  参考訳（メタデータ） (2022-12-19T18:59:45Z)
• Can Machines Imitate Humans? Integrative Turing-like tests for Language and Vision Demonstrate a Narrowing Gap [56.611702960809644]
  3つの言語タスクと3つの視覚タスクで人間を模倣するAIの能力をベンチマークする。 次に,人間1,916名,AI10名を対象に,72,191名のチューリング様試験を行った。 模倣能力は従来のAIパフォーマンス指標と最小限の相関を示した。
  論文  参考訳（メタデータ） (2022-11-23T16:16:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。