論文の概要: Large Language Models Pass the Turing Test

• arxiv url: http://arxiv.org/abs/2503.23674v1
• Date: Mon, 31 Mar 2025 02:37:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:34:30.296366
• Title: Large Language Models Pass the Turing Test
• Title（参考訳）: チューリングテストに合格する大規模言語モデル
• Authors: Cameron R. Jones, Benjamin K. Bergen,
• Abstract要約: 独立集団を対象とした2つのチューリング試験において,ELIZA, GPT-4o, LLaMa-3.1-405B, GPT-4.5の4つのシステムについて検討した。 結果は、あらゆる人工システムが標準の3要素チューリングテストに合格するという最初の実証的な証拠である。
• 参考スコア（独自算出の注目度）: 0.913127392774573
• License:
• Abstract: We evaluated 4 systems (ELIZA, GPT-4o, LLaMa-3.1-405B, and GPT-4.5) in two randomised, controlled, and pre-registered Turing tests on independent populations. Participants had 5 minute conversations simultaneously with another human participant and one of these systems before judging which conversational partner they thought was human. When prompted to adopt a humanlike persona, GPT-4.5 was judged to be the human 73% of the time: significantly more often than interrogators selected the real human participant. LLaMa-3.1, with the same prompt, was judged to be the human 56% of the time -- not significantly more or less often than the humans they were being compared to -- while baseline models (ELIZA and GPT-4o) achieved win rates significantly below chance (23% and 21% respectively). The results constitute the first empirical evidence that any artificial system passes a standard three-party Turing test. The results have implications for debates about what kind of intelligence is exhibited by Large Language Models (LLMs), and the social and economic impacts these systems are likely to have.
• Abstract（参考訳）: 独立人口を対象とした2つのランダム化・制御・登録チューリング試験(ELIZA, GPT-4o, LLaMa-3.1-405B, GPT-4.5)について検討した。 参加者は、他の人間の参加者と同時に5分間の会話をした後、どの会話相手が人間だと考えたかを判断した。 GPT-4.5は、人間のようなペルソナを採用するように促されたとき、人間の73%と判断された。 同じプロンプトでLLaMa-3.1は人間の56%と判断されたが、ベースラインモデル(ELIZAとGPT-4o)は23%、勝利率は21%だった。 この結果は、あらゆる人工システムが標準の3要素チューリングテストに合格するという最初の実証的な証拠となっている。 この結果は、Large Language Models (LLMs) がどのような知性を示すか、そしてこれらのシステムがもたらす社会的・経済的影響について、議論を巻き起こしている。

関連論文リスト

• Self-Directed Turing Test for Large Language Models [56.64615470513102]
  チューリングテストは、自然言語の会話においてAIが人間のような振る舞いを示すことができるかどうかを調べる。 従来のチューリングテストでは、各参加者が1回に1つのメッセージだけを送信する厳格な対話形式を採用している。 本稿では,バーストダイアログ形式を用いた自己指示チューリングテストを提案する。
  論文  参考訳（メタデータ） (2024-08-19T09:57:28Z)
• Networks of Networks: Complexity Class Principles Applied to Compound AI Systems Design [63.24275274981911]
  多くの言語モデル推論コールからなる複合AIシステムは、ますます採用されている。 本研究では,提案した回答の生成と正当性検証の区別を中心に,ネットワークネットワーク(NoN)と呼ばれるシステムを構築した。 我々は,Kジェネレータを備えた検証器ベースの判定器NoNを導入し,"Best-of-K"あるいは"judge-based"複合AIシステムのインスタンス化を行う。
  論文  参考訳（メタデータ） (2024-07-23T20:40:37Z)
• GPT-4 is judged more human than humans in displaced and inverted Turing tests [0.7437224586066946]
  毎日のAI検出は、オンライン会話における人とAIの差別化を必要とする。 我々は、Turingテストの2つの修正版(反転と置換)を使って、人や大きな言語モデルがいかに差別化できるかを測定した。
  論文  参考訳（メタデータ） (2024-07-11T20:28:24Z)
• People cannot distinguish GPT-4 from a human in a Turing test [0.913127392774573]
  GPT-4はヒトの54%と判断され、ELIZA(22%)を上回ったが、実際のヒト(67%)よりも遅れていた。 結果は、マシンインテリジェンスに関する議論に影響を及ぼし、より緊急に、現在のAIシステムによる騙しが検出されない可能性があることを示唆している。
  論文  参考訳（メタデータ） (2024-05-09T04:14:09Z)
• How Well Can LLMs Echo Us? Evaluating AI Chatbots' Role-Play Ability with ECHO [55.25989137825992]
  チューリングテストに触発された評価フレームワークECHOを紹介する。 この枠組みは、人間と機械が生成した反応を区別するために、対象個人の知名度に係わる。 基礎モデルとして GPT-3.5 と GPT-4 の3つのロールプレイング LLM をECHO を用いて評価した。
  論文  参考訳（メタデータ） (2024-04-22T08:00:51Z)
• On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial [10.770999939834985]
  制御された無害な環境でAIによる説得の効果を分析する。 その結果、GPT-4を個人情報へのアクセスで議論した参加者は、人間を議論した参加者と比較して、相手との合意が増大する確率が81.7%高かった。
  論文  参考訳（メタデータ） (2024-03-21T13:14:40Z)
• Does GPT-4 pass the Turing test? [0.913127392774573]
  最高パフォーマンスのGPT-4プロンプトは49.7%のゲームで通過し、ELIZA(22%)とGPT-3.5(20%)を上回った。 我々は、チューリングテストは、自然主義的なコミュニケーションと騙しの評価として、引き続き関係していると論じる。
  論文  参考訳（メタデータ） (2023-10-31T06:27:52Z)
• Evaluating Human-Language Model Interaction [79.33022878034627]
  我々は,対話型システムのコンポーネントを定義する,HALIE(Human-AI Language-based Interaction Evaluation)という新しいフレームワークを開発した。 ソーシャル対話,質問応答,クロスワードパズル,要約,メタファ生成という,対話のさまざまな形態をカバーする5つのタスクを設計する。 より優れた非対話的性能は、必ずしもより良い人間とLMの相互作用に必ずしも変換されない。
  論文  参考訳（メタデータ） (2022-12-19T18:59:45Z)
• Can Machines Imitate Humans? Integrative Turing Tests for Vision and Language Demonstrate a Narrowing Gap [45.6806234490428]
  3つの言語タスクと3つのビジョンタスクで人間を模倣する能力において、現在のAIをベンチマークします。 実験では、549人の人間エージェントと26人のAIエージェントがデータセットの作成に使われ、1,126人の人間審査員と10人のAI審査員が参加した。 結果として、現在のAIは、複雑な言語とビジョンの課題において人間を偽装できるものではないことが判明した。
  論文  参考訳（メタデータ） (2022-11-23T16:16:52Z)
• Partner Matters! An Empirical Study on Fusing Personas for Personalized Response Selection in Retrieval-Based Chatbots [51.091235903442715]
  本稿では,自己とパートナーの話者が応答選択の課題に与える影響について検討する。 4つのペルソナ融合戦略が設計されており、異なる方法でペルソナがコンテキストや応答と相互作用することを前提としている。 Persona-Chatデータセットに関する実証研究は、パートナーペルソナが応答選択の精度を向上させることができることを示している。
  論文  参考訳（メタデータ） (2021-05-19T10:32:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。