論文の概要: RealityTest: How People Probe AI Identity and Whether Models Disclose It
- arxiv url: http://arxiv.org/abs/2606.00168v1
- Date: Fri, 29 May 2026 12:40:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.085372
- Title: RealityTest: How People Probe AI Identity and Whether Models Disclose It
- Title（参考訳）: RealityTest: 人々がAIのアイデンティティを証明し、モデルがそれを開示するかどうか
- Abstract要約: 質問されたAIシステムが自身のアイデンティティを開示するかどうかをテストするために、RealityTestを提示する。
49か国5か国750人の参加者から収集された3,152のアイデンティティ調査クエリの基盤となるデータセットをリリースする。
あいまいなシナリオでアイデンティティを直接問う人はわずか31%で、質問する質問はマシン生成クエリよりもはるかに多様である。
- 参考スコア（独自算出の注目度）: 5.4667629504496285
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI systems are increasingly deployed in conversational settings where users may be uncertain whether they are speaking with a human or an AI. Despite mounting regulatory attention to this known safety risk, existing evaluations of AI disclosure are typically English-only, based on machine-generated questions, and restricted to text. We present RealityTest to comprehensively test whether AI systems disclose their identity when asked. The benchmark is the first large-scale multimodal and multilingual evaluation, grounded in human data on how people actually encounter and question AI identity in the real-world. Alongside the benchmark, we release the underlying dataset of 3,152 identity-probing queries collected from ~750 participants across 49 countries and five languages, in text and speech scenarios. We find that only 31% of people ask about identity directly in ambiguous scenarios, and that the questions people ask are far more diverse than machine-generated queries. We test 17 text and 6 speech models, and find substantial variation in disclosure behaviour. However, a single suppression instruction reduces disclosure rates to below 30%, even in the best-performing models. Validating our investment in diverse, human-grounded evaluation data, we find that how the question is phrased and the context of the conversation matter more for disclosure than which model is being tested. Safety evaluations built on narrow or synthetic query sets risk mischaracterising how models behave in realistic deployment settings.
- Abstract（参考訳）: AIシステムは、ユーザーが人間やAIと会話しているかどうか不確実な会話環境にますます配置されている。
この既知の安全リスクに対する規制の注意が高まっているにもかかわらず、AI開示の既存の評価は、通常、機械生成の質問に基づいて英語のみであり、テキストに限定されている。
質問時にAIシステムが自身のアイデンティティを開示するかどうかを総合的に検証するために、RealityTestを提案する。
このベンチマークは、人間が現実世界で実際にどのように遭遇し、AIのアイデンティティに疑問を抱くかという人間のデータに基づく、初めての大規模マルチモーダルおよびマルチランガル評価である。
ベンチマークとともに、49カ国と5カ国の750人の参加者から収集された3,152件のアイデンティティ調査クエリのデータセットを、テキストと音声のシナリオで公開します。
あいまいなシナリオでアイデンティティを直接問う人はわずか31%で、質問する質問はマシン生成クエリよりもはるかに多様である。
我々は17のテキストと6の音声モデルをテストし、開示行動のかなりのバリエーションを見出した。
しかし、単一の抑制命令は、最高の性能のモデルであっても、開示率を30%以下に下げる。
多様な人為的評価データへの投資を検証することで、どのモデルがテストされているかよりも、質問がどのようにフレーズ化され、会話の文脈が開示のために重要であることが分かる。
狭いあるいは合成的なクエリセット上に構築された安全性評価は、モデルが現実的なデプロイメント環境でどのように振る舞うかを誤認するリスクがある。
関連論文リスト
- Inverse Turing Bench: Evaluating Language Models as Judges of Human vs. AI Dialogue [1.1305136905804842]
Inverse Turing Benchは、人間とAIをマルチターンテキストで区別する能力のモデルを評価するベンチマークである。
このベンチマークでは、ペア化された対話書き起こしの集合が提供されており、1つの対話は2人の人間、もう1つは人間とAIの間の対話である。
その結果,GPTZero,Claude Opus-4.6,GPT-5.5が精度が高いことがわかった。
論文 参考訳（メタデータ） (2026-06-20T02:47:56Z) - RogueAI: A Reverse Turing Test for Detecting Licensed AI Deception in Dialogue [2.7606655162305476]
我々は,このテストを1対2の尋問ゲームとして運用するインタラクティブなWebアプリであるRogueAIを紹介する。
プレイヤーの任務は、不正行為を識別し、ターンの予算が尽きる前に「シャットオフ」することである。
プレイヤーが独自の騙し戦略をひそかに選択するナレーターエージェントでカスタムシナリオを設計する手続き的拡張であるAutoRogueAIを紹介する。
論文 参考訳（メタデータ） (2026-06-11T13:07:02Z) - 'Your AI Text is not Mine': Redefining and Evaluating AI-generated Text Detection under Realistic Assumptions [50.1119556361129]
我々は,AI生成テキストのさまざまな概念とその特徴を体系的に定義する。
AITDNAは人間と機械が共同で構築したテキストの新しいベンチマークである。
我々は、様々な機械生成テキスト検出器をベンチマークし、それらが特定の概念に対してのみうまく機能するが、広義の検出器として機能しないことが多いことを発見した。
論文 参考訳（メタデータ） (2026-06-03T14:05:14Z) - Implicit Intelligence -- Evaluating Agents on What Users Don't Say [0.3580891736370874]
Implicit Intelligence(インプリシットインテリジェンス)は、AIエージェントがプロンプトフォローを超えて真のゴールフルフィルダーになるかどうかをテストするフレームワークである。
我々のシナリオは、ユーザ要求における明らかな単純さ、正しいソリューションにおける隠れた複雑さ、環境探索による制約の発見性である。
論文 参考訳（メタデータ） (2026-02-23T23:46:55Z) - Disclosure By Design: Identity Transparency as a Behavioural Property of Conversational AI Models [10.35358368112024]
AIのアイデンティティが不明な場合、ユーザーは無意識に機密情報を共有したり、AIが生成するアドバイスを不当に信頼したり、AI対応の詐欺の被害を被る可能性がある。
我々は、AIシステムが直接尋ねられたとき、人工的なアイデンティティを明示的に開示する設計による開示を提唱する。
ベースライン開示率は高いことが多いが、ロールプレイが著しく低下し、相手のプロンプトで抑制できることがわかった。
論文 参考訳（メタデータ） (2026-01-27T17:31:37Z) - AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。
AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。
また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
論文 参考訳（メタデータ） (2025-08-29T07:40:39Z) - Could AI Trace and Explain the Origins of AI-Generated Images and Text? [53.11173194293537]
AI生成コンテンツは、現実の世界ではますます普及している。
敵は、大規模なマルチモーダルモデルを利用して、倫理的または法的基準に違反した画像を作成するかもしれない。
ペーパーレビュアーは、大きな言語モデルを誤用して、真の知的努力なしにレビューを生成する。
論文 参考訳（メタデータ） (2025-04-05T20:51:54Z) - Almost AI, Almost Human: The Challenge of Detecting AI-Polished Writing [55.2480439325792]
本研究では、AI-Polished-Text Evaluationデータセットを用いて、12の最先端AIテキスト検出器を体系的に評価する。
我々の発見によると、検出器は、最小限に洗練されたテキストをAI生成としてフラグ付けし、AIの関与度を区別し、古いモデルや小さなモデルに対するバイアスを示す。
論文 参考訳（メタデータ） (2025-02-21T18:45:37Z) - Testing AI on language comprehension tasks reveals insensitivity to underlying meaning [3.335047764053173]
LLM(Large Language Models)は、臨床支援や法的支援から、質問応答や教育まで幅広い分野で採用されている。
しかし、リバースエンジニアリングはモラベックのパラドックスによって拘束されており、簡単なスキルは難しい。
新たなベンチマークで7つの最先端モデルを体系的に評価する。
論文 参考訳（メタデータ） (2023-02-23T20:18:52Z) - Can Machines Imitate Humans? Integrative Turing-like tests for Language and Vision Demonstrate a Narrowing Gap [56.611702960809644]
3つの言語タスクと3つの視覚タスクで人間を模倣するAIの能力をベンチマークする。
次に,人間1,916名,AI10名を対象に,72,191名のチューリング様試験を行った。
模倣能力は従来のAIパフォーマンス指標と最小限の相関を示した。
論文 参考訳（メタデータ） (2022-11-23T16:16:52Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳（メタデータ） (2021-09-24T03:49:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。