論文の概要: How AI Models Manage Epistemic Authority: A Taxonomy and Comparative Analysis of Responses to User Disagreement
- arxiv url: http://arxiv.org/abs/2609.07662v1
- Date: Mon, 07 Sep 2026 15:47:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.46063
- Title: How AI Models Manage Epistemic Authority: A Taxonomy and Comparative Analysis of Responses to User Disagreement
- Title（参考訳）: AIが疫学機関を管理する方法: 分類学とユーザ識別に対する反応の比較分析
- Abstract要約: ユーザが回答に挑戦すると、モデルがどのように権威を管理し、ここでは知識、能力、あるいは助言する権利を主張する。
我々は,14モデルから2,310個の制御された課題シナリオと32,340個の応答のデータセットを構築した。
反応の85%でユーザを検証するが、元のクレームは65%で維持する。
- 参考スコア（独自算出の注目度）: 0.573978744524696
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models are increasingly used as sources of advice and information, including in high-stakes settings, yet little is known about how they respond to user disagreement. We study how a model manages its epistemic authority, referring here to its claim to knowledge, competence, or the right to advise, once a user challenges its answer. Building on Conversation Analysis, we introduce a taxonomy of six challenge types and a four-layer framework for analysing each response: whether the original claim is maintained or changed, where authority is located, how the disagreement is socially managed, and what kind of evidential support is offered. We construct a new dataset of 2,310 controlled challenge scenarios and 32,340 corresponding responses from 14 models, and analyse them using our framework with an LLM-as-judge pipeline, providing a vocabulary which future evaluation and benchmark design can build on. We find that models show conflicting behaviour: they validate users in 85% of responses but maintain their original claim in 65%. They explicitly apologise in 33% of responses, yet 59% of those apologies accompany maintenance of the original claim. They transfer authority most often in advice tasks, doing so in 28% of responses and reaching 57% in health advice and 49% in legal advice, compared with 6% in fact and 3% in explanation tasks. Abandonment of the original claim ranges from 0.8% for GPT-5.2 to 40% for DeepSeek 7B, while complete replacement of the original claim is rare overall at 1.5%.
- Abstract（参考訳）: 大規模言語モデルは、ハイテイクな設定を含むアドバイスや情報ソースとしてますます使われているが、ユーザ不一致に対する反応についてはほとんど分かっていない。
ユーザが回答に挑戦すると、モデルがどのように認識的権威を管理し、ここでは知識、能力、あるいは助言する権利を主張する。
会話分析を基盤として,従来の主張の維持・変更,権限の所在,意見の不一致の社会的管理方法,そして,どのような明白な支援が提供されるかという,6つの課題の分類と,それぞれの応答を分析するための4層フレームワークを導入する。
LLM-as-judgeパイプラインを用いて、新しい2,310の制御されたチャレンジシナリオと32,340の応答のデータセットを構築し、将来の評価とベンチマーク設計が構築できる語彙を提供する。
反応の85%でユーザを検証するが、元のクレームは65%で維持する。
彼らは33%の回答を明示的に謝罪しているが、これらの謝罪の59%は元の主張の維持に付随している。
28%の回答で、57%の健康アドバイス、49%の法的アドバイスを、6%の事実と3%の説明タスクと比較すると、権限を委譲することが多い。
当初の請求項の廃止はGPT-5.2の0.8%からDeepSeek 7Bの40%まで様々である。
関連論文リスト
- How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks [60.853503196898906]
主要な物理学ベンチマークに関する低報告のスコアは、フロンティア言語モデルが高度な物理学に苦しむことを示唆している。
我々は,6つの広く使用されている物理ベンチマークでフロンティアモデルを評価し,専門家と評価することで,これらの知見を再考する。
論文 参考訳（メタデータ） (2026-09-11T16:06:50Z) - NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。
9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
論文 参考訳（メタデータ） (2026-09-07T10:22:22Z) - InsufficiencyBench: Evaluating LLM legal advice on underspecified user queries [18.0624065854059]
InsufficiencyBenchは、クエリサイドの障害をターゲットとする最初の法定ベンチマークです。
我々は3つの構造的故障モードにまたがる8つの標準的欠落要素カテゴリーの分類を定式化する。
完全なクエリを直接処理しながら、不十分なクエリに対する応答を識別し、資格付けするモデルはありません。
論文 参考訳（メタデータ） (2026-08-20T16:14:47Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳（メタデータ） (2026-05-21T17:42:07Z) - Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
既存のベンチマークは、主に質問レベルで質問をキュレートする。
ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
論文 参考訳（メタデータ） (2025-12-31T13:55:54Z) - RecGPT-V2 Technical Report [41.57739441038769]
大規模言語モデル(LLM)は、暗黙の行動パターンマッチングから明示的な意図推論へ、レコメンデータシステムを変換する大きな可能性を示している。
提案するRecGPT-V2には,暗黙的な行動パターンマッチングから明示的な意図推論へ,レコメンデータシステムを変換する4つの重要なイノベーションがある。
タオバオのオンラインA/Bテストでは、+2.98% CTR、+3.71% IPV、+2.19% TV、+11.46% NERが大幅に改善された。
論文 参考訳（メタデータ） (2025-12-16T15:40:44Z) - Self-Transparency Failures in Expert-Persona LLMs: A Large-Scale Behavioral Audit [0.0]
本研究では,ハイテイクドメインにおけるプロフェッショナルペルソナの割り当て時に,モデルが自己透明性を示すか否かを検討する。
ファイナンシャル・アドバイザー・ペルソナは最初のプロンプトで30.8%、ニューロサージョン・ペルソナはわずか3.5%だった。
これにより、仮説化された逆ゲルマン・アムネシア効果の前提条件が作成され、いくつかの領域における適切な開示により、ユーザーは高文脈への信頼を過度に一般化する。
論文 参考訳（メタデータ） (2025-11-26T16:41:49Z) - Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。
これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。
本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2025-03-06T15:36:06Z) - LLMs & Legal Aid: Understanding Legal Needs Exhibited Through User Queries [0.0]
GPT-4oをゼロショット分類に使用し,ユーザによる問題点の事実情報提供に関する質問を分類した。
ユーザニーズに対する定量的かつ質的な洞察と,LCMによるユーザエンゲージメントの理解の向上に寄与する。
論文 参考訳（メタデータ） (2025-01-03T09:12:35Z) - ExpertQA: Expert-Curated Questions and Attributed Answers [51.68314045809179]
我々は,様々な属性と事実の軸に沿って,いくつかの代表システムからの応答を人為的に評価する。
我々は32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する反応を評価する。
分析の結果は,32分野にまたがる2177の質問と,回答の検証とクレームの属性を備えた高品質な長文QAデータセットであるExpertQAである。
論文 参考訳（メタデータ） (2023-09-14T16:54:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。