論文の概要: From Sycophancy to Sensemaking: Premise Governance for Human-AI Decision Making
- arxiv url: http://arxiv.org/abs/2602.02378v1
- Date: Mon, 02 Feb 2026 17:42:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:34.329613
- Title: From Sycophancy to Sensemaking: Premise Governance for Human-AI Decision Making
- Title(参考訳): サイコファシーからセンスメイキングへ:人間-AI意思決定のためのガバナンスを前提に
- Authors: Raunak Jain, Mudita Khurana, John Stephens, Srinivas Dharmasanam, Shankar Venkataraman,
- Abstract要約: 低フリクションアシスタントはサイコファンになり、暗黙の仮定を叩き、検証コストを専門家に押し付ける。
我々は、信頼できる人間とAIのパートナーシップには、回答生成から共同前提ガバナンスへの移行が必要であると主張している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As LLMs expand from assistance to decision support, a dangerous pattern emerges: fluent agreement without calibrated judgment. Low-friction assistants can become sycophantic, baking in implicit assumptions and pushing verification costs onto experts, while outcomes arrive too late to serve as reward signals. In deep-uncertainty decisions (where objectives are contested and reversals are costly), scaling fluent agreement amplifies poor commitments faster than it builds expertise. We argue reliable human-AI partnership requires a shift from answer generation to collaborative premise governance over a knowledge substrate, negotiating only what is decision-critical. A discrepancy-driven control loop operates over this substrate: detecting conflicts, localizing misalignment via typed discrepancies (teleological, epistemic, procedural), and triggering bounded negotiation through decision slices. Commitment gating blocks action on uncommitted load-bearing premises unless overridden under logged risk; value-gated challenge allocates probing under interaction cost. Trust then attaches to auditable premises and evidence standards, not conversational fluency. We illustrate with tutoring and propose falsifiable evaluation criteria.
- Abstract(参考訳): LLMが援助から意思決定支援へと拡大するにつれて、危険なパターンが出現する。
低フリクションアシスタントはサイコファンになり、暗黙の仮定を焼き、検証コストを専門家に押し付け、結果が報奨信号として機能するには遅すぎる。
深い不確実性の決定(目的が争われ、逆転がコストがかかる)において、スケーラブルな合意は、専門知識を構築するよりも早く、低いコミットメントを拡大します。
我々は、信頼できる人間とAIのパートナーシップは、回答生成から知識基盤よりも協調的な前提ガバナンスへ移行し、決定クリティカルなもののみを交渉する必要があると論じている。
矛盾を検知し、型付き不一致 (teleological, epistemic, procedural) を介して不一致を局所化し、決定スライスを介して境界交渉を引き起こす。
コミットゲーティングは、ログされたリスクの下でオーバーライドされない限り、コミットされていない負荷を持つ前提でアクションをブロックします。
信頼は、会話の流布ではなく、監査可能な前提と証拠基準に付着する。
本稿では,教師の指導と評価基準の提案を行う。
関連論文リスト
- Drift-Bench: Diagnosing Cooperative Breakdowns in LLM Agents under Input Faults via Multi-Turn Interaction [20.610305266852638]
textbfDrift-Benchは、入力故障下でエージェントの実用性を評価する最初の診断ベンチマークである。
方法ブリッジは、安全でない実行に繋がる障害の体系的な診断を可能にする、明確化研究とエージェントの安全性評価を橋渡しする。
論文 参考訳(メタデータ) (2026-02-02T18:46:16Z) - Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。
プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
論文 参考訳(メタデータ) (2026-01-23T17:17:32Z) - Making LLMs Reliable When It Matters Most: A Five-Layer Architecture for High-Stakes Decisions [51.56484100374058]
現在の大規模言語モデル(LLM)は、実行前にアウトプットをチェックできるが、不確実な結果を伴う高い戦略決定には信頼性が低い検証可能な領域で優れている。
このギャップは、人間と人工知能(AI)システムの相互認知バイアスによって引き起こされ、そのセクターにおける評価と投資の持続可能性の保証を脅かす。
本報告では、7つのフロンティアグレードLDMと3つの市場向けベンチャーヴィグネットの時間的圧力下での系統的質的評価から生まれた枠組みについて述べる。
論文 参考訳(メタデータ) (2025-11-10T22:24:21Z) - The Epistemic Suite: A Post-Foundational Diagnostic Methodology for Assessing AI Knowledge Claims [0.7233897166339268]
本稿では,AI出力の生成と受信の状況を理解するための診断手法であるEpistemic Suiteを紹介する。
真実や虚偽を判断する代わりに、スイートは20個の診断レンズを通して、信頼の洗浄、物語の圧縮、異動した権威、一時的な漂流などのパターンを明らかにする。
論文 参考訳(メタデータ) (2025-09-20T00:29:38Z) - Information Bargaining: Bilateral Commitment in Bayesian Persuasion [60.3761154043329]
長期的説得のための統一的なフレームワークとよく構造化されたソリューションの概念を導入する。
この視点はゲーム構造の共通知識を明確にし、レシーバに匹敵するコミットメント能力を与える。
このフレームワークは、2段階の検証と推論のパラダイムによって検証される。
論文 参考訳(メタデータ) (2025-06-06T08:42:34Z) - Debate, Deliberate, Decide (D3): A Cost-Aware Adversarial Framework for Reliable and Interpretable LLM Evaluation [0.0]
本稿では、役割特化エージェント間の構造的議論を組織化する、費用対効果のある多エージェントフレームワークであるDebate, Deliberate, Decide(D3)を紹介する。
我々は,反復的議論の下で信頼性と収束性を特徴付けるスコアギャップの確率論的モデルを開発する。
我々は,人間の判断に対する最先端の合意,匿名化による位置バイアスと冗長性バイアスの低減,そして,適切な費用対精度のフロンティアを示す。
論文 参考訳(メタデータ) (2024-10-07T00:22:07Z) - Multi-Agent Imitation Learning: Value is Easy, Regret is Hard [52.31989962031179]
我々は,エージェント群を協調させようとする学習者の視点で,マルチエージェント模倣学習(MAIL)問題を研究する。
MAILの以前の作業のほとんどは、基本的には、デモのサポート内で専門家の振る舞いにマッチする問題を減らすものです。
エージェントが戦略的でないという仮定の下で、学習者と専門家の間の価値ギャップをゼロにするのに十分であるが、戦略的エージェントによる逸脱を保証するものではない。
論文 参考訳(メタデータ) (2024-06-06T16:18:20Z) - Online Decision Mediation [72.80902932543474]
意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。
臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
論文 参考訳(メタデータ) (2023-10-28T05:59:43Z) - `Why didn't you allocate this task to them?' Negotiation-Aware
Explicable Task Allocation and Contrastive Explanation Generation [19.265913720022574]
交渉をシミュレートする中央人工知能タスク割り当て(AITA)を提案する。
チームメンバーが提案されたアロケーションに不満を抱いている場合、そのアロケーションに反事実を使って疑問を呈することができる。
提案手法を用いて提案したアロケーションは, 多数派に公平に見え, 反事実が生じると, 説明が容易に理解され, 納得できることを示す。
論文 参考訳(メタデータ) (2020-02-05T04:58:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。