論文の概要: Making LLMs Reliable When It Matters Most: A Five-Layer Architecture for High-Stakes Decisions

• arxiv url: http://arxiv.org/abs/2511.07669v1
• Date: Wed, 12 Nov 2025 01:10:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.419127
• Title: Making LLMs Reliable When It Matters Most: A Five-Layer Architecture for High-Stakes Decisions
• Title（参考訳）: LLMの信頼性を高める - 高い意思決定のための5層アーキテクチャ
• Authors: Alejandro R. Jadad,
• Abstract要約: 現在の大規模言語モデル(LLM)は、実行前にアウトプットをチェックできるが、不確実な結果を伴う高い戦略決定には信頼性が低い検証可能な領域で優れている。 このギャップは、人間と人工知能(AI)システムの相互認知バイアスによって引き起こされ、そのセクターにおける評価と投資の持続可能性の保証を脅かす。 本報告では、7つのフロンティアグレードLDMと3つの市場向けベンチャーヴィグネットの時間的圧力下での系統的質的評価から生まれた枠組みについて述べる。
• 参考スコア（独自算出の注目度）: 51.56484100374058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current large language models (LLMs) excel in verifiable domains where outputs can be checked before action but prove less reliable for high-stakes strategic decisions with uncertain outcomes. This gap, driven by mutually reinforcing cognitive biases in both humans and artificial intelligence (AI) systems, threatens the defensibility of valuations and sustainability of investments in the sector. This report describes a framework emerging from systematic qualitative assessment across 7 frontier-grade LLMs and 3 market-facing venture vignettes under time pressure. Detailed prompting specifying decision partnership and explicitly instructing avoidance of sycophancy, confabulation, solution drift, and nihilism achieved initial partnership state but failed to maintain it under operational pressure. Sustaining protective partnership state required an emergent 7-stage calibration sequence, built upon a 4-stage initialization process, within a 5-layer protection architecture enabling bias self-monitoring, human-AI adversarial challenge, partnership state verification, performance degradation detection, and stakeholder protection. Three discoveries resulted: partnership state is achievable through ordered calibration but requires emergent maintenance protocols; reliability degrades when architectural drift and context exhaustion align; and dissolution discipline prevents costly pursuit of fundamentally wrong directions. Cross-model validation revealed systematic performance differences across LLM architectures. This approach demonstrates that human-AI teams can achieve cognitive partnership capable of preventing avoidable regret in high-stakes decisions, addressing return-on-investment expectations that depend on AI systems supporting consequential decision-making without introducing preventable cognitive traps when verification arrives too late.
• Abstract（参考訳）: 現在の大規模言語モデル(LLM)は、実行前にアウトプットをチェックできるが、不確実な結果を伴う高い戦略決定には信頼性が低い検証可能な領域で優れている。 このギャップは、人間と人工知能(AI)システムの両方における認知バイアスの相互強化によって引き起こされ、そのセクターにおける評価と投資の持続可能性の維持を脅かす。 本報告では、7つのフロンティアグレードLDMと3つの市場向けベンチャーヴィグネットの時間的圧力下での系統的質的評価から生まれた枠組みについて述べる。 詳細は、決定パートナーシップの特定を急ぐとともに、梅毒、燃焼、溶液漂流、ニヒリズムの回避を明示的に指示し、初期のパートナーシップ状態は達成したが、運用圧力下では維持できなかった。 保護パートナーシップ状態を維持するためには、バイアス自己監視、人間とAIの敵対的課題、パートナーシップ状態検証、パフォーマンス劣化検出、ステークホルダ保護を可能にする5層保護アーキテクチャにおいて、4段階初期化プロセスに基づいて構築された緊急7段階キャリブレーションシーケンスが必要である。 3つの発見は、協調状態は秩序的な校正によって達成できるが、緊急の保守プロトコルを必要とすること、信頼性はアーキテクチャのドリフトとコンテキストの枯渇が整ったときに低下すること、そして溶解の規律は、根本的な間違った方向をコスト的に追求するのを防ぐこと、である。 クロスモデル検証により、LLMアーキテクチャ間での系統的な性能差が明らかになった。 このアプローチは、人間とAIのチームが高い意思決定における回避可能な後悔を防ぐことができる認知パートナーシップを達成できることを示し、検証が遅すぎるときに予防可能な認知トラップを導入することなく、連続的な意思決定をサポートするAIシステムに依存する、投資対投資の期待に対処する。

関連論文リスト

• Confidence-Based Response Abstinence: Improving LLM Trustworthiness via Activation-Based Uncertainty Estimation [7.3923284353934875]
  本稿では,大規模言語モデル(LLM)出力の正しさと密接に一致したRAGシステムにおける信頼度推定手法を提案する。 提案手法は、生のフィードフォワードネットワーク(FFN)を自己回帰信号として活用することにより、事前の不確実性定量化手法を拡張した。 我々の結果は、アクティベーションに基づく信頼度モデリングが、信頼性の高いRAGデプロイメントへのスケーラブルでアーキテクチャを意識したパスを提供することを示した。
  論文  参考訳（メタデータ） (2025-10-15T16:55:56Z)
• Benchmarking is Broken -- Don't Let AI be its Own Judge [22.93026946593552]
  私たちは、AIを評価するための現在のlaissez-faireアプローチは持続不可能である、と論じます。 PeerBenchは、コミュニティが管理し、熟達した評価青写真である。 私たちのゴールは、完全性を回復し、真に信頼できるAI進歩の手段を提供するための評価の道を開くことです。
  論文  参考訳（メタデータ） (2025-10-08T21:41:37Z)
• Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.5823259429128]
  本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。 我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。 私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
  論文  参考訳（メタデータ） (2025-08-12T09:42:56Z)
• Meta-Sealing: A Revolutionizing Integrity Assurance Protocol for Transparent, Tamper-Proof, and Trustworthy AI System [0.0]
  この研究は、AIシステムの整合性検証を根本的に変更する暗号フレームワークであるMeta-Sealingを紹介する。 このフレームワークは、高度な暗号と分散検証を組み合わせることで、数学的厳密さと計算効率の両方を達成する、暗黙の保証を提供する。
  論文  参考訳（メタデータ） (2024-10-31T15:31:22Z)
• Trustworthy AI [75.99046162669997]
  入力データの小さな敵対的変化への脆さ、決定の説明能力、トレーニングデータのバイアスに対処する能力は、最も顕著な制限である。 我々は,AIシステムに対するユーザおよび公的な信頼を高める上での6つの重要な問題に対処するために,信頼に値するAIに関するチュートリアルを提案する。
  論文  参考訳（メタデータ） (2020-11-02T20:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。