論文の概要: The safety failures we are not instrumenting: a perspective on hidden safety-critical challenges in modern AI systems

• arxiv url: http://arxiv.org/abs/2607.19292v1
• Date: Tue, 21 Jul 2026 17:02:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.497143
• Title: The safety failures we are not instrumenting: a perspective on hidden safety-critical challenges in modern AI systems
• Title（参考訳）: 私たちが実施していない安全上の失敗 : 現代のAIシステムにおける隠れた安全クリティカルな課題
• Abstract要約: デプロイされたシステムでは、最も連続的な障害の多くは、目覚ましいよりも静かで、単一のアウトプットに局所化するのではなく、コンポーネントに分散し、障害として認識される前にエコシステムによって正規化される。 現代のAIシステムにおける中心的な安全性の課題は、モデルが有害な応答を放出するかどうかだけではなく、より広範な社会技術システムが、エラーが可視で、競合可能で、封じ込め可能で、回復可能な状態を維持しているかどうかである。
• 参考スコア（独自算出の注目度）: 26.594498540217568
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current AI safety discourse still focuses disproportionately on visible failures, including obvious harms, dramatic misuse, and hypothetical catastrophic scenarios. That focus is incomplete. In deployed systems, many of the most consequential failures are quieter: plausible rather than spectacular, distributed across components rather than localized in a single output, and normalized by workflows before they are recognized as hazards. We argue that a central safety challenge in modern AI systems is increasingly not only whether a model emits a harmful response, but whether the broader socio-technical system preserves the conditions under which errors remain visible, contestable, containable, and recoverable. We propose a five-layer framework for diagnosing these hidden risks: (1) epistemic integrity, concerning whether evidence and uncertainty are represented honestly enough to support calibrated reliance; (2) control integrity, concerning whether authority, permissions, and action boundaries remain robust under attack and optimization; (3) temporal integrity, concerning whether safety holds across sessions, memory updates, and deployment drift; (4) organizational integrity, concerning whether institutions retain the capacity to audit, assign responsibility, and intervene effectively; and (5) ecosystem integrity, concerning whether AI systems preserve rather than erode the information environment on which future oversight depends. Across these layers, we identify under-recognized risk patterns, including overreliance, uncertainty and legitimacy laundering in retrieval, prompt injection, reward hacking, memory poisoning, evaluation deception, fictional human oversight, synthetic evidence pollution, and model collapse. We conclude with design and governance recommendations and a research agenda for shifting AI safety from model-centric evaluation toward socio-technical reliability.
• Abstract（参考訳）: 現在のAIの安全性に関する談話は、明らかな害、劇的な誤用、仮説上の破滅的なシナリオなど、目に見える失敗に相変わらず焦点を当てている。 その焦点は不完全です。 デプロイされたシステムでは、最も頻繁な障害の多くはより静かで、目覚ましいものではなく、単一のアウトプットにローカライズされるのではなく、コンポーネントに分散し、ハザードとして認識される前にワークフローによって正規化される。 現代のAIシステムにおける中心的な安全性の課題は、モデルが有害な応答を出力するかどうかだけでなく、より広範な社会技術システムが、エラーが可視性、競合性、封じ込め可能、そして回復可能な状態を維持しているかどうかという問題だ、と我々は論じている。 これらの隠れたリスクを診断するための5階層の枠組みを提案する。(1)証拠と不確実性が正当に評価されるかどうかについての認識的整合性、(2)権限、許可、行動境界に関する制御的整合性、(3)攻撃と最適化の下で堅牢であるかどうかの制御的整合性、(3)セッション間で安全が維持されるかどうかの時間的整合性、(4)組織的整合性、機関が監査、責任の割り当て、介入を効果的に維持する能力を保持するか、(5)AIシステムが依存する情報環境を損なわないかというエコシステム的整合性。 これらの階層にまたがって、過剰信頼、不確実性、検索における正当性洗浄、即時注入、報酬ハッキング、メモリ中毒、評価詐欺、架空の人間の監視、合成証拠汚染、モデル崩壊など、認識されていないリスクパターンを識別する。 我々は、設計とガバナンスの勧告と、AIの安全性をモデル中心の評価から社会技術的信頼性に移行するための研究課題で締めくくります。

関連論文リスト

• Towards Trustworthy Embodied Intelligence: A Systems Framework and Graded Trustworthiness Levels [53.63220028820581]
  身体的知性は、学習した知覚と意思決定をリアルタイムの計算、制御、物理的相互作用と統合する。 我々は,信頼に値するインテリジェンスを,特定のタスクを確実に実行するための持続能力として定義する。
  論文  参考訳（メタデータ） (2026-07-28T17:50:44Z)
• Epistemic Norms for AI Safety and Alignment Research [0.989901717499058]
  2つの領域は2つの解析的に独立な軸に沿って異なると主張する。 sc ECAISAは、あらゆるAIシステムが安全であることを証明していない。
  論文  参考訳（メタデータ） (2026-07-27T10:22:46Z)
• Detecting Is Not Resolving: The Monitoring Control Gap in Retrieval Augmented LLMs [20.59321114618083]
  単一ターン診断はRAGの安全性を体系的に過大評価し、矛盾は安全な解決法とは無関係であり、普遍的な即時修正は存在しないことを示した。 モデルが認識するものと何をするかのギャップは、検索強化されたシステムが高レベルな設定で信頼される前に測定され、クローズされなければならない。
  論文  参考訳（メタデータ） (2026-05-26T15:18:43Z)
• Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
  エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。 この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。 各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
  論文  参考訳（メタデータ） (2026-05-17T10:26:37Z)
• What Breaks Embodied AI Security:LLM Vulnerabilities, CPS Flaws,or Something Else? [28.12412876058788]
  身体化されたAIシステムは、制御された環境から安全クリティカルな現実世界へのデプロイへと急速に移行している。 インボディードAIとは異なり、インボディードインテリジェンスにおける失敗は、不可逆的な物理的結果をもたらす。 我々は,実施によるシステムレベルのミスマッチから,重大な障害が生じることを論じる。
  論文  参考訳（メタデータ） (2026-02-19T13:29:00Z)
• Beyond single-channel agentic benchmarking [0.0]
  本稿では,AIエージェントを分離して評価することで,人間のループ環境に配置した場合の運用上の安全性が低下すると主張している。 にもかかわらず、不完全なAIシステムでさえ、十分に文書化された人間の失敗の原因に対して冗長な監査レイヤーとして機能することで、かなりの安全性を提供することができる。
  論文  参考訳（メタデータ） (2026-02-05T08:22:02Z)
• The Shadow Self: Intrinsic Value Misalignment in Large Language Model Agents [37.75212140218036]
  コントロの損失リスクを定式化し、これまで過小評価されていた内因性価値の相違(内因性VM)を識別する。 次に、このリスクを体系的に評価するシナリオ駆動フレームワークであるIMPRESSを紹介します。 我々は,21種類のLLMエージェント上での固有のVMの評価を行い,モデル間での安全性のリスクが広く見られることを発見した。
  論文  参考訳（メタデータ） (2026-01-24T07:09:50Z)
• AI Deception: Risks, Dynamics, and Controls [153.71048309527225]
  このプロジェクトは、AI偽装分野の包括的で最新の概要を提供する。 我々は、動物の偽装の研究からシグナル伝達理論に基づく、AI偽装の正式な定義を同定する。 我々は,AI偽装研究の展望を,偽装発生と偽装処理の2つの主要な構成要素からなる偽装サイクルとして整理する。
  論文  参考訳（メタデータ） (2025-11-27T16:56:04Z)
• Making LLMs Reliable When It Matters Most: A Five-Layer Architecture for High-Stakes Decisions [51.56484100374058]
  現在の大規模言語モデル(LLM)は、実行前にアウトプットをチェックできるが、不確実な結果を伴う高い戦略決定には信頼性が低い検証可能な領域で優れている。 このギャップは、人間と人工知能(AI)システムの相互認知バイアスによって引き起こされ、そのセクターにおける評価と投資の持続可能性の保証を脅かす。 本報告では、7つのフロンティアグレードLDMと3つの市場向けベンチャーヴィグネットの時間的圧力下での系統的質的評価から生まれた枠組みについて述べる。
  論文  参考訳（メタデータ） (2025-11-10T22:24:21Z)
• Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.5823259429128]
  本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。 我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。 私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
  論文  参考訳（メタデータ） (2025-08-12T09:42:56Z)
• An Approach to Technical AGI Safety and Security [72.83728459135101]
  我々は、人類を著しく傷つけるのに十分な害のリスクに対処するアプローチを開発する。 私たちは、誤用や悪用に対する技術的なアプローチに重点を置いています。 これらの成分を組み合わせてAGIシステムの安全性を実現する方法について概説する。
  論文  参考訳（メタデータ） (2025-04-02T15:59:31Z)
• OCCUQ: Exploring Efficient Uncertainty Quantification for 3D Occupancy Prediction [9.742801351723482]
  現在の方法は、敵条件や分布シフトに起因する不確実性を見落としていることが多い。 本稿では,3次元占有予測のための不確実性推定手法を効率的に適用することを提案する。 本手法は、自律運転システムの堅牢性を高める可能性を示すとともに、信頼性の高い不確実性対策を一貫して示している。
  論文  参考訳（メタデータ） (2025-03-13T17:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。