論文の概要: Reliability Theory for AI Control
- arxiv url: http://arxiv.org/abs/2609.26419v1
- Date: Tue, 22 Sep 2026 13:49:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-24 01:05:39.67026
- Title: Reliability Theory for AI Control
- Title(参考訳): AI制御の信頼性理論
- Abstract要約: 信頼性理論は階層化されたシステムに成熟した言語を与える。
ローグデプロイメントに対するGoogle DeepMindの防御にそれを適用します。
バーンバウムの重要性は、どのコンポーネントの改善が最も名目上の信頼性を得るかを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reliability theory gives a mature language for layered systems, but its formal tools are not yet standard in frontier AI control. We apply them to Google DeepMind's defenses against rogue deployment. The same control stack can have cubic, quadratic, or linear rare-failure suppression depending on its failure domains. Birnbaum importance identifies which component improvements buy the most nominal reliability, while prevention changes the population on which recovery is demanded. These results give concrete guidance about what to separate, improve, measure, and test.
- Abstract(参考訳): 信頼性理論は階層化されたシステムに成熟した言語を提供するが、そのフォーマルなツールは、フロンティアAI制御においてまだ標準ではない。
ローグデプロイメントに対するGoogle DeepMindの防御にそれらを適用します。
同じ制御スタックは、その障害領域によって、立方体、二次体、または線形レア障害抑制を持つことができる。
バーンバウムの重要さは、どのコンポーネントの改善が最も名目上の信頼性を獲得するかを示し、一方、予防は回復が要求される人口を変化させる。
これらの結果は、何が分離し、改善し、測定し、テストすべきかに関する具体的なガイダンスを与えます。
関連論文リスト
- On the Inseparability of Instructions and Data in Shared-Embedding Sequence Models [0.0]
我々は、制御権威行動を伴うプロンプトアクションモデルとして、誘導されたシステムを定式化する。
共有パイプライン内では,SFC(Semantic-Faithful Control)が実現不可能であることを示す。
根本原因とそれが要求するソリューションのクラスを特定します。
論文 参考訳(メタデータ) (2026-06-25T21:52:29Z) - IsabeLLM: Automated Theorem Proving Applied to Formally Verifying Consensus [1.9336815376402718]
We improve on IsabeLLM, the automated proving tool in Isabelle。
Retrieval-Augmented Generation framework, Error Trace と counterexample generation を実装した。
IsabeLLMの2つのバージョンのパフォーマンスを、BitcoinのProof of Workコンセンサスの検証を完了する能力と比較する。
論文 参考訳(メタデータ) (2026-06-16T16:00:14Z) - Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。
推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。
これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
論文 参考訳(メタデータ) (2026-06-09T16:14:27Z) - Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。
推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。
10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
論文 参考訳(メタデータ) (2026-05-08T07:08:25Z) - When Can We Trust Deep Neural Networks? Towards Reliable Industrial Deployment with an Interpretability Guide [6.944960925152066]
安全クリティカルなドメインへのAIシステムのデプロイは、信頼性の欠如によって妨げられている。
誤検出された1つの誤った予測は破滅的な結果をもたらす可能性がある。
本稿では,2値欠陥検出ネットワークにおける偽陰性検出のためのポストホックな説明に基づくインジケータを提案する。
論文 参考訳(メタデータ) (2026-04-21T08:10:41Z) - CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。
静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。
LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
論文 参考訳(メタデータ) (2026-02-04T00:12:30Z) - A Mathematical Framework for AI Singularity: Conditions, Bounds, and Control of Recursive Improvement [1.932555230783329]
我々は、自己改善のための分析フレームワークを開発し、能力向上とリソースのビルトアウトとデプロイメントポリシを結びつける。
我々は、可観測級数から脱走と非特異な振る舞いの証明をYes/Noにマッピングする決定ルールを導出する。
このフレームワークは、現在のレベルに対して、高速な改善がいかに加速するかに基づいて、偽造可能なテストを生成する。
論文 参考訳(メタデータ) (2025-11-08T21:25:38Z) - Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。
我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。
我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
論文 参考訳(メタデータ) (2025-05-15T17:58:33Z) - DiffStack: A Differentiable and Modular Control Stack for Autonomous
Vehicles [75.43355868143209]
DiffStackは、予測、計画、制御のための、微分可能でモジュラーなスタックです。
nuScenesデータセットの結果から,DiffStackによるエンドツーエンドトレーニングは,オープンループおよびクローズループ計画の指標を大幅に改善することが示された。
論文 参考訳(メタデータ) (2022-12-13T09:05:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。