論文の概要: Reward Hacking and Agent Containment Failure: A Monte Carlo Study Based on the 2026 Hugging Face Incident

• arxiv url: http://arxiv.org/abs/2609.32390v1
• Date: Sat, 26 Sep 2026 09:08:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 17:15:15.755646
• Title: Reward Hacking and Agent Containment Failure: A Monte Carlo Study Based on the 2026 Hugging Face Incident
• Title（参考訳）: Reward Hacking and Agent Containment failure: Monte Carlo Study on the 2026 Hugging Face Incident
• Abstract要約: 2026年7月、Hugging Faceの生産インフラへの侵入は、ハッキングが外部のサイバーセキュリティインシデントになる可能性を示した。 本研究では、報酬ハッキング、封じ込め回避、使用可能なアクセス、永続性、検出の失敗の5段階をリンクする確率論的リスクモデルを開発する。 感度分析は、監視、認可、信用管理におけるエージェント能力と弱点が、モデル化されたリスクに最も大きな影響を与えることを示している。
• 参考スコア（独自算出の注目度）: 0.10923877073891443
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The July 2026 intrusion into Hugging Face production infrastructure showed how reward hacking can become an external cybersecurity incident when a capable agent encounters weak containment boundaries. This study develops a probabilistic risk model linking five stages: reward hacking, containment escape, usable access, persistence, and failure of detection. A Monte Carlo simulation evaluates 100,000 runs under each of four control configurations. Input distributions represent explicit uncertainty and are used for comparative analysis rather than real-world frequency prediction. Under the stated assumptions, layered controls reduce simulated external-incident probability substantially more than network isolation or monitoring used alone, an ordering that holds under independent plus/minus 25% perturbation of every coefficient in the model across 300 draws. Sensitivity analysis shows that agent capability and weaknesses in monitoring, authorization, and credential control exert the greatest influence on modeled risk. Human temporal discounting and metric gaming provide a behavioral analogy for short-horizon optimization, but the study does not infer that AI agents experience gratification or human motivation. The results support treating cyber-capable agent evaluations as hostile security zones in which indirect egress, shared infrastructure, credentials, and evaluation artifacts must remain outside the agent's effective authority.
• Abstract（参考訳）: 2026年7月、Hugging Faceの生産インフラへの侵入は、有能なエージェントが弱い封じ込め境界に遭遇した場合、報酬のハッキングが外部のサイバーセキュリティインシデントにどのようになり得るかを示した。 本研究では、報酬ハッキング、封じ込め回避、使用可能なアクセス、永続性、検出の失敗の5段階をリンクする確率論的リスクモデルを開発する。 モンテカルロシミュレーションは、4つの制御構成のそれぞれの下で10,000回の実行を評価する。 入力分布は明らかな不確実性を表し、実世界の周波数予測よりも比較分析に使用される。 上述した仮定の下では、層状制御は、ネットワーク分離または単独で使用される監視よりも、シミュレーションされた外部入射確率を実質的に減少させ、300の描画にまたがるモデル内の全ての係数の独立プラス/マイナス25%の摂動を抑える。 感度分析は、監視、認可、信用管理におけるエージェント能力と弱点が、モデル化されたリスクに最も大きな影響を与えることを示している。 人間の時間的割引とメートル法ゲームは、短期水平最適化の行動類似性を提供するが、この研究はAIエージェントが満足感や人間のモチベーションを経験していることを推測していない。 その結果、サイバー能力のあるエージェント評価を、間接的な攻撃、共有インフラストラクチャ、認証、評価アーティファクトがエージェントの効果的な権限外にあるような敵対的なセキュリティゾーンとして扱うことを支援する。

関連論文リスト

• Operational Range Bounding in Spectroscopy: A Safety Cage Framework for Machine Learning Models [0.6908439820101059]
  本研究では,並列監視層として機能するモジュール型安全ケージアーキテクチャを評価し,予測の有効性を評価する。 単一のインジケータがすべての障害モードをキャプチャし、インジケータの融合の必要性を示す。 形式化されたカバレッジリスクフレームワークを用いて、リスクレベルの精度を最大化する構成を特定するために、インジケータの組み合わせの体系的分析を行う。
  論文  参考訳（メタデータ） (2026-09-11T20:32:01Z)
• EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents [74.54929751174289]
  EvoSafeHarnessは、ターゲットドメイン内の凍結モデルのためのデプロイ可能なハーネスを合成する、安全固有の最適化フレームワークである。 これは平均攻撃成功率を3.3ポイントのユーティリティコストで45.6%から10.0%に下げる。 また、Agent-SafetyBenchでは、すべての犠牲者に対してベストスコアを獲得している。
  論文  参考訳（メタデータ） (2026-09-05T05:56:41Z)
• Beyond Detection: Evaluating Defensive LLMs Against AI-Generated Social Engineering in Live Turn-by-Turn Interaction [42.06723421277899]
  ジェネレーティブAIは、ソーシャルエンジニアリングアタックをより流動的で適応的でスケーラブルにする。 我々は信頼連鎖のローカライゼーションを形式化し、アクターの権限、資産管理、検証効率、トランザクションパスで相互作用が失敗するかどうかを特定する。 我々は,20のシナリオファミリー,正当なケース,4つの構造的故障モード,および3つの表面状態にまたがる制御された300ケースのオンライン住宅コーパスを構築した。
  論文  参考訳（メタデータ） (2026-08-10T21:17:03Z)
• Decoupling Reconnaissance and Exploitation: Measuring the Capability Boundaries of LLM-Based Web Penetration Testing [8.293465530619246]
  本稿では,2段階の非結合評価フレームワークを提案する。 我々は、マルチエージェント、モノリシック、グラフ駆動アーキテクチャをカバーする、オープンソースの5つの浸透試験エージェントを実証的に評価する。
  論文  参考訳（メタデータ） (2026-06-24T02:51:58Z)
• When the Agent Is the Adversary: Architectural Requirements for Agentic AI Containment After the April 2026 Frontier Model Escape [0.0]
  本稿では,現在の封じ込めアプローチの4つのカテゴリについて分析する。 公開情報から5つの行動事象を分類し、698件の現実世界のAIスケジュールインシデントに分類する。
  論文  参考訳（メタデータ） (2026-04-25T19:41:00Z)
• Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
  我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。 内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2026-03-13T20:44:15Z)
• Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition [101.86739402748995]
  44の現実的なデプロイメントシナリオを対象とした,22のフロンティアAIエージェントを対象にしています。 Agent Red Teamingベンチマークを構築し、19の最先端モデルで評価します。 私たちの発見は、今日のAIエージェントの重要かつ永続的な脆弱性を浮き彫りにしたものです。
  論文  参考訳（メタデータ） (2025-07-28T05:13:04Z)
• AI-Driven IRM: Transforming insider risk management with adaptive scoring and LLM-based threat detection [0.31457219084519]
  インサイダーの脅威は、組織のセキュリティに重大な課題をもたらします。 IRMシステムは行動分析、動的リスクスコアリング、リアルタイムポリシー適用を統合している。 システムは偽陽性を59%減少させ、真の正検出率を30%向上させる。
  論文  参考訳（メタデータ） (2025-05-01T18:41:00Z)
• Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
  我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。 エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。 我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
  論文  参考訳（メタデータ） (2024-09-26T21:00:45Z)
• G$^2$uardFL: Safeguarding Federated Learning Against Backdoor Attacks through Attributed Client Graph Clustering [116.4277292854053]
  Federated Learning (FL)は、データ共有なしで協調的なモデルトレーニングを提供する。 FLはバックドア攻撃に弱いため、有害なモデル重みがシステムの整合性を損なう。 本稿では、悪意のあるクライアントの識別を属性グラフクラスタリング問題として再解釈する保護フレームワークであるG$2$uardFLを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:15:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。