論文の概要: Evaluating Whether GPT-6 Astra Performs Unsanctioned Supply-Chain Attacks

• arxiv url: http://arxiv.org/abs/2609.38415v1
• Date: Tue, 29 Sep 2026 19:09:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.625439
• Title: Evaluating Whether GPT-6 Astra Performs Unsanctioned Supply-Chain Attacks
• Title（参考訳）: GPT-6アストラが無許可のサプライチェーン攻撃を行うかどうかの評価
• Abstract要約: 我々は、フロンティアモデルが、困難なサイバーセキュリティの課題に置かれている場合、スコープ外、サードパーティのターゲットに対してサプライチェーン攻撃を行うかどうかを評価する。 我々の手法を GPT-6 Astra および以前の OpenAI モデルに適用すると、GPT-6 Astra は GPT-5.6 Sol と GPT-5.5 よりも高い速度でシミュレーションで完全なサプライチェーン攻撃を試みていることがわかった。 以上の結果から,サンドボックスやモニタリングなどのモデルアライメントを越えた防御は,安全かつ安全なデプロイメントにおいてますます重要になっていることが示唆された。
• 参考スコア（独自算出の注目度）: 40.16647985759823
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This technical report presents an alignment evaluation developed and performed by the UK AI Security Institute for assessing whether advanced AI systems take unsanctioned actions outside the scope of their assigned task. We evaluate whether frontier models conduct supply-chain attacks against out-of-scope, third-party targets when placed in difficult cybersecurity challenges, motivated by recently observed cases of models attacking real open-source repositories during evaluations. Applying our methods to GPT-6 Astra and previous OpenAI models, with cyber safeguards disabled, we find that GPT-6 Astra attempts complete supply-chain attacks in simulation at a higher rate than GPT-5.6 Sol and GPT-5.5. This includes writing malicious code as a contribution to an out-of-scope open-source codebase, creating fake identities to deceive open-source developers, and submitting benign contributions before malicious ones. GPT-6 Astra frequently reasons about the scope of the challenge in its chain-of-thought yet still proceeds to attack out-of-scope targets; it often asks for permission, and treats an automated message as as authorisation; and it continues to take unsanctioned actions, at a reduced rate, when internet access is more explicitly disallowed. Our evaluation builds on an internal version of Petri, an open-source LLM auditing tool, with all tool calls simulated by other LLMs, so that no real network access, systems or third-party repositories are reachable and no real-world harm is caused. Finally, we discuss limitations, in particular simulation awareness. We believe simulation awareness may have driven some of the observed behaviour but does not remove our concern. Our results suggest that defences beyond model alignment, such as sandboxing and monitoring, are increasingly critical for safe and secure deployment.
• Abstract（参考訳）: 本技術報告では、高度AIシステムが割り当てられたタスクの範囲外において無許可の行動をとるかどうかを評価するために、英国AIセキュリティ研究所が開発・実施したアライメント評価を提示する。 我々は、フロンティアモデルが、調査中の実際のオープンソースリポジトリを攻撃しているモデルが最近観察されたケースによって動機づけられた、困難なサイバーセキュリティ課題に置かれた場合、スコープ外、サードパーティのターゲットに対してサプライチェーン攻撃を行うかどうかを評価する。 我々の手法をGPT-6 Astraおよび以前のOpenAIモデルに適用し、サイバーセーフガードを無効にすることで、GPT-6 AstraはGPT-5.6 SolとGPT-5.5よりも高い速度でシミュレーションで完全なサプライチェーン攻撃を試みていることがわかった。 これには、スコープ外オープンソースコードベースへのコントリビューションとして悪意のあるコードを書くこと、オープンソース開発者を騙すために偽のIDを作成すること、悪意のあるコードベースよりも優れたコントリビューションを提出することが含まれる。 GPT-6 アストラは、そのチェーン・オブ・シークレットにおける課題の範囲をしばしば理由付けているが、それでもスコープ外のターゲットを攻撃し、しばしば許可を求め、自動化されたメッセージを認可として扱う。 我々の評価は、オープンソースのLCM監査ツールであるPetriの内部バージョンの上に構築されており、全てのツールコールが他のLCMによってシミュレートされているため、実際のネットワークアクセス、システム、サードパーティリポジトリが到達できなくなり、現実世界の被害は発生しない。 最後に,制約,特にシミュレーション意識について論じる。 シミュレーションの認識が観察された行動の一部を引き起こしたかもしれないが、私たちの懸念は取り除かれていない。 以上の結果から,サンドボックスやモニタリングなどのモデルアライメントを越えた防御は,安全かつ安全なデプロイメントにおいてますます重要になっていることが示唆された。

関連論文リスト

• 5G-Shark: A Network Security Auditor for 5G Subscriber Privacy and Unauthenticated Signalling Resilience [11.39113372118659]
  5G-Sharkは、加入者に対して合法的なモビリティ手順を転換するセキュリティアセスメントツールであり、方法論である。 5G-Sharkは、アクティブなジャミングや不正なパッケージ注入に頼るのではなく、標準化されたセル選択基準を操作して、ターゲットのユーザ機器を自作したローグセルにプルする。 5G-SharkはオープンソーススタックとSoftware Defined Radioハードウェアから構築され、サブスクライバ識別子をリクエストし、人工登録リジェクトコードを通じてRadio Access Technologyをダウングレードさせ、サービス停止状態を引き起こす。
  論文  参考訳（メタデータ） (2026-09-21T14:24:37Z)
• AI Slop and Hallucinations in Vulnerability Assessment: A Survey on Reasoning Failures and Trustworthy Mitigation [48.55515767840701]
  AIスロープ(AI slop)は、アーティファクト、幻覚的脆弱性、可視だが正しくないパッチ、セマンティックに再パッケージされたバグレポートである。 本稿では,実証的証拠を調査し,統一メカニズムを特定し,信頼に値するトリアージへの道筋をたどる。
  論文  参考訳（メタデータ） (2026-08-26T11:48:38Z)
• CyberFactory: Scaling Cyber Security Capabilities with Instances from the Wild [49.44069582581181]
  CyberFactoryは、CVEを含む公開脆弱性アーティファクトをワイルドから実行可能で検証可能なタスクインスタンスに変換する。 再利用可能な脆弱性分析スキルを使用して、ソースインスペクション、ドメイン前の問題解決、エビデンスベースのバリデーションを通じて教師を指導する。 CyberGymでは1時間の予算で52.4%のPass@1に達し、Qwen3.5ベースモデルを+22.8ポイント改善した。
  論文  参考訳（メタデータ） (2026-08-24T12:30:10Z)
• Steering LLM Viewpoints through Fabricated Evidence Injection [61.22850755490993]
  提案手法では,2段階のアタック・フレームワークを導入し,まず構成された有理数で誤解を招く文を再パッケージし,関連する問合せに応答する上で,これらの視点を組み込むことを目標LLMに指示する。 BBQ、ToxiGen、および我々の特別なデータセットの実験により、外部安全分類器を持たない商用LLMは、非常に脆弱であることが判明した。 そこで我々は,複数の防衛戦略について検討し,その中のひとつとして,gpt-oss-safeguardが81%の検知率を達成した。
  論文  参考訳（メタデータ） (2026-06-04T14:48:23Z)
• A New Framework for Cybersecurity Refusals in AI Agents [52.94784168139071]
  攻撃的セキュリティの文脈において、拒絶境界を確立するための最初の枠組みを提示する。 本研究では,現在のLLMエージェントがWebベースの攻撃的セキュリティシナリオにおいて,適切な拒絶境界にどのように準拠しているかを評価するために,このフレームワークを適用した。
  論文  参考訳（メタデータ） (2026-05-31T15:39:39Z)
• When the Manual Lies: A Realistic Benchmark to Evaluate MCP Poisoning Attacks for LLM Agents [43.702131498259384]
  本稿では,新しいセマンティックアタックであるTDP(Tool Description Poisoning)を体系的に検討する。 TDPでは、悪意のある命令はツールの実行可能なコードに埋め込まれず、記述的なメタデータに隠蔽的に注入される。 この研究は、TDP用に調整された最初の特別なセキュリティベンチマークを提供し、高度なエージェントシステムの認知層と計画層の確保に不可欠な洞察を提供する。
  論文  参考訳（メタデータ） (2026-05-22T08:34:48Z)
• T-MAP: Red-Teaming LLM Agents with Trajectory-aware Evolutionary Search [49.99459363244884]
  提案手法は, 対向的プロンプトの発見を導くために, 実行トラジェクトリを利用するトラジェクトリ対応の進化探索手法であるT-MAPを提案する。 本手法は,安全ガードレールをバイパスするだけでなく,実際のツールインタラクションによる有害な目標を確実に実現するための攻撃の自動生成を可能にする。
  論文  参考訳（メタデータ） (2026-03-21T12:33:34Z)
• SAGE-5GC: Security-Aware Guidelines for Evaluating Anomaly Detection in the 5G Core Network [10.75690780447407]
  本研究では,現実的な配置設定に焦点をあて,野生の5G攻撃をテキスト化する問題について検討する。 5Gコアネットワーク(SAGE-5GC)における異常検出のためのセキュリティ意識ガイドラインのセットを提案する。 現実的な5G Coreデータセットを用いて、まず複数の異常検知器を訓練し、標準の5GC制御プレーンサイバー攻撃に対してベースライン性能を評価する。 そこで,攻撃者はネットワークトラフィックの可観測的特徴を操作して検出を回避しようとする。
  論文  参考訳（メタデータ） (2026-02-03T14:50:19Z)
• Bridging AI and Software Security: A Comparative Vulnerability Assessment of LLM Agent Deployment Paradigms [1.03121181235382]
  大規模言語モデル(LLM)エージェントは、AI固有の旧来のソフトウェアドメインにまたがるセキュリティ上の脆弱性に直面している。 本研究では,Function Calling アーキテクチャと Model Context Protocol (MCP) デプロイメントパラダイムの比較評価を通じて,このギャップを埋める。 私たちは7つの言語モデルにわたる3,250の攻撃シナリオをテストし、AI固有の脅威とソフトウェア脆弱性の両方を対象として、シンプルで、構成され、連鎖した攻撃を評価しました。
  論文  参考訳（メタデータ） (2025-07-08T18:24:28Z)
• ASPIRER: Bypassing System Prompts With Permutation-based Backdoors in LLMs [17.853862145962292]
  システムプロンプトを体系的に回避する新しいバックドアアタックを導入する。 本手法は,98.58%のクリーン精度(CACC)を維持しつつ,攻撃成功率(ASR)を99.50%まで達成する。
  論文  参考訳（メタデータ） (2024-10-05T02:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。