論文の概要: Can AI Write Compliant Code, and to What Extent? Evaluating SOC 2 Compliance of Claude Fable 5, Claude Opus 4.8, and Claude Opus 5 Across Four Use Cases

• arxiv url: http://arxiv.org/abs/2608.07776v1
• Date: Fri, 07 Aug 2026 21:48:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.511556
• Title: Can AI Write Compliant Code, and to What Extent? Evaluating SOC 2 Compliance of Claude Fable 5, Claude Opus 4.8, and Claude Opus 5 Across Four Use Cases
• Title（参考訳）: AIはコンプライアンスコードを書けるか? SOC 2準拠の評価: クロードファブル5、クロードオプス4.8、クロードオプス5の4つのユースケース
• Abstract要約: モデル選択は、少なくとも8つのセルにまたがる1つのアイテムにおいて、同世代モデルで重要である。 1つのSOC2文は、すべてのケースを86-100%、23-50ポイントに移動し、すべての安全でない構成を取り除いた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Software teams now delegate production code to language models, including code that provisions storage, handles credentials, and stores regulated data, so we asked whether a model applies the controls a SOC~2 program expects (encryption, restricted access, logging, retention) when nobody mentions security, and how much one sentence naming the standard changes the answer. We tested three frontier models (Claude Fable~5, Opus~4.8, and Opus~5) across four use cases (an S3 CLI, an authentication service, an RDS Terraform module, and a file-upload handler holding personal data), each generated once from a neutral task statement and once with a single SOC~2 sentence added, scoring all 24 outputs against binary rubrics mapped to specific Trust Services Criteria and hand-verifying every failure and flagged act. Unprompted conformance ran from 47\% to 88\% and tracked whether a control is part of how the code is normally written, so password hashing and \texttt{storage\_encrypted} appear unasked while S3 hardening calls, retention, and MFA hooks do not. The neutral prompt also shipped real vulnerabilities, including a reachable Werkzeug debugger allowing remote code execution, an unauthenticated download, and an endpoint returning every stored name and email, all scored clean by our first checklist, with a fourth defect passing because its value was computed by a conditional. One SOC~2 sentence moved every case to 86--100\%, worth 23 to 50 points, and removed every insecure construction, though controls outside the model's conception of the task survived it, including MFA hooks, cookie flags, and account lifecycle. Model choice mattered least, with same-generation models within one rubric item across all eight cells, and the pattern-matching scorer proved unreliable, disagreeing with semantic grading on 27 of 216 judgments and passing a real defect, so it needs replacing with semantic checks.
• Abstract（参考訳）: 現在、ソフトウェアチームは、ストレージを規定し、認証を処理し、規制されたデータを格納するコードを含む、生産コードを言語モデルに委譲しています。 私たちは4つのユースケース(S3 CLI、認証サービス、RDS Terraformモジュール、個人データを保持するファイルアップロードハンドラ)で3つのフロンティアモデル(Claude Fable~5、Ops~4.8、Ops~5)をテストしました。 プロンプトのない適合性は47\%から88\%まで実行され、コントロールが通常のコードの記述方法の一部かどうかを追跡したため、パスワードハッシュと \texttt{storage\_encrypted} は、S3のハードニングコール、保持、MFAフックは、無視される。 リモートコード実行を可能にするWrkzeugデバッガ、不正ダウンロード、すべての保存された名前とEメールを返すエンドポイントなど、最初のチェックリストによってクリーンにスコアされ、その値が条件付きで計算されたため、第4の欠陥が経過した。 1つの SOC~2 文はすべてのケースを 86--100\% に移動し、23-50ポイントに値し、すべての安全でない構成を取り除いた。 モデル選択は、少なくとも8つの細胞にまたがる1つのルーブリックアイテム内の同世代モデルでは重要であり、パターンマッチングスコアラは216の判定の27のセマンティックグレーディングに異を唱え、真の欠陥をパスするので、セマンティックチェックに置き換える必要がある。

関連論文リスト

• IBIB: A Protocol for Measuring Enterprise AI Systems by Serving Route, Not Model Identifier [0.0]
  監査された18のベンチマークはすべて、広告付きモデルの識別子をスコア付けする。 ゴールドブラインド機能バインディングプレフライトは、どのタスクが到達する前に、ルートが評価契約を実行可能であることを確認する。 信頼性非包括的なファーストパススコアリングルールは、有効性を保ちながらスコアの失敗を維持する。
  論文  参考訳（メタデータ） (2026-09-09T17:31:29Z)
• Claude Code Complete User Handbook [0.0]
  Claude Codeは、未検証アクセス、シェル実行、ブラウザ制御、スケジュールおよびクラウド実行を備えたループで動作する言語モデルである。 この本は、そのシステムを安全かつ生産的に運用するためのタスク指向の参照である。
  論文  参考訳（メタデータ） (2026-08-27T07:32:14Z)
• LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
  大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。 我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-26T12:13:05Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications [0.0]
  RuBench 1.0は、5つのライブオープンソースリポジトリの最近の修正コミットから抽出された25のタスクのベンチマークである。 各タスクはロシア語で指定され、スクラッチから実際の顧客要求のスタイルで書かれ、翻訳されない。 25の修正コミットはすべて、評価されたモデル毎のトレーニングデータのカットオフを延期する。
  論文  参考訳（メタデータ） (2026-07-07T15:41:22Z)
• Refused in Chat, Written in Code: Workflow-Level Jailbreak Construction in IDE Coding Agents [20.975460502519677]
  Visual Studio CodeでGitHub Copilotを使用して、Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro、Gemini 3.5 Flashの4つのクローズドウェイトバックエンドを調査した。 204年にわたって、HammurabiのCode、HarmBench、AdvBenchからのプロンプトは、ダイレクトチャット、CSV-read、シングルステップのコード修正ベースラインの下でほぼ完全に拒否されている。 しかし、完全なワークフローでは、同じプロンプトとバックエンドが816/816の安全でない教示ショット補完を生成する。
  論文  参考訳（メタデータ） (2026-07-04T17:57:05Z)
• Understanding and Evaluating Claw-like Agent Security Through a Computer-Systems Lens [65.53494487819053]
  クローのようなAIエージェント(OpenClawなど)は、認証情報、ファイル、ツール、外部サービスへの永続的なアクセスを伴う、常にオンのプロセスである。 我々はClawのようなエージェントをエージェントコンピュータシステムとして扱い、そのゲートウェイランタイムがOSのような仲介の役割を担っている。 我々は、4つの攻撃面にわたる406の敵タスクのベンチマークであるSafeClawArenaを開発した。
  論文  参考訳（メタデータ） (2026-06-29T18:00:45Z)
• SafeClawBench: Separating Semantic, Audit-Evidence, and Sandbox Harm in Tool-Using LLM Agents [31.978790013349947]
  SafeClawBenchは、600の制御された敵タスクを備えたツール使用エージェントセキュリティのためのベンチマークである。 5つのエージェントエンドポイントを4つのプロンプトレベルポリシーで評価する。 これらのエンドポイントは、異なる障害モードをキャプチャします。
  論文  参考訳（メタデータ） (2026-06-16T18:04:45Z)
• Overeager Coding Agents: Measuring Out-of-Scope Actions on Benign Tasks [40.270213696031625]
  OverEager-Genは、良質なタスクの振る舞いをオーバーイーガーするベンチマークである。 クロード・コードでは、同意宣言を削除するだけで、オーバーイーガー率は0.0%から17.1%に上昇する。 オーバーイーガー・ジェン(OverEager-Gen)は、入場前に各シナリオの識別力を認定する。
  論文  参考訳（メタデータ） (2026-05-18T16:00:41Z)
• WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
  この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。 各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。 グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
  論文  参考訳（メタデータ） (2026-05-11T17:49:43Z)
• Beyond Code Reasoning: Specification-Anchored Auditing of Multi-Implementation Distributed Protocols [1.5229705287183657]
  SPECAは、明示的で分類されたセキュリティプロパティを自然言語仕様から導き出し、実装間で再利用する監査フレームワークである。 RepoAuditのベンチマークでは、SPECAは100%リコール(F1=0.94)で88.9%の精度に達し、著者が検証した12のバグを地上の真実を超えて表面化している。 Sherlock Fusaka Audit Contest(10のターゲット、366の応募)では、SPECAが専門家が強化した15の脆弱性をすべて回復し、4つの修正確認バグが浮上した。
  論文  参考訳（メタデータ） (2026-04-29T09:57:07Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)
• Internal Safety Collapse in Frontier Large Language Models [65.00730294617382]
  この研究は、フロンティア大言語モデル(LLM)における重要な障害モードを特定する。 特定のタスク条件下では、モデルは有害なコンテンツを連続的に生成し、そうでなければ良質なタスクを実行する状態に入る。 有害なコンテンツを生成することが唯一有効な完了であるドメインタスクを通じてISCをトリガーするフレームワークであるTVDを紹介する。
  論文  参考訳（メタデータ） (2026-03-04T12:55:34Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。