論文の概要: When Talk Isn't Code: Comparing LLM Agents That Simulate and Develop Software

• arxiv url: http://arxiv.org/abs/2610.04639v1
• Date: Sat, 03 Oct 2026 16:29:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 18:10:57.542058
• Title: When Talk Isn't Code: Comparing LLM Agents That Simulate and Develop Software
• Title（参考訳）: 講演がコーディングされていないとき:ソフトウェアをシミュレートし、開発するLLMエージェントの比較
• Abstract要約: LLMは、ハニーポットのようにネットワークプロトコルの実装をシミュレートし、それらを記述するために使われる。 シミュレーションモード (Sモード) と開発モード (Dモード) を比較し, モデルがプログラムを書き, プログラムが攻撃される。 完全なセキュリティ仕様では、中央モデルのアタック成功率は、両方のモードで再アセンブリ、HTTP、ファイアウォール実装で最大4%ですが、Sモードでは13%、DNSではDモードでは15%です。
• 参考スコア（独自算出の注目度）: 12.231986760106365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLMs are used both to simulate network protocol implementations, as honeypots do, and to write them. Prior work evaluates the two uses separately, from a model's answers or conversations in one case and from its generated code in the other. We observe that a knowledge probe (asking the model which security checks an implementation needs) and a conversation can credit security checks that the generated program lacks, but no study has compared them with the code the same model writes. To fill this gap, we present the first such comparison between simulation mode (S-mode), where the model plays the implementation in a conversation, and development mode (D-mode), where the model writes the program and the program is attacked, with a knowledge probe as a baseline. We design and implement a harness that judges all three with one attack suite and one oracle, and evaluate 15 LLMs on four protocol implementations. We find that with the full security specification, the median model's attack success is at most 4\% on reassembly, HTTP, and firewall implementations in both modes, but 13\% in S-mode and 15\% in D-mode on DNS. In D-mode, adding the missing DNS requirement to the specification cuts that attack from 100\% to 34\% and changes only that check, whereas deleting a stated rule weakens the program on other checks too. Asking the model beforehand does not predict which checks a program has, since 13 of the 14 models that write a DNS resolver name the check, yet all 42 programs lack it. S-mode is a useful first filter, flagging 82\% of the real DNS vulnerabilities and leaving 96\% of the safe cases unflagged. It errs in both directions, over-reporting security checks that D-mode does not implement and under-reporting checks that D-mode does. S-mode can screen but not replace D-mode testing, and security requirements should be written down even when a model can recite them.
• Abstract（参考訳）: LLMは、ハニーポットのようにネットワークプロトコルの実装をシミュレートし、それらを記述するために使われる。 以前の作業では、モデルの回答や会話から、一方のケースで、もう一方のケースで生成されたコードから、この2つのユースケースを別々に評価します。 我々は、知識調査(セキュリティが実装のニーズをチェックするモデルを提案する)と会話が、生成したプログラムに欠けているセキュリティチェックを信用することができることを観察するが、同じモデルが記述したコードと比較する研究は行われていない。 このギャップを埋めるために、モデルが会話で実装を行うシミュレーションモード(Sモード)と、モデルがプログラムを書き、プログラムが攻撃される開発モード(Dモード)とを、ベースラインとして知識プローブを用いて比較する。 攻撃スイート1つとオラクル1つで3つ全てを判定するハーネスの設計と実装を行い、4つのプロトコル実装で15 LLMを評価した。 完全なセキュリティ仕様では、中央モデルのアタック成功率は、両方のモードで再アセンブリ、HTTP、ファイアウォールの実装で4倍ですが、Sモードでは13倍、DNSでは15倍です。 Dモードでは、仕様に欠落したDNS要件を追加することで、攻撃を100\%から34\%に減らし、チェックのみを変更する一方で、宣言されたルールを削除することで、他のチェックでもプログラムを弱める。 DNSリゾルバを記述している14のモデルのうち13がチェックを名乗っているが、42のプログラムはすべてそのチェックを欠いている。 Sモードは有用な第1フィルタであり、実際のDNS脆弱性の82\%をフラグ付けし、安全ケースの96\%をフラグ付けしない。 Dモードが実装していないセキュリティチェックを過度に報告し、Dモードが行うチェックを過度に報告する。 Sモードは、Dモードテストを置き換えることはできないが、モデルがそれを引用できる場合でも、セキュリティ要件を書き留めるべきである。

関連論文リスト

• Recognition Without Enforcement: Configuration-Dependent Failures in LLM Agent Instruction Arbitration and External Control [0.0]
  LLMエージェントはシステムプロンプト、ユーザ、メモリ、ツールから命令を仲裁するが、この仲裁は信頼境界を強制するものではない。 ソースフォーマット機能はモデルアクティベーションから線形にデオード可能であり、モデルがトリガーされたときの偽の権威を明示的に識別することができる。 モデル自己配置をセキュリティ境界ではなく機能として扱い、認証されたソースルーティングと機能限定ツールの実行を組み合わせた外部参照モニタを実装します。
  論文  参考訳（メタデータ） (2026-08-28T16:34:05Z)
• LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
  大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。 我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-26T12:13:05Z)
• HyperSafe: Inference-Time Safety Recovery for Fine-Tuned Language Models [65.08794811632073]
  HyperSafeは、細調整されたチェックポイント毎にモデル固有のSafe Side Networkを生成することで、安全性の挙動を復元する。 モデル群であるQwen2-7BとLLaMA-3-8Bを複数の安全性ベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-07-13T12:28:43Z)
• Snyk VulnBench JS 1.0: Can LLMs Find the Same Bugs Twice? [0.0]
  同じJavaScriptコード、プロンプト、ベンチマークハーネスで、反復可能なエージェント型大規模言語モデル(LLM)のセキュリティレビューの可否を測定するために、300回の脆弱性フィニングスキャンを実行しました。 その結果,LSMの安全性は不均一に再現可能であった。 Snyk Code 静的アプリケーションセキュリティテスト(SAST)は決定論的であり、繰り返し発生するデータフローシンクを体系的に列挙するのに優れていた。
  論文  参考訳（メタデータ） (2026-06-14T11:47:17Z)
• S*: Test Time Scaling for Code Generation [55.11863577956177]
  コード生成のための最初のハイブリッドテストタイムスケーリングフレームワークであるS*を提案する。 S*は生成されたコードのカバレッジと選択精度を大幅に改善する。
  論文  参考訳（メタデータ） (2025-02-20T09:18:53Z)
• Backdooring Instruction-Tuned Large Language Models with Virtual Prompt Injection [66.94175259287115]
  命令調整型LLMに適した新しいバックドアアタック設定を提案する。 VPI攻撃では、攻撃者が特定した仮想プロンプトがユーザ命令に形式化されたかのように、バックドアモデルが応答することが期待されている。 我々は、モデルの命令チューニングデータに毒を盛ることによって脅威を実証する。
  論文  参考訳（メタデータ） (2023-07-31T17:56:00Z)
• A Black-Box Attack on Code Models via Representation Nearest Neighbor Search [38.09283133342118]
  提案手法であるRNNSは、過去の攻撃に基づく探索種を用いて、潜在的な敵の代替品を見つける。 ベクトル表現に基づいて、RNNSは攻撃のより良い代用を予測し、選択する。
  論文  参考訳（メタデータ） (2023-05-10T04:58:39Z)
• Backdoor Learning on Sequence to Sequence Models [94.23904400441957]
  本稿では,シークエンス・ツー・シークエンス(seq2seq)モデルがバックドア攻撃に対して脆弱かどうかを検討する。 具体的には、データセットの0.2%のサンプルを注入するだけで、Seq2seqモデルに指定されたキーワードと文全体を生成することができる。 機械翻訳とテキスト要約に関する大規模な実験を行い、提案手法が複数のデータセットやモデルに対して90%以上の攻撃成功率を達成することを示した。
  論文  参考訳（メタデータ） (2023-05-03T20:31:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。