論文の概要: How to Compare the Security of Code Written by Humans to LLM-generated Code

• arxiv url: http://arxiv.org/abs/2606.00186v1
• Date: Fri, 29 May 2026 15:35:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 15:56:40.210097
• Title: How to Compare the Security of Code Written by Humans to LLM-generated Code
• Title（参考訳）: 人間の書いたコードのセキュリティとLLM生成コードの比較
• Abstract要約: 大規模言語モデル(LLM)は、ソフトウェアの作成とメンテナンスの仕方を急速に変化させています。 本研究では,人間のみ,LLMのみ,ハイブリッド条件を対象とした比較研究を行うための自動フレームワークを提案する。 本研究は,人間とAI被験者の種相比較のための実験的青写真を提供することにより,本フレームワークの有効性を検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are rapidly transforming how software is created and maintained. Comparing LLM-generated code against human-written standards is essential to determine whether these new tools uphold or erode the security baselines established by professional developers. Yet, we lack a standardized method for empirically comparing the security of code produced through human-LLM collaboration against LLM-only, or traditional human-only methods. To facilitate this, we propose an automated framework for conducting comparative studies across human-only, LLM-only, and hybrid conditions. Our approach automates the logging of prompts, timing, and experimental settings, measuring outcomes through multi-dimensional static and dynamic quality analysis. We provide an open-source implementation of this framework to ensure that future researchers can conduct reproducible, species-fair experiments. Importantly, we validate the framework via a feasibility study, providing an experimental blueprint for ``species-fair'' comparisons between human and AI subjects. By sharing lessons learned, we establish a foundation for empirical research on human and LLM-generated code for software security.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ソフトウェアの作成とメンテナンスの仕方を急速に変化させています。 LLMの生成したコードを人手による標準と比較することは、これらの新しいツールがプロの開発者が確立したセキュリティ基盤を支えているかどうかを判断するために不可欠である。 しかし、人間とLLMのコラボレーションによって生成されるコードのセキュリティと、従来の人間のみの手法とを実証的に比較する標準的な方法が欠如している。 これを容易にするために,人間のみ,LLMのみ,ハイブリッド条件を対象とした比較研究を行うための自動フレームワークを提案する。 提案手法は,複数次元の静的および動的品質解析により,プロンプト,タイミング,実験的な設定のロギングを自動化する。 我々はこのフレームワークをオープンソースで実装し、将来の研究者が再現可能な種相実験を行えるようにします。 重要なことは、本フレームワークを実現可能性調査を通じて検証し、人間とAI被験者の「種-動物」比較の実験的青写真を提供することである。 学習した教訓を共有することにより、ソフトウェアセキュリティのための人間およびLLM生成コードに関する実証研究の基盤を確立する。

関連論文リスト

• AI Agents for Inventory Control: Human-LLM-OR Complementarity [12.448705668487852]
  大規模言語モデル(LLM)は、柔軟に推論し、リッチなコンテキストシグナルを組み込むことができるAIエージェントへの関心を生んでいる。 我々は, ORアルゴリズム, LLM, 人間がどのように相互作用し, 相互に補完するかを, 多周期在庫管理設定で検討する。 平均して、人間とAIのチームは、人間またはAIエージェントが単独で運営するよりも高い利益を得る。
  論文  参考訳（メタデータ） (2026-02-13T05:23:46Z)
• SelfAI: Building a Self-Training AI System with LLM Agents [79.10991818561907]
  SelfAIは、高レベルの研究目的を標準化された実験構成に変換するためのUser Agentを組み合わせた、一般的なマルチエージェントプラットフォームである。 実験マネージャは、連続的なフィードバックのための構造化知識ベースを維持しながら、異種ハードウェアをまたいだ並列かつフォールトトレラントなトレーニングを編成する。 回帰、コンピュータビジョン、科学計算、医用画像、薬物発見ベンチマークなどを通じて、SelfAIは一貫して高いパフォーマンスを達成し、冗長な試行を減らしている。
  論文  参考訳（メタデータ） (2025-11-29T09:18:39Z)
• From Code Foundation Models to Agents and Applications: A Practical Guide to Code Intelligence [150.3696990310269]
  大規模言語モデル(LLM)は、自然言語記述を直接関数コードに変換することによって、自動ソフトウェア開発を変革した。 コードLLMに関する総合的な合成と実践的ガイド(一連の解析および探索実験)を提供する。 一般LLM(GPT-4, Claude, LLaMA)とコード特殊化LLM(StarCoder, Code LLaMA, DeepSeek-Coder, QwenCoder)のコード機能の解析を行う。
  論文  参考訳（メタデータ） (2025-11-23T17:09:34Z)
• A word association network methodology for evaluating implicit biases in LLMs compared to humans [0.0]
  大規模言語モデル(LLM)における暗黙バイアス評価のための新しい単語関連ネットワーク手法を提案する。 提案手法では,LLMに符号化された暗黙的関係構造を解析し,バイアスの定量的および定性的評価を行う。 提案手法の有用性を実証するために, 性別, 宗教, 民族性, 性的指向, 政党に関連する社会的偏見を調べるために, 人間と多用されたLLMの両方に適用した。
  論文  参考訳（メタデータ） (2025-10-28T15:03:18Z)
• Adding LLMs to the psycholinguistic norming toolbox: A practical guide to getting the most out of human ratings [5.019061035507826]
  本稿では,Large Language Models (LLM) を用いた単語特性推定手法を提案する。 ガイドの主な重点は、人間の「金の標準」規範によるLCM生成データの検証である。 また、当社の方法論を実装し、商用モデルとオープンウェイトモデルの両方をサポートするソフトウェアフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-17T20:11:23Z)
• Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
  人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。 制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。 本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
  論文  参考訳（メタデータ） (2025-03-27T17:34:25Z)
• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [76.59316249991657]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• Can LLMs Replace Manual Annotation of Software Engineering Artifacts? [24.563167762241346]
  大規模言語モデル(LLM)は、最近、いくつかの領域で人間レベルのパフォーマンスを実証し始めた。 本稿では、コードやコード関連アーティファクトの評価において、より安価なLCMクエリーでコストのかかる被験者を代用する可能性について検討する。 以上の結果から,LLMを人体アノテーションに置き換えることで,人体・人体・人体間の合意に等しいあるいは近い契約が成立する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-08-10T12:30:01Z)
• Inadequacies of Large Language Model Benchmarks in the Era of Generative Artificial Intelligence [5.147767778946168]
  我々は、23の最先端のLarge Language Models (LLMs)ベンチマークを批判的に評価する。 私たちの研究は、バイアス、真の推論、適応性、実装の不整合、エンジニアリングの複雑さ、多様性、文化的およびイデオロギー規範の見落としなど、重大な制限を明らかにしました。
  論文  参考訳（メタデータ） (2024-02-15T11:08:10Z)
• Human-Instruction-Free LLM Self-Alignment with Limited Samples [64.69906311787055]
  本研究では,人間の関与なしに,大規模言語モデル(LLM)を反復的に自己調整するアルゴリズムを提案する。 既存の研究と異なり、我々のアルゴリズムは人造指示にも報酬にも依存せず、人間の関与を著しく減らしている。 提案手法は,LLMの自己一般化能力を解き明かし,ほぼゼロに近い人的監督と整合性を持たせることができることを示す。
  論文  参考訳（メタデータ） (2024-01-06T14:00:12Z)
• Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision [84.31474052176343]
  ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。 この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。 本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。