論文の概要: Open-Source Intelligence for Code Provenance and the Security Patterns that Separate Human and Large-Language-Model Implementations of Common Programming Tasks
- arxiv url: http://arxiv.org/abs/2607.12524v1
- Date: Tue, 14 Jul 2026 08:59:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:30.090955
- Title: Open-Source Intelligence for Code Provenance and the Security Patterns that Separate Human and Large-Language-Model Implementations of Common Programming Tasks
- Title(参考訳): 共通プログラミングタスクの人・大言語モデル実装を分離したコードプロバンスのためのオープンソースインテリジェンスとセキュリティパターン
- Abstract要約: 開発者は2つの非常に異なるソースからコードを書きます。
コードスニペットの証明は、コード自身から回収できるだろうか?
2つのソースは同じタスクで採用するセキュリティパターンが異なるのでしょうか?
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Developers now draw code from two very different sources, the accumulated human answers on sites such as Stack Overflow and the output of large language models. We ask two questions about that split. First, can the provenance of a code snippet be recovered from the code itself, and second, do the two sources differ in the security patterns they adopt for the same task. Using only open sources, a public gateway of open-weight language models and the public Stack Overflow API, we build a fully reproducible pipeline that collects real implementations of 31 security-sensitive programming tasks, among them OAuth with PKCE, JWT verification, password hashing, and SQL access, from 9 language models and from human answers, and scores every sample with deterministic security and style detectors. On 528 real samples we train a cross-validated classifier that recovers human versus model provenance with 93 percent accuracy against a 78 percent baseline, and a 7-way classifier that attributes a sample to the specific model that wrote it at 48 percent. We then report where the sources diverge on security, which patterns models adopt more often than the human corpus and which they inherit from it. Running the same tasks in Python, JavaScript, Go, and Java, we find the security divergence holds in every language while the provenance boundary is partly language-specific and does not transfer symmetrically between them. A vulnerability repair case study, in which models are handed insecure code and asked to fix it, finds a 77 percent repair rate across 21 seeds and 12 weakness classes, but a recurring partial-fix failure in which the model removes the insecure pattern without adding the correct defense. The pipeline is data driven, so any new task or language is added as a single specification entry, and a fail-closed checker re-derives every number in this paper from the stored data.
- Abstract(参考訳): 開発者はStack Overflowや大規模言語モデルのアウトプットなど、非常に異なる2つのソースからコードを描くことができる。
私たちはその分割について2つの質問をする。
まず、コードスニペットの出所をコード自身から回収できるか、次に、2つのソースは同じタスクで採用するセキュリティパターンが異なるか。
オープンソースのみを使用して、オープンウェイトな言語モデルのパブリックゲートウェイと公開Stack Overflow APIを使用して、PKCEによるOAuth、JWT検証、パスワードハッシュ、SQLアクセスを含む31のセキュリティに敏感なプログラミングタスクの実際の実装を、9つの言語モデルと人間の回答から収集し、決定論的セキュリティとスタイル検出ですべてのサンプルをスコアする、完全に再現可能なパイプラインを構築します。
528の実際のサンプルでは、人間対モデルの証明を93%の精度で88%のベースラインに対して再現するクロスバリデーション分類器と、サンプルを48%の精度で書いた特定のモデルに属性付ける7方向分類器をトレーニングしています。
次に、情報ソースがセキュリティにばらつき、どのパターンモデルが人間のコーパスよりも頻繁に採用され、どのモデルから受け継がれているかを報告する。
Python、JavaScript、Go、Javaで同じタスクを実行すると、すべての言語でセキュリティのばらつきが保たれるのに対して、証明境界は部分的に言語固有のものであり、それら間で対称に転送されない。
脆弱性修復ケーススタディでは、モデルが安全でないコードに渡されて修正を依頼され、21のシードと12の弱いクラスで77%の修復率が得られたが、モデルが正しい防御を加えることなく、安全でないパターンを除去する部分的な修正失敗が繰り返されている。
パイプラインはデータ駆動なので、新しいタスクや言語が単一の仕様エントリとして追加され、フェールクロースされたチェッカーが格納されたデータからこの論文のすべての番号を導出する。
関連論文リスト
- SPARK: Security Knowledge Priming and Representation-Guided Knowledge Activation for LLM-based Secure Code Generation [18.3981349747131]
以前の文献では、この制限はセキュリティに関する専門知識の欠如によるものとされている。
プレトレーニングコーパスはすでにセキュリティ材料に富んでいると我々は主張する。
我々は、この潜伏知識を再訓練せずに活性化する推論時セキュリティハーネスであるSPARKを提案する。
論文 参考訳(メタデータ) (2026-06-15T05:43:37Z) - Beyond Pass Rate: A Multilingual, Execution-Grounded Evaluation of Open Code LLMs [0.0]
ベストモデルの平均正しさは23.64%に達し、人間受け入れベースラインは57.2%である。
Qwen2.5-Coder-14B-Instructは、難しい問題と明確なプロブレムカバレッジで最強である。
Gemma-2-27B-ITは全言語でのリント通過率が最も高い。
論文 参考訳(メタデータ) (2026-06-07T21:10:30Z) - Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。
我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。
LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
論文 参考訳(メタデータ) (2026-05-07T13:52:59Z) - GPT, But Backwards: Exactly Inverting Language Model Outputs [7.736516533045638]
本稿では,Sparse One-Hot Discrete Adam (SODA)アルゴリズムを提案する。
実験では、自然言語とランダム入力の両方において、正確な言語モデルの逆変換が可能であることを示す。
論文 参考訳(メタデータ) (2025-07-02T13:20:30Z) - Decompiling Smart Contracts with a Large Language Model [51.49197239479266]
Etherscanの78,047,845のスマートコントラクトがデプロイされているにも関わらず(2025年5月26日現在)、わずか767,520 (1%)がオープンソースである。
この不透明さは、オンチェーンスマートコントラクトバイトコードの自動意味解析を必要とする。
バイトコードを可読でセマンティックに忠実なSolidityコードに変換する,先駆的な逆コンパイルパイプラインを導入する。
論文 参考訳(メタデータ) (2025-06-24T13:42:59Z) - Traces of Memorisation in Large Language Models for Code [16.125924759649106]
コードのための大規模な言語モデルは、一般にインターネットから取り除かれた大量のソースコードコーパスで訓練される。
記憶の速度を、自然言語で訓練された大きな言語モデルと比較する。
コードのための大きな言語モデルは、自然言語のようなデータ抽出攻撃に弱いことが分かりました。
論文 参考訳(メタデータ) (2023-12-18T19:12:58Z) - Paloma: A Benchmark for Evaluating Language Model Fit [112.481957296585]
言語モデル (LM) の評価では、トレーニングから切り離されたモノリシックなデータに難易度が報告されるのが一般的である。
Paloma(Perplexity Analysis for Language Model Assessment)は、546の英語およびコードドメインに適合するLMを測定するベンチマークである。
論文 参考訳(メタデータ) (2023-12-16T19:12:45Z) - Paraphrasing evades detectors of AI-generated text, but retrieval is an
effective defense [56.077252790310176]
本稿では,パラフレーズ生成モデル(DIPPER)を提案する。
DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。
我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
論文 参考訳(メタデータ) (2023-03-23T16:29:27Z) - Software Vulnerability Prediction Knowledge Transferring Between
Programming Languages [2.3035725779568583]
本稿では、利用可能なデータセットを活用するトランスファー学習手法を提案し、異なるプログラミング言語の共通脆弱性を検出するモデルを生成する。
我々は、Cのソースコードサンプルを使用して、畳み込みニューラルネットワーク(CNN)モデルをトレーニングし、Javaのソースコードサンプルを使用して学習モデルを採用し、評価する。
その結果,提案モデルでは,CコードとJavaコードの両方の脆弱性を平均72%のリコールで検出できることがわかった。
論文 参考訳(メタデータ) (2023-03-10T19:21:52Z) - CodeLMSec Benchmark: Systematically Evaluating and Finding Security
Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。
これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。
この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
論文 参考訳(メタデータ) (2023-02-08T11:54:07Z) - Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of
Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。
GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。
テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳(メタデータ) (2021-11-04T12:59:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。