論文の概要: Helpful or Harmful? Evaluating LLM-Assisted Vulnerability Patching via a Human Study

• arxiv url: http://arxiv.org/abs/2606.25973v1
• Date: Wed, 24 Jun 2026 15:45:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.387998
• Title: Helpful or Harmful? Evaluating LLM-Assisted Vulnerability Patching via a Human Study
• Title（参考訳）: ヘルプフルかハーモフルか : 人間の研究によるLSM支援脆弱性パッチングの評価
• Abstract要約: 大規模言語モデル(LLM)支援ツールは、脆弱性の検出、位置、修復タスクの可能性を示している。 実世界のシナリオにおける人間の手動デバッグと比較して,LSM支援の脆弱性パッチ機能を明らかにすることを目的としている。
• 参考スコア（独自算出の注目度）: 10.467343144504541
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Software vulnerability remediation is a cognitively demanding task that requires specialized security expertise often lacking in general developers. In the meantime, Large Language Models (LLMs) assisted tools show potential in vulnerability detection, location, and repair tasks. [Hypothesis:] While LLM-assistance is hypothesized to accelerate patching, it also risks introducing hallucinations or insecure code, leading to a higher likelihood of generating superficial repairs that bypass the standard functionality checks but fail the security validation. [Objective:] We aim to present an empirical experiment, unveiling the capability of LLM-assisted vulnerability patching compared to manual debugging on human participants in real-world scenarios. [Method:] We plan to conduct a controlled experiment using a Balanced Crossover design. For that, we have developed a WebApp for code execution and integrated hidden Ghost Tests to verify patch integrity beyond visible functional requirements. The experiment involves training and evaluation scenarios. The remediation speed, remediation efficacy for both standard functionality tests and security tests, and participant perception will be evaluated. [Pilot Study:] A pilot experiment with a small sample of participants has been conducted, providing insights for the following study.
• Abstract（参考訳）: ソフトウェア脆弱性の修復は認知的に要求されるタスクであり、一般的な開発者には特にセキュリティに関する専門知識が欠如している。 一方、LLM(Large Language Models)支援ツールは、脆弱性の検出、位置、修正タスクの可能性を示している。 【仮説】] LLM-assistance はパッチ適用を加速させると仮定されているが、幻覚や安全性の低いコードを導入するリスクも伴うため、標準的な機能チェックをバイパスしてセキュリティ検証を失敗する表面的な修復を発生させる可能性が高くなる。 [目的:]実世界のシナリオにおける人手によるデバッグと比較して,LLM支援の脆弱性パッチ機能を明らかにする実証実験を行うことを目標としている。 [方法:]バランスド・クロスオーバー設計を用いて制御実験を行う計画である。 そのために、コード実行のためのWebAppを開発し、隠れGhost Testsを統合して、目に見える機能要件を越えて、パッチの完全性を検証する。 実験にはトレーニングと評価のシナリオが含まれる。 標準的な機能テストとセキュリティテストの両方の修正速度、改善効果、そして、受像者の知覚を評価する。 [パイロットスタディ:]参加者の少人数サンプルを用いたパイロット実験を実施し,以下の結果を得た。

関連論文リスト

• ALIBI: Adaptive Agentic Attacks on LLM-Based Vulnerability Detectors via Adversarial Code Comments [12.021872048536766]
  大きな言語モデルは、脆弱性検出やコードレビューといったセキュリティに敏感なタスクに対して、ますますデプロイされている。 ソースコードに埋め込まれた自然言語コンテキストへの依存は、これまで探索されていなかったアタックサーフェスを露呈する。 本稿では,自動適応ブラックボックス攻撃フレームワークであるALIBIについて述べる。
  論文  参考訳（メタデータ） (2026-07-27T18:13:28Z)
• VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
  VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。 セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。 平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
  論文  参考訳（メタデータ） (2025-09-15T02:25:38Z)
• Reactive Bottom-Up Testing [15.280664862119565]
  リアクティブボトムアップテスト(Reactive Bottom-Up Testing)と呼ばれる新しいパラダイムを導入します。 私たちの洞察では、機能レベルのテストは必要だが、機能内の脆弱性の検証には不十分である。 本研究では,潜在的な機能を特定し,型とコンテキストを意識したハーネスを生成する3段階のボトムアップテスト手法を開発した。
  論文  参考訳（メタデータ） (2025-09-03T20:54:43Z)
• Revisiting Pre-trained Language Models for Vulnerability Detection [10.688122311096253]
  プレトレーニング言語モデル(PLM)の急速な進歩は、様々なコード関連タスクに対して有望な結果を示した。 しかし、現実世界の脆弱性を検出する効果は依然として重要な課題である。 本稿では、より小さなコード固有のPLMと大規模PLMにまたがる17のPLMを広範囲に評価するRevisitVDを紹介する。
  論文  参考訳（メタデータ） (2025-07-22T17:58:49Z)
• Active Test-time Vision-Language Navigation [60.69722522420299]
  ATENAは、不確実なナビゲーション結果に対するエピソードフィードバックを通じて、実用的な人間とロボットのインタラクションを可能にする、テスト時のアクティブな学習フレームワークである。 特にATENAは、成功エピソードにおける確実性を高め、失敗エピソードにおいてそれを減らすことを学び、不確実性の校正を改善している。 さらに,自信ある予測に基づいて,エージェントがナビゲーション結果を評価することができる自己学習戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-07T02:24:44Z)
• AgentAuditor: Human-Level Safety and Security Evaluation for LLM Agents [48.925168866726814]
  AgentAuditorは、トレーニングなし、メモリ拡張推論フレームワークである。 ASSEBenchは、LLMベースの評価器が安全リスクとセキュリティ上の脅威の両方を見つけることができるかを確認するために設計された最初のベンチマークである。
  論文  参考訳（メタデータ） (2025-05-31T17:10:23Z)
• Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
  大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。 実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:57:47Z)
• PredictaBoard: Benchmarking LLM Score Predictability [50.47497036981544]
  大きな言語モデル(LLM)は予測不能に失敗することが多い。 これは、安全なデプロイメントを保証する上で、大きな課題となる。 PredictaBoardは,新しいベンチマークフレームワークである。
  論文  参考訳（メタデータ） (2025-02-20T10:52:38Z)
• ALI-Agent: Assessing LLMs' Alignment with Human Values via Agent-based Evaluation [48.54271457765236]
  大規模言語モデル(LLM)は、人間の価値観と不一致した場合、意図しない、有害なコンテンツも引き出すことができる。 現在の評価ベンチマークでは、LLMが人的価値とどの程度うまく一致しているかを評価するために、専門家が設計した文脈シナリオが採用されている。 本研究では, LLM エージェントの自律的能力を活用し, 奥行き及び適応的アライメント評価を行う評価フレームワーク ALI-Agent を提案する。
  論文  参考訳（メタデータ） (2024-05-23T02:57:42Z)
• An Insight into Security Code Review with LLMs: Capabilities, Obstacles, and Influential Factors [9.309745288471374]
  セキュリティコードレビューは時間と労力を要するプロセスです。 既存のセキュリティ分析ツールは、一般化の貧弱、偽陽性率の高い、粗い検出粒度に悩まされている。 大きな言語モデル(LLM)は、これらの課題に対処するための有望な候補と考えられている。
  論文  参考訳（メタデータ） (2024-01-29T17:13:44Z)
• LLbezpeky: Leveraging Large Language Models for Vulnerability Detection [10.330063887545398]
  大規模言語モデル(LLM)は、人やプログラミング言語におけるセムナティクスを理解する大きな可能性を示している。 私たちは、脆弱性の特定と修正を支援するAI駆動ワークフローの構築に重点を置いています。
  論文  参考訳（メタデータ） (2024-01-02T16:14:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。