論文の概要: Can Highlighting Help GitHub Maintainers Track Security Fixes?
- arxiv url: http://arxiv.org/abs/2411.11646v1
- Date: Mon, 18 Nov 2024 15:23:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-19 14:35:56.156922
- Title: Can Highlighting Help GitHub Maintainers Track Security Fixes?
- Title（参考訳）: HighlightingはGitHubのメンテナがセキュリティ修正を追跡するのに役立つか?
- Authors: Xueqing Liu, Yuchen Xiong, Qiushi Liu, Jiangrui Zheng,
- Abstract要約: リポジトリ内のパッチを自動的に検索する検索システムを構築した。
説明はセキュリティメンテナによるパッチトレースの決定に役立ちますか?
さらに,Tf-Idf統計を利用したTfIdf-Highlightという説明手法を提案する。
- 参考スコア（独自算出の注目度）: 1.8097544100789553
- License:
- Abstract: In recent years, the rapid growth of security vulnerabilities poses great challenges to tracing and managing them. For example, it was reported that the NVD database experienced significant delays due to the shortage of maintainers. Such delay creates challenges for third-party security personnel (e.g., administrators) to trace the information related to the CVE. To help security personnel trace a vulnerability patch, we build a retrieval system that automatically retrieves the patch in the repository. Inspired by existing work on explainable machine learning, we ask the following research question: can explanations help security maintainers make decisions in patch tracing? First, we investigate using LIME (a widely used explainable machine learning method) to highlight the rationale tokens in the commit message and code. In addition, we propose an explanation method called TfIdf-Highlight, which leverages the Tf-Idf statistics to select the most informative words in the repository and the dataset. We evaluate the effectiveness of highlighting using two experiments. First, we compare LIME and TfIdf-Highlight using a faithfulness score (i.e., sufficiency and comprehensiveness) defined for ranking. We find that TfIdf-Highlight significantly outperforms LIME's sufficiency scores by 15\% and slightly outperforms the comprehensiveness scores. Second, we conduct a blind human labeling experiment by asking the annotators to guess the patch under 3 settings (TfIdf-Highlight, LIME, and no highlight). We find that the helpfulness score for TfIdf-Highlight is higher than LIME while the labeling accuracies of LIME and TfIdf-Highlight are similar. Nevertheless, highlighting does not improve the accuracy over non-highlighting.
- Abstract（参考訳）: 近年、セキュリティ脆弱性の急速な増加は、トレースと管理に大きな課題をもたらしている。
例えば、メンテナの不足により、NVDデータベースが大幅に遅延したことが報告された。
このような遅延は、サードパーティのセキュリティ担当者(例えば管理者)がCVEに関連する情報をトレースする上での課題を生み出します。
セキュリティ担当者が脆弱性パッチの追跡を支援するために,リポジトリ内のパッチを自動的に検索する検索システムを構築した。
説明はセキュリティメンテナによるパッチトレースの決定に役立ちますか?
まず、LIME(広く使われている機械学習手法)を用いてコミットメッセージとコードの合理化トークンをハイライトする。
さらに,Tf-Idf統計を利用したTfIdf-Highlightという説明手法を提案する。
2つの実験を用いてハイライトの有効性を評価する。
まず,LIME と TfIdf-Highlight を比較した。
その結果,TfIdf-Highlight は LIME の満足度スコアを 15 % 上回り,包括性スコアをわずかに上回ります。
第2に、アノテータに3つの設定(TfIdf-Highlight、LIME、ハイライトなし)でパッチを推測するよう依頼することで、視覚障害者のラベル付け実験を行う。
We found that the usefulness score for TfIdf-Highlight is higher than LIME while the labeling accuracies of LIME and TfIdf-Highlight are similar。
しかし、ハイライトは非ハイライトよりも精度を向上しない。
関連論文リスト
- ProSA: Assessing and Understanding the Prompt Sensitivity of LLMs [72.13489820420726]
ProSAは、大規模な言語モデルにおいて、迅速な感度を評価し、理解するために設計されたフレームワークである。
我々の研究は、データセットやモデル間で迅速に感度が変動することを発見し、より大きなモデルでは堅牢性が向上することを示した。
論文 参考訳（メタデータ） (2024-10-16T09:38:13Z) - What Did I Do Wrong? Quantifying LLMs' Sensitivity and Consistency to Prompt Engineering [8.019873464066308]
分類タスク,すなわち感度と一貫性の2つの指標を導入する。
感度はプロンプトの 言い換えによる予測の変化を測る
その代わり、一貫性は、同じクラスの要素の言い換えで予測がどのように変化するかを測定する。
論文 参考訳（メタデータ） (2024-06-18T06:59:24Z) - Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。
そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。
このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文 参考訳（メタデータ） (2024-06-02T16:53:21Z) - Defending Against Indirect Prompt Injection Attacks With Spotlighting [11.127479817618692]
一般的なアプリケーションでは、複数の入力は1つのテキストストリームにまとめることで処理できる。
間接的なプロンプトインジェクション攻撃は、ユーザコマンドと共に処理されている信頼できないデータに、敵命令を埋め込むことによって、この脆弱性を利用する。
我々は,複数の入力源を識別するLLMの能力を向上させるために,迅速なエンジニアリング技術群であるスポットライティングを紹介した。
論文 参考訳（メタデータ） (2024-03-20T15:26:23Z) - Software Vulnerability and Functionality Assessment using LLMs [0.8057006406834466]
我々は,Large Language Models (LLMs) がコードレビューに役立つかどうかを検討する。
我々の調査は、良質なレビューに欠かせない2つの課題に焦点を当てている。
論文 参考訳（メタデータ） (2024-03-13T11:29:13Z) - A Preliminary Study on Using Large Language Models in Software
Pentesting [2.0551676463612636]
大規模言語モデル(LLM)は、セキュリティタスクを自動化するための有望な可能性を提供すると考えられている。
ソフトウェアペンテスティングにおけるLLMの使用について検討し,ソースコード中のソフトウェアセキュリティ脆弱性を自動的に識別する作業を行う。
論文 参考訳（メタデータ） (2024-01-30T21:42:59Z) - Fake Alignment: Are LLMs Really Aligned Well? [91.26543768665778]
本研究では,複数質問とオープンエンド質問の相違点について検討した。
ジェイルブレイク攻撃パターンの研究にインスパイアされた我々は、これが不一致の一般化によって引き起こされたと論じている。
論文 参考訳（メタデータ） (2023-11-10T08:01:23Z) - Certifying LLM Safety against Adversarial Prompting [75.19953634352258]
大規模言語モデル(LLM)は、入力プロンプトに悪意のあるトークンを追加する敵攻撃に対して脆弱である。
我々は,認証された安全保証とともに,敵のプロンプトを防御する最初の枠組みである消去・チェックを導入する。
論文 参考訳（メタデータ） (2023-09-06T04:37:20Z) - Automatic Prompt Optimization with "Gradient Descent" and Beam Search [64.08364384823645]
大きな言語モデル(LLM)は汎用エージェントとして優れたパフォーマンスを示しているが、その能力はプロンプトに大きく依存している。
この問題に対する単純で非パラメトリックな解である自動プロンプト最適化(APO)を提案する。
APOはデータのミニバッチを使用して、現在のプロンプトを批判する自然言語「段階的」を形成する。
次に、勾配の反対の意味方向のプロンプトを編集することで、勾配をプロンプトに「伝播」する。
論文 参考訳（メタデータ） (2023-05-04T15:15:22Z) - Context-faithful Prompting for Large Language Models [51.194410884263135]
大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。
パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。
我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
論文 参考訳（メタデータ） (2023-03-20T17:54:58Z) - Automated Mapping of Vulnerability Advisories onto their Fix Commits in
Open Source Repositories [7.629717457706326]
実践経験と機械学習(ML)を組み合わせたアプローチを提案する。
アドバイザリから脆弱性に関する鍵情報を含むアドバイザリレコードを抽出する。
影響を受けるプロジェクトのソースコードリポジトリから、候補となる修正コミットのサブセットを取得する。
論文 参考訳（メタデータ） (2021-03-24T17:50:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。