論文の概要: Narratives Mislead: An Empirical Study of How LLMs Misjudge CVSS Severity in Bug Bounty Reports

• arxiv url: http://arxiv.org/abs/2610.24623v1
• Date: Sat, 17 Oct 2026 10:56:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 17:17:11.587237
• Title: Narratives Mislead: An Empirical Study of How LLMs Misjudge CVSS Severity in Bug Bounty Reports
• Title（参考訳）: ナラティブズ・ミスリード : バグ・バウンティ・レポートにおけるLCMのCVSS重症度に関する実証的研究
• Abstract要約: バグ報奨金プラットフォームは、ベンダーがそれらをトリアージできるよりも早く脆弱性レポートを受け取る。 事前評価では、短いCVE記述と報告精度が評価される。 配置はモデルがどのように変化するかによって異なります。
• 参考スコア（独自算出の注目度）: 18.548808389969754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bug bounty platforms receive vulnerability reports faster than vendors can triage them, and Large Language Models (LLMs) are increasingly considered for assigning the Common Vulnerability Scoring System (CVSS) severity that drives prioritization. Prior evaluations score short CVE descriptions and report accuracy, but deployment depends on how models err, not only how often. CVSS gives each metric a formal meaning that departs from how researchers describe impact in narrative reports, and model rationales suggest that errors concentrate where the two diverge; we ask whether this pattern is systematic. From 4,281 publicly disclosed reports mined from Huntr and HackerOne, we build a benchmark of 240 Huntr reports with vendor-validated CVSS vectors and evaluate eight LLMs under four prompting strategies and fine-tuning, measuring errors by severity class and score and analysing sub-vectors on individual reports. The best prompting configuration reaches only 49.58% level accuracy, ten points above always predicting the majority level, and fine-tuning a 7B model raises this to at most 56.25%, an optimistic upper bound. Errors are directional: models overestimate far more often than they underestimate, and they almost never recognize low-severity vulnerabilities. We trace these errors to three semantic boundaries that the specification draws and narrative reports blur: potential versus realized impact, impact magnitude versus authorization scope, and uncertainty versus the worst case. Because the violations originate partly in the report, we close with an exploratory case study: on four reports, a boundary-aligned, exploit-free report structure lowered a frontier model's score where the narrative invited an unclaimed account takeover, but left the metrics a report does not settle open, and the two published labels disagreed on three of the four reports.
• Abstract（参考訳）: バグ報奨金プラットフォームは、ベンダーがそれらをトリアージできるよりも早く脆弱性レポートを受け取り、大規模言語モデル(LLM)は、優先順位付けを駆動するCommon Vulnerability Scoring System(CVSS)の重症度を割り当てることについて、ますます検討されている。 事前評価では、短いCVE記述とレポートの正確さが評価されるが、デプロイの頻度だけでなく、モデルのパフォーマンスにも依存する。 CVSSは各指標に、研究者が物語の報告でどのように影響を説明するかから外れた形式的な意味を与え、モデル理論的には、エラーが2つの分岐点に集中していることが示唆される。 公表された4,281件のHuntrとHackerOneのレポートから、ベンダー公認CVSSベクターによる240件のHuntrレポートのベンチマークを作成し、4つのプロンプト戦略と微調整、重大なクラスとスコアによるエラーの測定、個々のレポートに対するサブベクターの分析を行った。 最も優れたプロンプト構成は49.58%の精度にしか達せず、上10点は常に多数派を予測し、7Bモデルを微調整することで、楽観的な上限である56.25%まで上昇する。 モデルは過小評価よりもはるかに頻繁に過大評価され、低重大性の脆弱性はほとんど認識されない。 これらのエラーを、仕様が引き起こした3つのセマンティックな境界、および物語レポートが曖昧にしている3つの境界、すなわち、ポテンシャル対実効効果、影響の大きさ対認可範囲、そして最悪のケースに対する不確実性にトレースします。 4つのレポートにおいて、境界に整合したエクスプロイトフリーなレポート構造は、物語が未解決のアカウント取得を招待したフロンティアモデルのスコアを下げるが、報告書は未公開であり、2つのラベルは4つのレポートのうち3つに意見が一致しなかった。

関連論文リスト

• Smart Alone, Blind Together: Why Accuracy Fails to CertifyTheory of Mind in Multi-Agent Teams [0.34376560669160394]
  私たちは2つの理由から、正確さが間違った証明書であると主張している。 まず、動作に必要な正確性は、間違ったアクションコストに依存するため、バーはモジュールではなく、デプロイメントに属します。 モジュールをデプロイすることなく,エラーコスト,ペアインタラクション,および測定依存性の価格を設定できるBlind-Spot Gateを用いて,デプロイの認証を提案する。
  論文  参考訳（メタデータ） (2026-10-13T18:50:10Z)
• Language Models Are "Insecure" Reporters [20.518530898800893]
  大規模言語モデルが物語変化の欠陥を隠蔽しているかを考察する。 正直さと成功を求めることは表現空間における反対方向に対応することが分かる。
  論文  参考訳（メタデータ） (2026-09-28T19:13:33Z)
• SCOPE: A Dataset of Stereotyped Prompts for Counterfactual Fairness Assessment of LLMs [45.94124349318317]
  SCOPEは241,280のプロンプトを120,640の対物対にまとめている。 このリソースは、公正性、堅牢性、および反事実整合性を評価するために、制御され、セマンティックに整合し、意図を意識した基盤を提供する。
  論文  参考訳（メタデータ） (2026-04-07T07:56:26Z)
• From Reviewers' Lens: Understanding Bug Bounty Report Invalid Reasons with LLMs [1.8652189113472575]
  私たちは、9,942件のバグ報奨金を公表したデータセットを集めました。 我々は、最先端の大規模言語モデルが無効なレポートを識別できるかどうかを評価する。 我々は情報開示の脆弱性の理由の分類を作成し、それを検索強化された生成フレームワークに組み込む。
  論文  参考訳（メタデータ） (2025-11-23T20:27:54Z)
• Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
  大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。 故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。 本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:29:36Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
  近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。 因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
  論文  参考訳（メタデータ） (2025-09-24T13:06:35Z)
• Automated Duplicate Bug Report Detection in Large Open Bug Repositories [3.481985817302898]
  大規模なオープンソースプロジェクトのユーザやコントリビュータは,問題追跡システムにソフトウェア欠陥や拡張要求(バグレポートとして知られる)を報告している。 オープンバグレポジトリにおける重複バグレポートを自動的に検出する機械学習手法に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-04-21T01:55:54Z)
• Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
  マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。 12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
  論文  参考訳（メタデータ） (2024-11-05T01:11:28Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
  SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• SEDAC: A CVAE-Based Data Augmentation Method for Security Bug Report Identification [0.0]
  現実の世界では、セキュリティバグ報告の割合は極めて低い。 SEDACは、同様のバグレポートベクターを生成する新しいSBR識別方法である。 g測定の基準線は14.24%から50.10%の改善で上回っている。
  論文  参考訳（メタデータ） (2024-01-22T15:53:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。