論文の概要: A Function-Level Vulnerability Score Measures Flag Rate More Than the Model: Protocol Effects on Paired Benchmarks
- arxiv url: http://arxiv.org/abs/2609.32890v1
- Date: Sat, 26 Sep 2026 19:23:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 12:11:36.71952
- Title: A Function-Level Vulnerability Score Measures Flag Rate More Than the Model: Protocol Effects on Paired Benchmarks
- Title（参考訳）: 関数レベル脆弱性スコアはモデルよりもフラッグレートを測る:ペアベンチマークに対するプロトコル効果
- Abstract要約: ペアテストでは、モデルが脆弱な関数にフラグを付け、修正コミット後にバージョンをクリアしなければならない。
7つのフロンティアと大きなオープンモデルが、5つのリリースされたペアベンチマークと1つのプロトコルでプールされたセットで評価された。
68モデル中37モデルの場合、正対と逆対の差は95%の間隔でゼロとなる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models are increasingly evaluated as vulnerability detectors, and scores reported for similar models differ widely between papers. We measured how much of that difference evaluation protocol accounts for, with model outputs held fixed. In a paired test, a model must flag a vulnerable function and clear its version after a fixing commit. Three choices that published evaluations make differently were varied one at a time: metric, verdict extraction and output budget. Seven frontier and large open models were evaluated on five released pair benchmarks and a set pooled for this work under one protocol, and 61 open models of 1.5B to 36B parameters on the pooled set. Function-level F1 follows how often a model flags both functions of a pair (Spearman $+0.86$ over 42 combinations) and is nearly unrelated to pair-level correctness ($+0.16$). On the pair score, extraction changes a model's number by $+0.001$ at the median and budget by $+0.02$ with an interval through zero, whereas the model changes a benchmark's number by up to 0.18 and the benchmark a model's by up to 0.16; a function-level score therefore measures flag rate more than model. For 37 of 68 models the difference between correct and reversed pairs is within its 95% interval of zero, the value for a null model that flags each function at a fixed rate, while both-flagged and both-cleared rates exceed that null by 0.055 on median, and for 64 of 68 both functions of a pair receive one answer more often than independence predicts: verdicts are determined by the text common to both functions. On length-matched pairs a linear probe on activations separates 0.78 by within-pair ranking, against 0.64 for a tf-idf baseline and 0.5 for length; the generated verdict is near chance for three of six models and at 0.55 to 0.57 for the other three, and a prompted logit is at chance for all six.
- Abstract（参考訳）: 言語モデルはますます脆弱性検知器として評価され、同様のモデルで報告されたスコアは論文によって大きく異なる。
モデル出力を一定に保った上で,その差分評価プロトコルがどの程度を占めるかを測定した。
ペアテストでは、モデルが脆弱な関数にフラグを付け、修正コミット後にバージョンをクリアしなければならない。
評価を公表した3つの選択肢は、1度に1つずつ変化した。
7つのフロンティアと大きなオープンモデルが5つのリリースされたペアベンチマークと1つのプロトコルでプールされたセットで評価され、61個のオープンモデルで1.5Bから36Bのパラメータをプールした。
関数レベルF1は、モデルがペアの両方の関数をフラグする頻度(Spearman $+0.86$ over 42 combinations)に従っており、ペアレベルの正しさ(+0.16$)とはほとんど無関係である。
ペアスコアでは、中央値と予算値でモデル番号を+0.001$、ゼロ点までの間隔で$+0.02$に変更し、一方、モデルではベンチマーク番号を0.18まで変更し、ベンチマークは0.16まで変更し、ファンクションレベルスコアはモデルよりもフラグレートを計測する。
68モデルの37では、正ペアと逆ペアの差は95%の間隔でゼロであり、各関数を一定の速度でフラグ付けするヌルモデルの値と、両方のフラッグと両クリアレートは中央値で0.055のヌルを上回り、68の64では、ペアのどちらの関数も独立性より頻繁に1つの答えを受け取る: 評定は両方の関数に共通するテキストによって決定される。
長さ整合対において、アクティベーション上の線形プローブは、tf-idfベースラインが0.64、長さが0.5と、0.78をペア内ランクで分離する。
関連論文リスト
- ActionLens: Diagnosing Spatial-Temporal Binding Failures in Vision-Language Models [27.10329844636688]
ActionLensは、対象とする5つの診断にまたがる6,701のマルチチョイスビデオ質問の診断ベンチマークである。
グラウンドトルース回答は1秒あたり58万の個人アノテーションから決定的に導かれる。
視線検出は89.6%の人的精度に対してほぼ確実である。
論文 参考訳（メタデータ） (2026-09-28T08:10:06Z) - Where a Model Sends Its Own Repeated Token [0.0]
ブラックボックスモデルの識別は、自然言語のプロンプトに対するモデルの応答を評価することで機能する。
退化した入力を受け取り、モデルがそうでないときにどこに行くのかを尋ねます。
結果は語彙全体の地図であり、2つのハーフがある。
論文 参考訳（メタデータ） (2026-09-25T12:13:31Z) - Speculative Evaluation of Stochastic LLMs [48.902430583833585]
投機的評価は、短い一様パイロットと、タスク毎の成功回数のプールを実行する。
HBN-asyncは、部分的なパイロットフィードバックからの継続を投機的に実行し、最終的なアロケーションによって選択されたものを保持する。
1タスクあたり8-64のロールアウト予算では、投機的評価は、Uniformに対する分散を平均12.8%から33.6%削減する。
論文 参考訳（メタデータ） (2026-09-23T09:20:22Z) - Observer Choice and Threshold Selection in Retinal Vessel Segmentation: A Subject-Separated Evaluation [28.97096038427138]
全28個のCHASE DB1画像と両アノテーションを用いて網膜血管分割の選択について検討した。
ランダムな森林では、マキシミンは21本中19本で閾値を変化させるが、最悪のサーバのDiceは70.53パーセントから70.45パーセントに低下する。
IdenticalObserver-1-tuned random-forest masks score 73.6% againstObserver 1 and 71.06% againstObserver 2
論文 参考訳（メタデータ） (2026-09-22T02:41:33Z) - QuoteBench: How Matched Scores Can Hide Command-Path Failures [30.480838412827907]
実行スコアだけでは、ジェネレーションエラーとジェネレーション後に導入された失敗を区別できない。
QuoteBenchはこの境界線を、インシデントから派生した14のファミリーから56のワンショットタスクに対して正確に最終状態の検証を行う。
コマンド発行エージェントの評価は、一致したスコアを本質的なモデル特性として扱うよりも、モデル構成、生成契約、実行経路、操作点、最終状態などを報告すべきである。
論文 参考訳（メタデータ） (2026-08-13T17:57:20Z) - Agent Behavioral Contracts II: Certifying Compositional Reliability Without Assuming Independence [0.0]
1つのモデルの2つの例は、2つのエージェントのハンドオフにおいて、ミッションの90.0%で共失敗する。
異なるモデルの置換は、6つのコントラストのうち6つのコントラストの関連を減少させる。
論文 参考訳（メタデータ） (2026-08-13T07:25:05Z) - Operator-on-F complements value-equivalence: a planning-time diagnostic for latent world models [0.0]
本稿では, モデルk段階の潜在プッシュフォワードと観測可能なサブセットF上の環境との相補的診断, 演算子-on-Fを提案する。
TD-MPC2サイズがチーターランを超えると、報酬予測エラーはモデルサイズ毎に[0.028, 0.091]以内に留まる。
論文 参考訳（メタデータ） (2026-07-05T19:09:07Z) - When Does Combining Language Models Help? A Co-Failure Ceiling on Routing, Voting, and Mixture-of-Agents Across 67 Frontier Models [0.0]
マルチモデルLPMシステムは単一モデルの精度を上回ります。
彼らの利益は、ほとんど報告されない量で占められていることを示す。
論文 参考訳（メタデータ） (2026-06-25T17:06:06Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - The Surprising Universality of LLM Outputs: A Real-Time Verification Primitive [0.0]
CPUのみのスコアリングプリミティブはトークン当たり2.6マイクロ秒で動作する。
トークンのランク周波数分布は同じ2パラメータのMandelbrotランキング分布に収束する。
利用可能な場合にモデルログの確率で構成し、クローズドAPIで使用可能なランクオンリーモードに分解するシングルパススコアリングプリミティブを導出する。
論文 参考訳（メタデータ） (2026-04-28T13:35:31Z) - Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。
選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。
これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
論文 参考訳（メタデータ） (2026-04-20T00:57:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。