論文の概要: Unraveling the Efficacy of Neuron Coverage Criteria on Testing Large Language Models
- arxiv url: http://arxiv.org/abs/2610.40234v1
- Date: Thu, 29 Oct 2026 15:08:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 07:54:23.553537
- Title: Unraveling the Efficacy of Neuron Coverage Criteria on Testing Large Language Models
- Title（参考訳）: 大規模言語モデル検査における神経被覆基準の有用性について
- Abstract要約: ニューロンのカバレッジ基準は、テストスイートの品質を評価し、テスト入力生成をガイドすることを目的としている。
我々は,エンコーダのみ,デコーダのみ,デコーダのみ,およびエンコーダ-デコーダモデルで,確立された4つの基準と最近の2つの基準を含む6つの基準を評価する。
- 参考スコア（独自算出の注目度）: 13.443243452184403
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neuron coverage criteria aim to assess test suite quality and guide test input generation, but their effectiveness for Transformer-based language models remains unclear. We evaluate six criteria, including four established and two recent criteria, across encoder-only, decoder-only, and encoder-decoder models. Our evaluation examines error-revealing capability, distribution diversity, sample fairness (category diversity), and guidance for test input generation. The results reveal uneven effectiveness. Erroneous samples provide only 0.32% additional coverage over noise samples, indicating limited sensitivity to adversarial errors. By contrast, coverage criteria effectively assess distribution diversity and sample fairness in 26 and 30 of 33 configurations, respectively. Incorporating neuron-wise coverage guidance into test input generation increases adversarial sample production by only 4.56%. These findings suggest that existing coverage criteria can serve as an antidote for assessing diversity but remain largely a placebo for revealing adversarial errors, particularly when used individually. Their practical value therefore depends on whether these limited benefits justify the computational overhead of testing large Transformer-based models. Our study highlights the need for more robust and efficient coverage criteria tailored to these models, with stronger error-revealing capability and greater value for test generation.
- Abstract（参考訳）: ニューロンのカバレッジ基準は、テストスイートの品質を評価し、テスト入力生成をガイドすることを目的としているが、Transformerベースの言語モデルの有効性は未定である。
我々は,エンコーダのみ,デコーダのみ,デコーダのみ,およびエンコーダ-デコーダモデルで,確立された4つの基準と最近の2つの基準を含む6つの基準を評価する。
本評価では, 誤り発見能力, 分布多様性, サンプルフェアネス (カテゴリ多様性) , および, テスト入力生成のためのガイダンスについて検討した。
その結果、不均一な効果が明らかとなった。
間違ったサンプルは、ノイズサンプルに対して0.32%追加のカバレッジしか提供せず、敵の誤差に対する感度が制限されていることを示している。
一方,33種中26種,30種では,分布の多様性と標本の公平性を評価するのに有効であった。
テスト入力生成にニューロンのカバレッジガイダンスを組み込むことで、対向サンプルの生成は4.56%増加する。
これらの結果から,既存のカバレッジ基準は多様性を評価するための解毒剤として機能する可能性が示唆された。
したがって、それらの実用的価値は、これらの制限された利点が大きなTransformerベースのモデルをテストする際の計算オーバーヘッドを正当化するかどうかに依存する。
本研究は,これらのモデルに適した,より堅牢で効率的なカバレッジ基準の必要性を強調した。
関連論文リスト
- One-Sided Verification Under Limited Expert Review [81.81806589083486]
我々は、稀な有効な解決策を優先する必要がある、限定された人間の努力の下で検証を研究する。
我々は、エラー提案とエラー検証を分離するアルゴリズムフレームワークであるOSVerifyを紹介した。
実験によると、OSVerifyは、無効なソリューションの人間レビューの数を平均46%削減している。
論文 参考訳（メタデータ） (2026-10-13T10:10:11Z) - Pre-Generation Hallucination Detection in Large Language Models via Soft-Target Attention Probing [0.9870126088784975]
実験的な回答誤り率を過度にサンプリングした結果に基づいて,ソフトターゲットの監視を導入する。
我々は、前世代の設定に注意を向けることで、検知器が幻覚関連プロンプト表現を選択的に集約することを可能にする。
論文 参考訳（メタデータ） (2026-06-20T07:31:41Z) - When prompt perturbations break your A/B test: A valid statistical test for generative surveying [0.3366038232188622]
そこで本研究では,手話検定やウィルコクソン署名ランク検定を含む標準仮説検定が,生成的サーベイの統計モデルの下では無効であることを示す。
本稿では,本モデルで有効な置換テストを提案し,標準テストが失敗する条件を正式に特徴付ける。
論文 参考訳（メタデータ） (2026-05-26T00:35:58Z) - Generating Realistic, Diverse, and Fault-Revealing Inputs with Latent Space Interpolation for Testing Deep Neural Networks [23.018072013940245]
ARGUSは、現実的で多種多様でフォールトレベリングなテスト入力を生成するブラックボックス方式である。
ARGUSは、ターゲットデータセットに対する現実的で多様な敵のサンプルを生成するのに優れています。
モデル再トレーニングに対向サンプルを使用することで、モデルの分類精度が向上する。
論文 参考訳（メタデータ） (2025-03-22T03:19:55Z) - Investigating the Impact of Hard Samples on Accuracy Reveals In-class Data Imbalance [4.291589126905706]
AutoMLドメインでは、モデルの有効性を評価するための重要な指標として、テスト精度が宣言される。
しかし、主性能指標としての試験精度の信頼性は疑問視されている。
トレーニングセットとテストセット間のハードサンプルの分布は、これらのセットの難易度に影響を与える。
本稿では,ハードサンプル識別法を比較するためのベンチマーク手法を提案する。
論文 参考訳（メタデータ） (2024-09-22T11:38:14Z) - Can You Rely on Your Model Evaluation? Improving Model Evaluation with
Synthetic Test Data [75.20035991513564]
本稿では,モデル評価を容易にする深層生成モデリングフレームワークである3Sテストを紹介する。
私たちの実験では、3Sテストが従来のベースラインより優れていることが示されています。
これらの結果は、限られた実テストデータから合成テストデータへのパラダイムシフトが必要かどうかという問題を提起する。
論文 参考訳（メタデータ） (2023-10-25T10:18:44Z) - Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。
本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:05:36Z) - Statistical and Computational Phase Transitions in Group Testing [73.55361918807883]
本研究の目的は、希少な疾患を患っているk人の集団を同定することである。
個々人のテストを割り当てるための2つの異なる単純なランダムな手順を考える。
論文 参考訳（メタデータ） (2022-06-15T16:38:50Z) - Labeling-Free Comparison Testing of Deep Learning Models [28.47632100019289]
本研究では,ラベリング作業の限界を克服し,ランダム性をサンプリングするためのラベリングフリー比較試験手法を提案する。
提案手法は,データセットや分布シフトに関わらず,Spearmanの相関値とKendallの$tau$に対して,最大0.74および0.53のベースライン手法より優れている。
論文 参考訳（メタデータ） (2022-04-08T10:55:45Z) - Understanding Classifier Mistakes with Generative Models [88.20470690631372]
ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。
本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。
我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
論文 参考訳（メタデータ） (2020-10-05T22:13:21Z) - Noisy Adaptive Group Testing using Bayesian Sequential Experimental
Design [63.48989885374238]
病気の感染頻度が低い場合、Dorfman氏は80年前に、人のテストグループは個人でテストするよりも効率が良いことを示した。
本研究の目的は,ノイズの多い環境で動作可能な新しいグループテストアルゴリズムを提案することである。
論文 参考訳（メタデータ） (2020-04-26T23:41:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。