論文の概要: Test Case Selection for Deep Neural Networks: A Replication Study on LLMs for Code

• arxiv url: http://arxiv.org/abs/2606.27601v1
• Date: Thu, 25 Jun 2026 23:25:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.325777
• Title: Test Case Selection for Deep Neural Networks: A Replication Study on LLMs for Code
• Title（参考訳）: ディープニューラルネットワークのテストケース選択:コード用LLMのレプリケーション研究
• Abstract要約: ディープニューラルネットワーク(DNN)の運用評価を支援するために,テストケース選択(TCS)技術が検討されている。 我々は、当初提案されていたDNNのための確立されたTCS戦略を再検討し、これまで評価されなかった統計的サンプリング戦略を補完する。 コードに関連する3つの分類タスク – クローン検出,脆弱性検出,技術的負債予測 – において,その有効性を評価する。
• 参考スコア（独自算出の注目度）: 12.387676601792897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, test case selection (TCS) techniques have been explored to support the operational evaluation of deep neural networks (DNNs) under limited testing budgets, where labeling cost is a primary concern and uncovering model failures early is a key objective. Although prior studies report promising results, existing empirical evaluations focus almost exclusively on vision-based DNNs and datasets, leaving it unclear whether prior findings generalize to LLM code models. This paper presents a large-scale replication study of TCS techniques in the context of LLM code models. We re-examine established TCS strategies originally proposed for DNNs and complement them with statistical sampling strategies not previously evaluated for TCS. We assess their effectiveness on three code-related classification tasks: clone detection, vulnerability detection, and technical debt prediction. The study spans 17 task-specific fine-tuned model instances, 7 predictive features, and 13 selection strategies, including 12 feature-aware strategies and simple random sampling (SRS) as a feature-agnostic baseline. We evaluate performance along two dimensions: accuracy estimation and early failure discovery. The results indicate that only a subset of findings reported for vision-based DNNs generalize when TCS is applied to LLMs for code. In particular, uncertainty-based features are effective for early failure discovery, while representation-based features are more robust for accuracy estimation. At the same time, performance varies substantially across tasks and models, indicating that TCS effectiveness is context-dependent. Overall, this study provides empirical evidence on the replicability of TCS techniques beyond vision-based deep learning and offers insights into their use for the operational evaluation of LLMs for code.
• Abstract（参考訳）: 近年,テストケース選択(TCS)技術は,テスト予算の制限下でのディープニューラルネットワーク(DNN)の運用評価を支援するために研究されている。 従来の研究では有望な結果が報告されていたが、既存の経験的評価は視覚ベースのDNNとデータセットにのみ焦点をあてており、以前の発見がLLMコードモデルに一般化するかどうかは不明である。 本稿では,LLM符号モデルにおけるTCS手法の大規模レプリケーションについて述べる。 我々は、当初提案されていたDNNのための確立されたTCS戦略を再検討し、これまで評価されなかった統計的サンプリング戦略を補完する。 コードに関連する3つの分類タスク – クローン検出,脆弱性検出,技術的負債予測 – において,その有効性を評価する。 この研究は17のタスク固有の微調整モデルインスタンス、7つの予測機能、12の特徴認識戦略と単純なランダムサンプリング(SRS)を含む13の選択戦略にまたがる。 精度推定と早期故障発見という2つの次元による性能評価を行った。 以上の結果から,TCSがLLMに適用された場合,ビジョンベースDNNで報告された結果のサブセットのみが一般化されることがわかった。 特に、不確実性に基づく特徴は早期の故障発見には有効であるが、表現に基づく特徴は精度評価にはより堅牢である。 同時に、パフォーマンスはタスクやモデルによって大きく異なり、TCSの有効性は文脈に依存していることを示している。 全体として、本研究では、視覚に基づく深層学習を超えたTCS技術の複製可能性に関する実証的な証拠を提供し、コードのためのLCMの運用評価に利用するための知見を提供する。

関連論文リスト

• A Systematic Evaluation of Sample-Level Tokenization Strategies for MEG Foundation Models [6.336623115095147]
  近年の自然言語処理の成功は、ニューロイメージングデータのための大規模基盤モデルへの関心が高まっている。 ニューラルネットワークに対する異なるトークン化戦略の影響は、現時点ではあまり理解されていない。 本稿では,脳磁図(MEG)データに適用したトランスフォーマーを用いた大規模ニューロイメージングモデルに対して,サンプルレベルのトークン化戦略を体系的に評価する。
  論文  参考訳（メタデータ） (2026-02-18T17:21:02Z)
• Analyzing VLM-Based Approaches for Anomaly Classification and Segmentation [0.0]
  VLM(Vision-Language Models)は、広範囲なラベル付きデータセットなしでゼロショットと少数ショットの欠陥識別を可能にすることで、異常検出に革命をもたらした。 本研究は, 異常分類 (AC) と異常分割 (AS) に対する VLM に基づくアプローチを包括的に分析する。
  論文  参考訳（メタデータ） (2026-01-19T22:55:30Z)
• Analytical Survey of Learning with Low-Resource Data: From Analysis to Investigation [192.53529928861818]
  高リソースデータによる学習は人工知能(AI)において大きな成功を収めた しかし、データアノテーションやモデルトレーニングに関連するコストは依然として大きい。 本調査では,低リソースデータからの学習に伴う一般化誤差とラベル複雑性を分析するために,アクティブサンプリング理論を用いた。
  論文  参考訳（メタデータ） (2025-10-10T03:15:42Z)
• Specialization after Generalization: Towards Understanding Test-Time Training in Foundation Models [64.02612380298228]
  最近の研究は、テストタイムトレーニング(TTT)として知られる特定のタスクに対して、テストタイムでモデルをトレーニングし続けるというアイデアを探求している。 本稿では,TTTがグローバルトレーニングよりもはるかに小さな分布内テスト誤差を達成できるモデルを提案する。 我々は、ImageNet上でスパースオートエンコーダをトレーニングすることで、モデルの主要な仮定を実証的に検証する。
  論文  参考訳（メタデータ） (2025-09-29T09:24:52Z)
• Mitigating Strategy-Selection Bias in Reasoning for More Effective Test-Time Scaling [27.616118519120366]
  テストタイムスケーリング(TTS)は,多種多様な推論経路をサンプリング・集約することにより,大規模言語モデル(LLM)の性能を向上させることが示されている。 本稿では,テスト時間スケーリングの有効性を損なう場合の理論的解析について述べる。 この理論的な洞察に触発され、推論戦略の選択バイアスを軽減するために設計されたフレームワークであるTS-Uniformを導入する。
  論文  参考訳（メタデータ） (2025-09-22T15:30:56Z)
• Test-time Offline Reinforcement Learning on Goal-related Experience [50.94457794664909]
  基礎モデルの研究では、テストタイムトレーニングによってパフォーマンスが大幅に改善できることが示されている。 本稿では、オフラインデータセットから現在の状態への関連性に応じて遷移を選択する、新しい自己教師型データ選択基準を提案する。 目標条件付きテストタイムトレーニング(GC-TTT)アルゴリズムは、評価中にこのルーチンを後退水平方式で適用し、現在の軌道にポリシーを適用する。
  論文  参考訳（メタデータ） (2025-07-24T21:11:39Z)
• Data-efficient Meta-models for Evaluation of Context-based Questions and Answers in LLMs [1.6332728502735252]
  大規模言語モデル(LLM)とレトリーバル拡張生成(RAG)システムは、産業アプリケーションにますます多くデプロイされている。 その信頼性は、幻覚検出の課題によって妨げられている。 本稿では,データアノテーションのボトルネックを,トレーニングデータ要件の低減の可能性を検討することによって解決する。
  論文  参考訳（メタデータ） (2025-05-29T09:50:56Z)
• Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
  この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。 本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:04:39Z)
• Provably Neural Active Learning Succeeds via Prioritizing Perplexing Samples [53.95282502030541]
  ニューラルネットワークベースのアクティブラーニング(NAL)は、ニューラルネットワークを使用してサンプルの小さなサブセットを選択してトレーニングする、費用対効果の高いデータ選択技術である。 我々は、機能学習の観点から、両方のクエリ基準ベースのNALの成功について、統一的な説明を提供することにより、一歩前進させようとする。
  論文  参考訳（メタデータ） (2024-06-06T10:38:01Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。