論文の概要: ADEPT: A Unified Framework for Deep Learning Test Adequacy
- arxiv url: http://arxiv.org/abs/2608.12144v1
- Date: Wed, 12 Aug 2026 15:03:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.620653
- Title: ADEPT: A Unified Framework for Deep Learning Test Adequacy
- Title（参考訳）: ADEPT:Deep Learning Test Adequacyの統一フレームワーク
- Abstract要約: 本稿では,代表的妥当性技術を統合したADEPTの工学的詳細について述べる。
ADEPTはテンプレートベースのメトリックインターフェースを提供する。
ADEPTは、欠落したツールを実装するのに何日も数週間も費やさずに、適切なメトリクスを再現し、適用したい研究者や実践者向けに設計されている。
- 参考スコア（独自算出の注目度）: 0.4899818550820574
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Over the past decade, many test adequacy metrics have been proposed for deep learning that characterize test dataset adequacy from different perspectives, e.g., neuron activation behavior, latent feature coverage, decision-boundary exploration, etc. However, these metrics are typically released as independent research prototypes with substantially different installation and preprocessing requirements, execution workflows, and configuration mechanisms. These complications make them quite difficult to reproduce, compare, and adopt in research work and practical deployment alike. In this paper, we present the engineering details of ADEPT, a framework that integrates representative adequacy techniques, including neuron-coverage-based metrics, surprise adequacy, input distribution coverage, boundary coverage, and source- and model-level mutation score, under a consistent execution workflow. ADEPT provides a template-based metric interface with well-defined extension points for integrating new adequacy metrics. Furthermore, it provides YAML-based configuration management, preprocessing-cache reuse, and structured result reporting, making it easy to use in any research and development workflows. ADEPT is designed for researchers and practitioners who wish to reproduce and apply adequacy metrics without spending days or weeks implementing missing tooling or configuring disparate research prototypes. A demo video is available at https://aub.ie/ADEPT_video.
- Abstract（参考訳）: 過去10年間で、さまざまな視点からテストデータセットの妥当性を特徴づけるディープラーニング、例えばニューロンのアクティベーション行動、潜在機能カバレッジ、意思決定境界探索など、多くのテスト精度指標が提案されている。
しかしながら、これらのメトリクスは一般的に、インストールと前処理の要件、実行ワークフロー、設定メカニズムが大幅に異なる独立した研究プロトタイプとしてリリースされている。
これらの複雑さは、研究作業や実践的なデプロイメントにおいて、再現、比較、採用を非常に困難にします。
本稿では、一貫した実行ワークフローの下で、ニューロン被覆に基づくメトリクス、サプライズ精度、入力分布カバレッジ、境界範囲、ソースレベルおよびモデルレベルの突然変異スコアを含む代表的精度技術を統合するフレームワークADEPTの工学的詳細を述べる。
ADEPTはテンプレートベースのメトリックインターフェースを提供する。
さらに、YAMLベースの構成管理、前処理とキャッシュの再利用、構造化結果のレポートも提供しており、どんな研究や開発ワークフローでも簡単に使える。
ADEPTは、欠落したツールを実装したり、異なる研究プロトタイプを設定することなく、何日も数週間も経たずに、適切なメトリクスを再現し、適用したい研究者や実践者向けに設計されている。
デモビデオはhttps://aub.ie/ADEPT_videoで公開されている。
関連論文リスト
- CIPHER: A Decoupled Exploration-Selection Framework for Test-Time Scaling of Data Science Agents [1.4057557845067372]
CIPHERは自動データサイエンスエージェントで、同時実行のための複数の初期状態の生成と選択を通じてテスト時間のスケーリングを活用する。
マッチングモデルの比較において,CIPHERが最先端性能を上回ることを示す。
本研究は,Decoupled Exploration-Selectionフレームワークの設計空間を特徴付けるものである。
論文 参考訳（メタデータ） (2026-07-15T22:01:21Z) - TraceLLM: Leveraging Large Language Models with Prompt Engineering for Enhanced Requirements Traceability [4.517933493143603]
本稿では,要求トレーサビリティ向上のためのフレームワークであるTraceLLMを紹介する。
我々は,4つのベンチマークデータセット上で8つの最先端LCMを用いて,迅速な一般化とロバスト性を評価する。
論文 参考訳（メタデータ） (2026-02-01T14:29:13Z) - EmbodiedBrain: Expanding Performance Boundaries of Task Planning for Embodied Intelligence [17.644658293987955]
身体的AIエージェントは、物理的環境における堅牢な空間認識、効果的なタスク計画、適応実行を行うことができる。
現在の大規模言語モデル (LLMs) とマルチモーダルLLM (MLLMs) の具体化タスクは、重要な制約に悩まされている。
EmbodiedBrain は 7B と 32B のパラメータサイズで利用できる新しい視覚言語基盤モデルである。
論文 参考訳（メタデータ） (2025-10-23T14:05:55Z) - Rethinking Testing for LLM Applications: Characteristics, Challenges, and a Lightweight Interaction Protocol [83.83217247686402]
大言語モデル(LLM)は、単純なテキストジェネレータから、検索強化、ツール呼び出し、マルチターンインタラクションを統合する複雑なソフトウェアシステムへと進化してきた。
その固有の非決定主義、ダイナミズム、文脈依存は品質保証に根本的な課題をもたらす。
本稿では,LLMアプリケーションを3層アーキテクチャに分解する: textbftextitSystem Shell Layer, textbftextitPrompt Orchestration Layer, textbftextitLLM Inference Core。
論文 参考訳（メタデータ） (2025-08-28T13:00:28Z) - Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments [70.42705564227548]
大規模言語モデル(LLM)のための環境自動構築パイプラインを提案する。
これにより、外部ツールに頼ることなく、詳細な測定可能なフィードバックを提供する高品質なトレーニング環境の作成が可能になる。
また、ツール使用の精度とタスク実行の完全性の両方を評価する検証可能な報酬機構も導入する。
論文 参考訳（メタデータ） (2025-08-12T09:45:19Z) - Comprehensive Evaluation of Prototype Neural Networks [0.6967006044904097]
プロトタイプモデルは、説明可能な人工知能(XAI)と解釈可能な機械学習の重要な方法である。
本稿では,ProtoPNet,ProtoPool,PIPNetなどの著名なプロトタイプモデルの詳細な分析を行う。
モデル解釈可能性の分析をさらに補完する新しい指標をいくつか提案する。
論文 参考訳（メタデータ） (2025-07-09T13:08:21Z) - Deep Research Agents: A Systematic Examination And Roadmap [109.53237992384872]
Deep Research (DR) エージェントは複雑な多ターン情報研究タスクに取り組むように設計されている。
本稿では,DRエージェントを構成する基礎技術とアーキテクチャコンポーネントの詳細な分析を行う。
論文 参考訳（メタデータ） (2025-06-22T16:52:48Z) - Challenges in Testing Large Language Model Based Software: A Faceted Taxonomy [8.927002750209295]
LLM(Large Language Models)とMulti-Agent LLM(MALLMs)は、従来の機械学習ソフトウェアとは異なり、非決定性を導入している。
本稿では,LLMテストケース設計のための分類法について述べる。
論文 参考訳（メタデータ） (2025-03-01T13:15:56Z) - Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。
本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
論文 参考訳（メタデータ） (2025-02-17T18:04:39Z) - Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
現代の言語モデル(LM)は、能力評価において新たな課題を提起する。
メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
論文 参考訳（メタデータ） (2024-07-22T17:52:12Z) - Geometric Deep Learning for Structure-Based Drug Design: A Survey [83.87489798671155]
構造に基づく薬物設計(SBDD)は、タンパク質の3次元幾何学を利用して、潜在的な薬物候補を特定する。
近年の幾何学的深層学習の進歩は、3次元幾何学的データを効果的に統合・処理し、この分野を前進させてきた。
論文 参考訳（メタデータ） (2023-06-20T14:21:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。