論文の概要: TorchTraceAP: A New Benchmark Dataset for Detecting Performance Anti-Patterns in Computer Vision Models

• arxiv url: http://arxiv.org/abs/2512.14141v1
• Date: Tue, 16 Dec 2025 06:54:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-17 16:49:26.620232
• Title: TorchTraceAP: A New Benchmark Dataset for Detecting Performance Anti-Patterns in Computer Vision Models
• Title（参考訳）: TorchTraceAP:コンピュータビジョンモデルにおけるパフォーマンスアンチパターン検出のためのベンチマークデータセット
• Authors: Hanning Chen, Keyu Man, Kevin Zhu, Chenguang Zhu, Haonan Li, Tongbo Luo, Xizhou Feng, Wei Sun, Sreen Tallam, Mohsen Imani, Partha Kanuparthy,
• Abstract要約: トレース中のアンチパターンを検出する機械学習モデルの評価と改善を目的とした,最初のベンチマークデータセットを提案する。 私たちのデータセットには、コンピュータビジョンモデルの分類、検出、セグメンテーション、生成から600以上のPyTorchトレースが含まれています。 軽量MLモデルは、まずアンチパターンを含むトレースセグメントを検出し、次に、きめ細かい分類と目標フィードバックのための大規模言語モデル(LLM)を提案する。
• 参考スコア（独自算出の注目度）: 20.52988819668052
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Identifying and addressing performance anti-patterns in machine learning (ML) models is critical for efficient training and inference, but it typically demands deep expertise spanning system infrastructure, ML models and kernel development. While large tech companies rely on dedicated ML infrastructure engineers to analyze torch traces and benchmarks, such resource-intensive workflows are largely inaccessible to computer vision researchers in general. Among the challenges, pinpointing problematic trace segments within lengthy execution traces remains the most time-consuming task, and is difficult to automate with current ML models, including LLMs. In this work, we present the first benchmark dataset specifically designed to evaluate and improve ML models' ability to detect anti patterns in traces. Our dataset contains over 600 PyTorch traces from diverse computer vision models classification, detection, segmentation, and generation collected across multiple hardware platforms. We also propose a novel iterative approach: a lightweight ML model first detects trace segments with anti patterns, followed by a large language model (LLM) for fine grained classification and targeted feedback. Experimental results demonstrate that our method significantly outperforms unsupervised clustering and rule based statistical techniques for detecting anti pattern regions. Our method also effectively compensates LLM's limited context length and reasoning inefficiencies.
• Abstract（参考訳）: 機械学習(ML)モデルのパフォーマンスアンチパターンの特定と対処は、効率的なトレーニングと推論には不可欠だが、通常はシステムインフラストラクチャ、MLモデル、カーネル開発にまたがる深い専門知識を必要とする。 大企業は、トーチトレースとベンチマークを分析するために、専用のMLインフラストラクチャエンジニアに頼っているが、そのようなリソース集約型ワークフローは、コンピュータビジョンの研究者全般にとって、ほとんどアクセスできない。 課題の1つとして、長い実行トレース内で問題のあるトレースセグメントをピンポイントすることは最も時間を要するタスクであり、LLMを含む現在のMLモデルでは自動化が困難である。 本研究では、トレース中のアンチパターンを検出するMLモデルの能力を評価・改善するために設計された、最初のベンチマークデータセットを示す。 私たちのデータセットには、さまざまなコンピュータビジョンモデルの分類、検出、セグメンテーション、複数のハードウェアプラットフォームで収集された生成から600以上のPyTorchトレースが含まれています。 軽量なMLモデルは、まずアンチパターンでトレースセグメントを検出し、次に、きめ細かい分類と目標とするフィードバックのための大規模言語モデル(LLM)を提案する。 実験の結果,本手法は非教師なしクラスタリングとルールに基づく統計的手法でアンチパターン領域の検出に優れていた。 また,LLMの限られた文脈長と推論不効率を効果的に補償する手法を提案する。

関連論文リスト

• DetectAnyLLM: Towards Generalizable and Robust Detection of Machine-Generated Text Across Domains and Models [60.713908578319256]
  タスク指向の知識で検出器を最適化するために,DDL(Direct Discrepancy Learning)を提案する。 そこで本研究では,最新のMGTD性能を実現する統合検出フレームワークであるTectAnyLLMを紹介する。 MIRAGEは5つのテキストドメインにまたがる10のコーパスから人書きテキストをサンプリングし、17個の最先端のLLMを使用して再生成または修正する。
  論文  参考訳（メタデータ） (2025-09-15T10:59:57Z)
• LEMUR Neural Network Dataset: Towards Seamless AutoML [35.57280723615144]
  我々は、PyTorchベースのニューラルネットワークの大規模なコレクションを提供するオープンソースのデータセットとフレームワークであるLEMURを紹介する。 各モデルは統一されたテンプレートに従い、構成と結果が構造化データベースに格納され、一貫性が保証される。 LEMURはAutoMLの研究を加速し、公正なベンチマークを可能にし、大規模ニューラルネットワーク研究の障壁を減らすことを目的としている。
  論文  参考訳（メタデータ） (2025-04-14T09:08:00Z)
• Efficient Model Selection for Time Series Forecasting via LLMs [52.31535714387368]
  本稿では,Large Language Models (LLM) をモデル選択の軽量な代替手段として活用することを提案する。 提案手法は, LLMの固有知識と推論能力を活用することで, 明示的な性能行列の必要性を解消する。
  論文  参考訳（メタデータ） (2025-04-02T20:33:27Z)
• Benchmarking Android Malware Detection: Traditional vs. Deep Learning Models [6.9053043489744015]
  Androidのマルウェア検出は、従来の機械学習(ML)とディープラーニング(DL)の両方のアプローチを用いて、広範囲に研究されている。 多くの最先端検出モデルは優れた性能を主張するが、限られた比較に頼っていることが多い。 これにより、DLベースのアプローチのパフォーマンスの堅牢性と、よりシンプルで効率的なMLモデルの潜在的監視に関する懸念が高まる。
  論文  参考訳（メタデータ） (2025-02-20T20:56:05Z)
• DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。 我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。 DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
  論文  参考訳（メタデータ） (2024-06-07T19:38:05Z)
• AttributionScanner: A Visual Analytics System for Model Validation with Metadata-Free Slice Finding [29.07617945233152]
  データスライス検索は、低パフォーマンスを示すデータセット内のサブグループを特定し解析することで、機械学習(ML)モデルを検証するための新興技術である。 このアプローチは、追加メタデータに対する退屈でコストのかかる要件を含む、重大な課題に直面します。 本稿では,メタデータを含まないデータスライス検索用に設計された,革新的なビジュアルアナリティクス(VA)システムであるAttributionScannerを紹介する。 本システムでは、一般的なモデル動作を含む解釈可能なデータスライスを特定し、属性モザイク設計によりこれらのパターンを可視化する。
  論文  参考訳（メタデータ） (2024-01-12T09:17:32Z)
• IoTGeM: Generalizable Models for Behaviour-Based IoT Attack Detection [3.3772986620114387]
  IoTGeMはIoTネットワークアタックをモデル化するためのアプローチで、汎用性を重視しながら、検出とパフォーマンスの向上にも寄与する。 厳格に独立したトレインとテストデータセットを使用して、モデルを構築、テストします。 IoTGeMは、ACK、HTTP、Syn、MHD、PS攻撃で99%のF1スコア、UDP攻撃で94%のF1スコアを達成した。
  論文  参考訳（メタデータ） (2023-10-17T21:46:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。