論文の概要: From Benchmark Performance to Tool Deployment: Human-in-the-Loop Anomaly Detection

• arxiv url: http://arxiv.org/abs/2608.07770v1
• Date: Fri, 07 Aug 2026 21:31:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.506274
• Title: From Benchmark Performance to Tool Deployment: Human-in-the-Loop Anomaly Detection
• Title（参考訳）: ベンチマークパフォーマンスからツールデプロイメントへ:ヒューマン・イン・ザ・ループ異常検出
• Abstract要約: BowTieデータセットを用いた19の教師なし異常検出モデルの評価を行った。 モデル性能は、標準ベンチマークで通常報告されるよりも安定性が低いことを観察する。 我々は、製造部品検査のための統一されたヒューマン・イン・ザ・ループ・フレームワークをデプロイする。
• 参考スコア（独自算出の注目度）: 28.67239775192971
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated anomaly detection methods often report strong performance on curated academic benchmarks, but their behavior under real-world industrial conditions is less clear. In this work, we evaluate 19 unsupervised anomaly detection models on the BowTie dataset, a challenging manufacturing dataset with reflective surfaces, subtle defects, and profile-specific variation. In contrast to benchmark results, we observe that model performance is less stable than typically reported on standard benchmarks such as MVTec AD, highly sensitive to preprocessing, and inconsistent across conditions, with no single approach emerging as uniformly robust; a consensus audit further indicates that nominal-data quality affects deployment. Motivated by these findings, we developed and initially deployed a unified human-in-the-loop framework for manufactured-part inspection that combines image annotation, AI-assisted defect detection, and an integrated validation engine, replacing a prior manual visual inspection and documentation workflow. The system supports heatmap-guided defect review, SAM-refined candidate regions for inspector acceptance, rejection, or boundary adjustment, mask evaluation where annotations exist, and review history for inspector consistency and onboarding. Together, the results highlight the gap between benchmark performance and deployment reality, and provide a practical framework for addressing it.
• Abstract（参考訳）: 自動異常検出手法は、キュレートされたベンチマークで高い性能を示すことが多いが、実際の工業条件下での挙動は明らかになっていない。 本研究では,BowTieデータセット上での19の教師なし異常検出モデル,反射面,微妙な欠陥,プロファイル固有の変動を有する製造データセットを評価する。 ベンチマーク結果とは対照的に,MVTec ADなどの標準ベンチマークではモデル性能が一般的に報告されるよりも安定性が低く,前処理に非常に敏感であり,一様ロバストな単一のアプローチが存在しないため,一意的にデータ品質がデプロイメントに影響を与えることがコンセンサス監査によって示されている。 これらの知見に触発されて、画像アノテーション、AI支援欠陥検出、統合検証エンジンを組み合わせた、製造部品検査のための統一されたヒューマン・イン・ザ・ループ・フレームワークを開発し、最初に展開した。 このシステムは、ヒートマップ誘導欠陥レビュー、インスペクタの受け入れ、拒絶、境界調整のためのSAM修正候補領域、アノテーションが存在するマスク評価、インスペクタの一貫性とオンボードに関する履歴のレビューをサポートする。 結果は、ベンチマークパフォーマンスとデプロイメント現実のギャップを強調し、それに取り組むための実践的なフレームワークを提供する。

関連論文リスト

• From Signals to Transfer: A Factorised Study of Probe-Based Uncertainty Estimation in Large Language Models [51.470637128942336]
  本稿では, 一致する条件下でのプローブベース不確実性推定(UE)について, 因子分析を行った。 この結果から,隠れ状態や注目特徴がドメイン内よりも優れていることが示唆された。 我々は、オープンエンドの事実生成に対して合理的に伝達するベンチマークベースの事前訓練プローブを訓練する。
  論文  参考訳（メタデータ） (2026-06-26T03:23:15Z)
• Navigating the Sea of LLM Evaluation: Investigating Bias in Toxicity Benchmarks [0.36748639131154315]
  本研究は、確立されたベンチマーク設定の堅牢性を調査し、本質的なバイアスを測定する方法を検討する。 本実験では,評価設定が変更された場合のベンチマーク動作に有意な差がみられた。 モデル固有の不安定性を観察し、より堅牢で包括的な安全性評価フレームワークの必要性を明確に示す。
  論文  参考訳（メタデータ） (2026-05-11T14:27:39Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• K$α$LOS finds Consensus: A Meta-Algorithm for Evaluating Inter-Annotator Agreement in Complex Vision Tasks [4.297070083645049]
  本稿では,「ローカライゼーションファースト」の原理を一般化した統一メタアルゴリズムであるK$LOSを提案する。 合意を査定する前に空間対応を解消することにより,複雑な分類問題を名目上の信頼性に変換する。
  論文  参考訳（メタデータ） (2026-03-28T08:54:05Z)
• ProbeLLM: Automating Principled Diagnosis of LLM Failures [89.44131968886184]
  ProbeLLMはベンチマークに依存しない自動探索フレームワークで、個々の障害から構造的障害モードへの脆弱性発見を増大させる。 ProbeLLMは、検証可能なテストケースにプローブを制限し、ツールの拡張された生成と検証を活用することで、信頼性のある証拠として障害発見を根拠とする。
  論文  参考訳（メタデータ） (2026-02-13T14:33:13Z)
• Toward Faithful Explanations in Acoustic Anomaly Detection [21.487734134424187]
  現実の異常検出アプリケーションにおけるユーザ信頼の解釈性は不可欠である。 我々は,標準的なオートエンコーダ (AE) とマスクオートエンコーダ (MAE) を比較する。 MAEは一貫してより忠実で時間的に正確な説明を提供し、真の異常との整合性を示唆している。
  論文  参考訳（メタデータ） (2026-01-19T02:16:37Z)
• Correcting False Alarms from Unseen: Adapting Graph Anomaly Detectors at Test Time [60.341117019125214]
  グラフ異常検出(GAD)における未確認正規pattErnsの修正のための,軽量かつプラグアンドプレイなテスト時間適応フレームワークを提案する。 意味的混乱に対処するために、シフトしたデータと元のデータとをグラフ属性レベルで整合させるグラフ整合器を用いる。 10個の実世界のデータセットに対する大規模な実験により、TUNEは事前学習されたGADモデルの合成パターンと実際の見えない正常パターンの両方への一般化性を著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-11-10T12:10:05Z)
• ISP-AD: A Large-Scale Real-World Dataset for Advancing Industrial Anomaly Detection with Synthetic and Real Defects [0.0]
  ISP-ADは、ファクトリフロアから直接収集された合成欠陥と実際の欠陥を含む、これまでで最大のパブリックな産業データセットである。 実験により、少量の注入でも弱いラベル付き実欠陥が一般化を改善することが示されている。
  論文  参考訳（メタデータ） (2025-03-06T21:56:31Z)
• AUPIMO: Redefining Visual Anomaly Detection Benchmarks with High Speed and Low Tolerance [0.562479170374811]
  Per-IMage Overlap(PIMO)は、AUROCとAUPROの欠点に対処する新しいメトリクスである。 画像ごとのリコールの測定は、計算を単純化し、ノイズの多いアノテーションに対してより堅牢である。 実験の結果,PIMOは実用的優位性があり,性能の見識に乏しいことがわかった。
  論文  参考訳（メタデータ） (2024-01-03T21:24:44Z)
• An Outlier Exposure Approach to Improve Visual Anomaly Detection Performance for Mobile Robots [76.36017224414523]
  移動ロボットの視覚異常検出システム構築の問題点を考察する。 標準異常検出モデルは、非異常データのみからなる大規模なデータセットを用いて訓練される。 本研究では,これらのデータを利用してリアルNVP異常検出モデルの性能向上を図る。
  論文  参考訳（メタデータ） (2022-09-20T15:18:13Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。