論文の概要: A Data-Centric Perspective on the Influence of Image Data Quality in Machine Learning Models

• arxiv url: http://arxiv.org/abs/2509.24420v1
• Date: Mon, 29 Sep 2025 08:09:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.843189
• Title: A Data-Centric Perspective on the Influence of Image Data Quality in Machine Learning Models
• Title（参考訳）: 機械学習モデルにおける画像品質の影響に関するデータ中心的視点
• Authors: Pei-Han Chen, Szu-Chi Chung,
• Abstract要約: 本研究では,画像データセットの品質を体系的に評価する手法について検討する。 一般的な品質問題を特定し、トレーニングへの影響を定量化します。 コミュニティが開発したツールであるCleanVisionとFastdupを統合したパイプラインを開発しています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In machine learning, research has traditionally focused on model development, with relatively less attention paid to training data. As model architectures have matured and marginal gains from further refinements diminish, data quality has emerged as a critical factor. However, systematic studies on evaluating and ensuring dataset quality in the image domain remain limited. This study investigates methods for systematically assessing image dataset quality and examines how various image quality factors influence model performance. Using the publicly available and relatively clean CIFAKE dataset, we identify common quality issues and quantify their impact on training. Building on these findings, we develop a pipeline that integrates two community-developed tools, CleanVision and Fastdup. We analyze their underlying mechanisms and introduce several enhancements, including automatic threshold selection to detect problematic images without manual tuning. Experimental results demonstrate that not all quality issues exert the same level of impact. While convolutional neural networks show resilience to certain distortions, they are particularly vulnerable to degradations that obscure critical visual features, such as blurring and severe downscaling. To assess the performance of existing tools and the effectiveness of our proposed enhancements, we formulate the detection of low-quality images as a binary classification task and use the F1 score as the evaluation metric. Our automatic thresholding method improves the F1 score from 0.6794 to 0.9468 under single perturbations and from 0.7447 to 0.8557 under dual perturbations. For near-duplicate detection, our deduplication strategy increases the F1 score from 0.4576 to 0.7928. These results underscore the effectiveness of our workflow and provide a foundation for advancing data quality assessment in image-based machine learning.
• Abstract（参考訳）: 機械学習では、従来、研究はモデル開発に重点を置いてきた。 モデルアーキテクチャが成熟し、さらなる改良による限界ゲインが減少するにつれ、データ品質が重要な要因として現れている。 しかし、画像領域におけるデータセットの品質の評価と保証に関する体系的研究は依然として限られている。 本研究では,画像データセットの品質を体系的に評価する手法について検討し,様々な画像品質要因がモデルの性能に与える影響について検討する。 公開されている比較的クリーンなCIFAKEデータセットを使用して、一般的な品質問題を特定し、トレーニングへの影響を定量化する。 これらの知見に基づいて,コミュニティ開発ツールであるCleanVisionとFastdupを統合したパイプラインを構築した。 これらのメカニズムを解析し、手動チューニングなしで問題のある画像を検出する自動しきい値選択など、いくつかの拡張を導入する。 実験の結果、すべての品質問題が同じレベルの影響を及ぼすわけではないことが示されている。 畳み込みニューラルネットワークは特定の歪みに対してレジリエンスを示すが、特に、ぼやけや厳しいダウンスケーリングなどの視覚的特徴が不明瞭な劣化に対して脆弱である。 既存のツールの性能と,提案手法の有効性を評価するため,低品質画像の検出をバイナリ分類タスクとして定式化し,F1スコアを評価指標として利用する。 自動しきい値設定法では, 単一摂動では0.6794から0.9468に, 二重摂動では0.7447から0.8557に改善した。 ほぼ重複検出では,F1のスコアが0.4576から0.7928に増加する。 これらの結果は、我々のワークフローの有効性を裏付け、画像ベース機械学習におけるデータ品質アセスメントの基盤を提供する。

関連論文リスト

• Accelerating Domain-Aware Electron Microscopy Analysis Using Deep Learning Models with Synthetic Data and Image-Wide Confidence Scoring [0.0]
  我々は物理に基づく合成画像とデータ生成装置を作成し、その結果、同等の精度(0.86)、リコール(0.63)、F1スコア(0.71)、エンジニアリング特性予測(R2=0.82)を実現する機械学習モデルを得た。 本研究は,合成データがMLの人間依存を排除し,画像毎に多くの特徴を検出する必要がある場合に,ドメイン認識の手段を提供することを示す。
  論文  参考訳（メタデータ） (2024-08-02T20:15:15Z)
• DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild [73.6767681305851]
  野生のブラインド画像品質評価(IQA)は重大な課題を呈している。 大規模なトレーニングデータの収集が困難であることを考えると、厳密な一般化モデルを開発するために限られたデータを活用することは、未解決の問題である。 事前訓練されたテキスト・ツー・イメージ(T2I)拡散モデルの堅牢な画像認識能力により,新しいIQA法,拡散先行に基づくIQAを提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:32:35Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Helping Visually Impaired People Take Better Quality Pictures [52.03016269364854]
  我々は、視覚障害者が共通の技術的歪みの発生を最小限に抑えるためのツールを開発する。 また、ユーザによる品質問題の緩和を支援する、プロトタイプのフィードバックシステムも作成しています。
  論文  参考訳（メタデータ） (2023-05-14T04:37:53Z)
• Quality-aware Pre-trained Models for Blind Image Quality Assessment [15.566552014530938]
  ブラインド画像品質評価(BIQA)は,画像の知覚品質を自動的に評価することを目的としている。 本稿では,BIQA用にカスタマイズされたプレテキストタスクを用いて,自己教師型学習方式でこの問題を解決することを提案する。
  論文  参考訳（メタデータ） (2023-03-01T13:52:40Z)
• Unsupervised machine learning via transfer learning and k-means clustering to classify materials image data [0.0]
  本稿では,画像分類のための高性能な教師なし機械学習システムの構築,利用,評価について述べる。 我々は、自然画像のImageNetデータセット上に事前訓練されたVGG16畳み込みニューラルネットワークを用いて、各マイクログラフの特徴表現を抽出する。 このアプローチは、99.4% pm 0.16%$の精度を実現し、結果として得られたモデルは、再トレーニングせずに、新しい画像の分類に使うことができる。
  論文  参考訳（メタデータ） (2020-07-16T14:36:04Z)
• No-Reference Image Quality Assessment via Feature Fusion and Multi-Task Learning [29.19484863898778]
  ブラインドまたはノン参照画像品質評価(NR-IQA)は基本的な問題であり、未解決であり、難しい問題である。 マルチタスク学習に基づく簡易かつ効果的な汎用的ノンリフレクション(NR)画像品質評価フレームワークを提案する。 このモデルでは、歪み型と主観的な人間のスコアを用いて画質を推定する。
  論文  参考訳（メタデータ） (2020-06-06T05:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。