Fugu-MT 論文翻訳(概要): Critical analysis on the reproducibility of visual quality assessment using deep features

論文の概要: Critical analysis on the reproducibility of visual quality assessment using deep features

arxiv url: http://arxiv.org/abs/2009.05369v3
Date: Mon, 1 Mar 2021 10:59:22 GMT
ステータス: 処理完了
システム内更新日: 2022-10-20 03:01:14.230310
Title: Critical analysis on the reproducibility of visual quality assessment using deep features
Title（参考訳）: 深部特徴を用いた視覚品質評価の再現性に関する批判的分析
Authors: Franz G\"otz-Hahn and Vlad Hosu and Dietmar Saupe
Abstract要約: 教師付き機械学習モデルのトレーニングに使用されるデータは、一般的に独立したトレーニング、検証、テストセットに分割される。本稿では,非参照画像と映像品質評価文献に複雑なデータ漏洩事件が発生したことを示す。
参考スコア（独自算出の注目度）: 6.746400031322727
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Data used to train supervised machine learning models are commonly split into independent training, validation, and test sets. This paper illustrates that complex data leakage cases have occurred in the no-reference image and video quality assessment literature. Recently, papers in several journals reported performance results well above the best in the field. However, our analysis shows that information from the test set was inappropriately used in the training process in different ways and that the claimed performance results cannot be achieved. When correcting for the data leakage, the performances of the approaches drop even below the state-of-the-art by a large margin. Additionally, we investigate end-to-end variations to the discussed approaches, which do not improve upon the original.
Abstract（参考訳）: 教師付き機械学習モデルのトレーニングに使用されるデータは、一般的に独立したトレーニング、検証、テストセットに分割される。本稿では,非参照画像と映像品質評価文献に複雑なデータ漏洩事件が発生したことを示す。最近、いくつかの雑誌の論文が、この分野で最も優れた成績を報告している。しかし,本研究では,テストセットからの情報を異なる方法でトレーニングプロセスで不適切に使用し,要求性能が達成できないことを示した。データ漏洩を補正する場合、そのアプローチのパフォーマンスは最先端よりも大きなマージンで低下する。さらに,提案手法の終末変動について検討するが,原点では改善されない。

関連論文リスト

A Survey on Deep Learning-based Gaze Direction Regression: Searching for the State-of-the-art [0.0]
本稿では,頭部・眼像からの視線方向ベクトルの回帰に対する深層学習に基づく手法について検討する。本稿では、入力データ、モデルのアーキテクチャ、モデルの監視に使用される損失関数に焦点をあてた、多数の公開手法について詳述する。本稿では、視線方向回帰法を訓練し、評価するために使用できるデータセットのリストを示す。
論文参考訳（メタデータ） (2024-10-22T15:07:07Z)
Early-Stage Anomaly Detection: A Study of Model Performance on Complete vs. Partial Flows [0.0]
本研究では,異常検出システムにおける機械学習モデル,特にランダムフォレストの有効性について検討した。実世界のリアルタイムネットワーク環境に典型的な不完全なデータにモデルを適用する際に生じる性能格差について検討する。
論文参考訳（メタデータ） (2024-07-03T07:14:25Z)
Too Good To Be True: performance overestimation in (re)current practices for Human Activity Recognition [49.1574468325115]
データセグメンテーションのためのスライディングウィンドウと、標準のランダムk倍のクロスバリデーションが続くと、バイアスのある結果が得られる。この問題に対する科学界の認識を高めることは重要であり、その否定的な影響は見落とされつつある。異なるタイプのデータセットと異なるタイプの分類モデルを用いたいくつかの実験により、問題を示し、メソッドやデータセットとは独立して持続することを示すことができる。
論文参考訳（メタデータ） (2023-10-18T13:24:05Z)
Analyzing Dataset Annotation Quality Management in the Wild [63.07224587146207]
最先端モデルのトレーニングと評価に使用される一般的なデータセットでさえ、誤ったアノテーションやバイアス、アーティファクトの量は無視できない。データセット作成プロジェクトに関するプラクティスやガイドラインは存在するが、品質管理の実施方法に関する大規模な分析はまだ行われていない。
論文参考訳（メタデータ） (2023-07-16T21:22:40Z)
A Pretrainer's Guide to Training Data: Measuring the Effects of Data Age, Domain Coverage, Quality, & Toxicity [84.6421260559093]
この研究は、テキスト事前学習に関する文書化されていない直観を検証、定量化、公開するための最大の実験である。以上の結果から,トレーニングデータをフィルタリングする一大ソリューションが存在しないことが示唆された。
論文参考訳（メタデータ） (2023-05-22T15:57:53Z)
Systematic Evaluation of Predictive Fairness [60.0947291284978]
バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。データ条件が相対モデルの性能に強い影響を与えることがわかった。
論文参考訳（メタデータ） (2022-10-17T05:40:13Z)
Artifact-Based Domain Generalization of Skin Lesion Models [20.792979998188848]
一般化評価とデバイアス化を可能にするために,アーティファクトアノテーションに依存するパイプラインを提案する。我々は,皮膚病変のアーティファクトをベースとした環境を作成し,ドメインの一般化を可能にする。以上の結果から,1つの側面にモデルを偏在させるだけでは,皮膚病変の公正な解析に十分ではないのではないか,という懸念が浮かび上がっている。
論文参考訳（メタデータ） (2022-08-20T22:25:09Z)
Bias-Aware Loss for Training Image and Speech Quality Prediction Models from Multiple Datasets [13.132388683797503]
学習中の各データセットのバイアスを線形関数で推定するバイアス認識損失関数を提案する。合成および主観的画像および音声品質データセットにおける品質予測モデルの訓練と検証により,提案手法の有効性を実証する。
論文参考訳（メタデータ） (2021-04-20T19:20:11Z)
Hidden Biases in Unreliable News Detection Datasets [60.71991809782698]
データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
論文参考訳（メタデータ） (2021-04-20T17:16:41Z)
How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
本稿では,トレーニングデータの密度と制御性能の関係を考察する。データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
論文参考訳（メタデータ） (2020-05-25T12:13:49Z)
Comment on "No-Reference Video Quality Assessment Based on the Temporal Pooling of Deep Features" [6.746400031322727]
ニューラルプロセッシングレター50,3では、ブラインドビデオ品質評価のための機械学習アプローチが提案された。これは、深層畳み込みニューラルネットワークの最後のプール層から取り出されたビデオフレームの特徴の時間プールに基づいている。この方法は、2つの確立されたベンチマークデータセットで検証され、以前の最先端モデルよりもはるかに良い結果が得られた。当初報告された不正な性能結果が,データ漏洩の2例の結果であることを示す。
論文参考訳（メタデータ） (2020-05-09T09:28:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。