論文の概要: Too Good To Be True: performance overestimation in (re)current practices
for Human Activity Recognition
- arxiv url: http://arxiv.org/abs/2310.11950v1
- Date: Wed, 18 Oct 2023 13:24:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 16:37:04.256494
- Title: Too Good To Be True: performance overestimation in (re)current practices
for Human Activity Recognition
- Title(参考訳): 正直に言うと:人間活動認識のための(繰り返し)実践におけるパフォーマンス過大評価
- Authors: Andr\'es Tello, Victoria Degeler and Alexander Lazovik
- Abstract要約: データセグメンテーションのためのスライディングウィンドウと、標準のランダムk倍のクロスバリデーションが続くと、バイアスのある結果が得られる。
この問題に対する科学界の認識を高めることは重要であり、その否定的な影響は見落とされつつある。
異なるタイプのデータセットと異なるタイプの分類モデルを用いたいくつかの実験により、問題を示し、メソッドやデータセットとは独立して持続することを示すことができる。
- 参考スコア(独自算出の注目度): 49.1574468325115
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Today, there are standard and well established procedures within the Human
Activity Recognition (HAR) pipeline. However, some of these conventional
approaches lead to accuracy overestimation. In particular, sliding windows for
data segmentation followed by standard random k-fold cross validation, produce
biased results. An analysis of previous literature and present-day studies,
surprisingly, shows that these are common approaches in state-of-the-art
studies on HAR. It is important to raise awareness in the scientific community
about this problem, whose negative effects are being overlooked. Otherwise,
publications of biased results lead to papers that report lower accuracies,
with correct unbiased methods, harder to publish. Several experiments with
different types of datasets and different types of classification models allow
us to exhibit the problem and show it persists independently of the method or
dataset.
- Abstract(参考訳): 今日では、Human Activity Recognition (HAR) パイプラインには、標準的で確立された手順がある。
しかし、これらの従来のアプローチのいくつかは精度を過大評価する。
特に、データのセグメンテーションのためのスライディングウィンドウと標準のランダムなk-foldクロス検証は、バイアスのある結果を生成する。
これまでの文献の分析と現在の研究では、これらがHARに関する最先端の研究において一般的なアプローチであることが示されている。
この問題に対する科学界の認識を高めることは重要であり、その悪影響は見過ごされている。
そうでなければ、バイアスのある結果の出版は、正しい偏見のない方法により、より低い精度を報告し、出版が困難になる。
異なる種類のデータセットと異なる種類の分類モデルを使ったいくつかの実験により、問題を示し、メソッドやデータセットとは独立に持続することを示すことができる。
関連論文リスト
- Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。
提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。
我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
論文 参考訳(メタデータ) (2023-10-14T13:56:24Z) - A Systematic Study on Quantifying Bias in GAN-Augmented Data [0.0]
GAN(Generative Adversarial Network)は先頃,マシンラーニング実践者が使用するデータ拡張テクニックとして人気を博した。
彼らはいわゆるモード崩壊障害モードに苦しむことが示されており、既に歪んだデータセットのバイアスを悪化させる危険性がある。
この研究は、GAN拡張データのバイアスを定量化することのできる最先端メトリクスの評価に焦点を当てた体系的な取り組みである。
論文 参考訳(メタデータ) (2023-08-23T22:19:48Z) - Targeted Data Augmentation for bias mitigation [0.0]
我々は、TDA(Targeted Data Augmentation)と呼ばれるバイアスに対処するための、新しく効率的なアプローチを導入する。
バイアスを除去する面倒な作業とは異なり、本手法は代わりにバイアスを挿入することを提案し、結果として性能が向上する。
偏見を特定するために,臨床皮膚病変のデータセットと男女の顔のデータセットの2つの多様なデータセットを注釈した。
論文 参考訳(メタデータ) (2023-08-22T12:25:49Z) - Systematic Evaluation of Predictive Fairness [60.0947291284978]
バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。
複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。
データ条件が相対モデルの性能に強い影響を与えることがわかった。
論文 参考訳(メタデータ) (2022-10-17T05:40:13Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳(メタデータ) (2022-02-25T13:47:09Z) - ACP++: Action Co-occurrence Priors for Human-Object Interaction
Detection [102.9428507180728]
ヒューマン・オブジェクト・インタラクション(HOI)検出のタスクにおける一般的な問題は、多数のHOIクラスが少数のラベル付き例しか持たないことである。
我々は、人間と物体の相互作用の間に自然の相関関係と反相関が存在することを観察した。
我々は、これらの先行知識を学習し、特に稀なクラスにおいて、より効果的な訓練に活用する手法を提案する。
論文 参考訳(メタデータ) (2021-09-09T06:02:50Z) - Don't Discard All the Biased Instances: Investigating a Core Assumption
in Dataset Bias Mitigation Techniques [19.252319300590656]
データセットバイアスを緩和する既存のテクニックは、バイアス付きモデルを利用してバイアス付きインスタンスを識別することが多い。
これらの偏りのあるインスタンスの役割は、メインモデルのトレーニング中に減少し、アウト・オブ・ディストリビューションデータに対するロバスト性を高める。
本稿では,この仮定が一般には成り立たないことを示す。
論文 参考訳(メタデータ) (2021-09-01T10:25:46Z) - Detecting Human-Object Interactions with Action Co-occurrence Priors [108.31956827512376]
人-物間相互作用(HOI)検出タスクにおける一般的な問題は、多数のHOIクラスが少数のラベル付き例しか持たないことである。
我々は、人間と物体の相互作用の間に自然の相関と反相関が存在することを観察した。
我々はこれらの先行知識を学習し、特に稀なクラスにおいてより効果的な訓練に活用する手法を提案する。
論文 参考訳(メタデータ) (2020-07-17T02:47:45Z) - History-based Anomaly Detector: an Adversarial Approach to Anomaly
Detection [3.908842679355254]
異常検出は多くの領域で難しい問題であり、最近は多くの注目を集めている。
我々は,ヒストリーベースの異常検知器 (HistoryAD) と呼ばれる,この問題に対処するための,単純かつ新しい逆法を提案する。
自己教師型モデルで構成されており、以前に訓練されたGANのトレーニング履歴に基づいてサンプルと比較することで、正常なサンプルを認識するように訓練されている。
論文 参考訳(メタデータ) (2019-12-26T11:41:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。