論文の概要: BiasBed -- Rigorous Texture Bias Evaluation
- arxiv url: http://arxiv.org/abs/2211.13190v1
- Date: Wed, 23 Nov 2022 18:22:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 14:31:27.520677
- Title: BiasBed -- Rigorous Texture Bias Evaluation
- Title(参考訳): BiasBed - 厳密なテクスチャバイアス評価
- Authors: Nikolai Kalischek, Rodrigo C. Daudt, Torben Peters, Jan D. Wegner,
Konrad Schindler
- Abstract要約: テクスチャとスタイルバイアスのトレーニングのためのテストベッドであるBiasBedを紹介した。
厳密な仮説テストが伴い、結果の意義を測る。
例えば、文献で提案されているいくつかのアルゴリズムは、スタイルバイアスの影響を著しく緩和しない。
- 参考スコア(独自算出の注目度): 23.1252686293052
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The well-documented presence of texture bias in modern convolutional neural
networks has led to a plethora of algorithms that promote an emphasis on shape
cues, often to support generalization to new domains. Yet, common datasets,
benchmarks and general model selection strategies are missing, and there is no
agreed, rigorous evaluation protocol. In this paper, we investigate
difficulties and limitations when training networks with reduced texture bias.
In particular, we also show that proper evaluation and meaningful comparisons
between methods are not trivial. We introduce BiasBed, a testbed for texture-
and style-biased training, including multiple datasets and a range of existing
algorithms. It comes with an extensive evaluation protocol that includes
rigorous hypothesis testing to gauge the significance of the results, despite
the considerable training instability of some style bias methods. Our extensive
experiments, shed new light on the need for careful, statistically founded
evaluation protocols for style bias (and beyond). E.g., we find that some
algorithms proposed in the literature do not significantly mitigate the impact
of style bias at all. With the release of BiasBed, we hope to foster a common
understanding of consistent and meaningful comparisons, and consequently faster
progress towards learning methods free of texture bias. Code is available at
https://github.com/D1noFuzi/BiasBed
- Abstract(参考訳): 現代の畳み込みニューラルネットワークにおけるテクスチャバイアスの存在は、しばしば新しいドメインへの一般化を支援するために、シェイプキューに重点を置くアルゴリズムの多さにつながっている。
しかし、一般的なデータセット、ベンチマーク、一般的なモデル選択戦略は欠落しており、合意された厳密な評価プロトコルは存在しない。
本稿では,テクスチャバイアスを低減したトレーニングネットワークの困難さと限界について検討する。
特に,手法間の適切な評価と有意義な比較は自明ではないことを示す。
複数のデータセットや既存のアルゴリズムを含む、テクスチャとスタイルバイアスのトレーニングのためのテストベッドであるBiasBedを紹介します。
スタイルバイアス法のかなりのトレーニング不安定さにもかかわらず、結果の重要度を測定するための厳密な仮説検証を含む広範な評価プロトコルが付属している。
私たちの広範な実験は、慎重に統計的に確立されたスタイルバイアスの評価プロトコルの必要性に新たな光を当てました。
例えば、文献で提案されているいくつかのアルゴリズムは、スタイルバイアスの影響を全く軽減しない。
BiasBedのリリースにより、一貫した意味のある比較の共通理解が促進され、その結果、テクスチャバイアスのない学習方法へのさらなる進歩が期待できる。
コードはhttps://github.com/D1noFuzi/BiasBedで入手できる。
関連論文リスト
- TESSERACT: Eliminating Experimental Bias in Malware Classification
across Space and Time (Extended Version) [18.146377453918724]
マルウェア検知器は、常に進化するオペレーティングシステムや攻撃方法によって、しばしば性能劣化を経験する。
本論文は, 検出作業における2つの実験バイアス源により, 一般的に報告される結果が膨らんでいることを論じる。
論文 参考訳(メタデータ) (2024-02-02T12:27:32Z) - Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls
and New Benchmarking [66.83273589348758]
リンク予測は、グラフのエッジの一部のみに基づいて、目に見えないエッジが存在するかどうかを予測しようとする。
近年,この課題にグラフニューラルネットワーク(GNN)を活用すべく,一連の手法が導入されている。
これらの新しいモデルの有効性をよりよく評価するために、新しい多様なデータセットも作成されている。
論文 参考訳(メタデータ) (2023-06-18T01:58:59Z) - Spuriosity Rankings: Sorting Data to Measure and Mitigate Biases [62.54519787811138]
本稿では,突発的手がかりに依存したモデルバイアスを簡易かつ効果的に測定・緩和する手法を提案する。
我々は,解釈可能なネットワークの深部神経的特徴をベースとして,それらのクラス内の画像のランク付けを行う。
以上の結果から,素早い特徴依存によるモデルバイアスは,モデルがどのようにトレーニングされたかよりも,モデルがトレーニングされていることの影響がはるかに大きいことが示唆された。
論文 参考訳(メタデータ) (2022-12-05T23:15:43Z) - Prototype-Anchored Learning for Learning with Imperfect Annotations [83.7763875464011]
不完全な注釈付きデータセットからバイアスのない分類モデルを学ぶことは困難である。
本稿では,様々な学習に基づく分類手法に容易に組み込むことができるプロトタイプ・アンコレッド学習法を提案する。
我々は,PALがクラス不均衡学習および耐雑音学習に与える影響を,合成および実世界のデータセットに関する広範な実験により検証した。
論文 参考訳(メタデータ) (2022-06-23T10:25:37Z) - Unsupervised Learning of Unbiased Visual Representations [10.871587311621974]
ディープニューラルネットワークは、データセットにバイアスが存在するときに堅牢な表現を学習できないことで知られている。
我々は3つのステップからなる完全に教師なしの脱バイアスフレームワークを提案する。
我々は、非バイアスモデルを得るために最先端の教師付き脱バイアス技術を採用している。
論文 参考訳(メタデータ) (2022-04-26T10:51:50Z) - Pseudo Bias-Balanced Learning for Debiased Chest X-ray Classification [57.53567756716656]
本研究では, バイアスラベルを正確に把握せず, 脱バイアス胸部X線診断モデルの開発について検討した。
本稿では,まずサンプルごとのバイアスラベルをキャプチャし,予測する新しいアルゴリズム,擬似バイアスバランス学習を提案する。
提案手法は他の最先端手法よりも一貫した改善を実現した。
論文 参考訳(メタデータ) (2022-03-18T11:02:18Z) - Robust Fairness-aware Learning Under Sample Selection Bias [17.09665420515772]
サンプル選択バイアス下での頑健で公正な学習のための枠組みを提案する。
テストデータが利用可能で、利用できない場合に、サンプル選択バイアスを処理する2つのアルゴリズムを開発した。
論文 参考訳(メタデータ) (2021-05-24T23:23:36Z) - Evading the Simplicity Bias: Training a Diverse Set of Models Discovers
Solutions with Superior OOD Generalization [93.8373619657239]
SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。
この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。
単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
論文 参考訳(メタデータ) (2021-05-12T12:12:24Z) - An Investigation of Critical Issues in Bias Mitigation Techniques [41.733144652360714]
改良された評価プロトコル、有能なメトリクス、新しいデータセットを導入する。
同一ネットワークアーキテクチャを用いて7つの最先端アルゴリズムを評価する。
アルゴリズムは隠れバイアスを悪用し、複数の形式のバイアスにスケールできず、チューニングセットの選択に非常に敏感であることがわかった。
論文 参考訳(メタデータ) (2021-04-01T00:14:45Z) - Debiasing Pre-trained Contextualised Embeddings [28.378270372391498]
本稿では,事前学習された文脈的埋め込みに対してトークンレベルや文レベルで適用可能な微調整手法を提案する。
性別バイアスを図示例として,複数の最新(SoTA)文脈表現を用いた体系的研究を行った。
すべてのトークンとコンテキスト化された埋め込みモデルのすべてのレイヤにトークンレベルのデバイアスを適用すると、最高のパフォーマンスが得られます。
論文 参考訳(メタデータ) (2021-01-23T15:28:48Z) - Learning from Failure: Training Debiased Classifier from Biased
Classifier [76.52804102765931]
ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。
本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。
本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
論文 参考訳(メタデータ) (2020-07-06T07:20:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。