論文の概要: Probing the Effect of Selection Bias on NN Generalization with a Thought Experiment

• arxiv url: http://arxiv.org/abs/2105.09934v1
• Date: Thu, 20 May 2021 17:54:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-21 13:47:22.087113
• Title: Probing the Effect of Selection Bias on NN Generalization with a Thought Experiment
• Title（参考訳）: NN一般化に対する選択バイアスの効果の思考実験による検証
• Authors: John K. Tsotsos and Jun Luo
• Abstract要約: ネットワークが特定のドメイン属性に対応する特定のサンプルを見逃すバイアス付きデータセットでトレーニングされているか、トレーニングデータセットが抽出された完全なドメインに一般化できるのか? 私たちは、この思考実験を視覚オブジェクトの実際のドメイン上で実行し、トレーニングデータの特定のギャップとそのパフォーマンス要求への影響を、完全に特徴付け、見ることができます。 私たちの思考実験は、まず、一般化行動は、訓練中にドメインの特定の次元がどの程度十分に表現されているかに依存し、次に、一般化の効用は許容されるシステムエラーに完全に依存している、そして第3に、オブジェクトの特定の視覚的特徴に依存する、という3つの結論を指摘している。
• 参考スコア（独自算出の注目度）: 21.490249579964097
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Learned networks in the domain of visual recognition and cognition impress in part because even though they are trained with datasets many orders of magnitude smaller than the full population of possible images, they exhibit sufficient generalization to be applicable to new and previously unseen data. Although many have examined issues regarding generalization from several perspectives, we wondered If a network is trained with a biased dataset that misses particular samples corresponding to some defining domain attribute, can it generalize to the full domain from which that training dataset was extracted? It is certainly true that in vision, no current training set fully captures all visual information and this may lead to Selection Bias. Here, we try a novel approach in the tradition of the Thought Experiment. We run this thought experiment on a real domain of visual objects that we can fully characterize and look at specific gaps in training data and their impact on performance requirements. Our thought experiment points to three conclusions: first, that generalization behavior is dependent on how sufficiently the particular dimensions of the domain are represented during training; second, that the utility of any generalization is completely dependent on the acceptable system error; and third, that specific visual features of objects, such as pose orientations out of the imaging plane or colours, may not be recoverable if not represented sufficiently in a training set. Any currently observed generalization in modern deep learning networks may be more the result of coincidental alignments and whose utility needs to be confirmed with respect to a system's performance specification. Our Thought Experiment Probe approach, coupled with the resulting Bias Breakdown can be very informative towards understanding the impact of biases.
• Abstract（参考訳）: 視覚認識と認知の領域における学習ネットワークは、可能な画像の全人口よりも数桁小さいデータセットで訓練されているにもかかわらず、新規で未発見のデータに適用可能な十分な一般化を示しているため、部分的に印象づけられている。 いくつかの観点から一般化に関する問題を調べてきたが、ネットワークが特定のドメイン属性に対応する特定のサンプルを見逃すバイアス付きデータセットで訓練されているかどうか疑問に思った。 視界において、現在のトレーニングセットがすべての視覚情報をフルにキャプチャするわけではなく、これが選択バイアスにつながることは確かである。 ここでは,思考実験の伝統の中で新しいアプローチを試みる。 私たちはこの思考実験を実際のビジュアルオブジェクトのドメインで実行し、トレーニングデータの特定のギャップとそれらのパフォーマンス要求への影響を完全にキャラクタリゼーションし、見ていくことができます。 我々の思考実験は、3つの結論を指摘している: まず、一般化行動は、トレーニング中にドメインの特定の次元がどの程度十分に表現されているかに依存している; 第二に、一般化の効用は許容されるシステムエラーに完全に依存している; 第三に、画像平面や色からのポーズ配向のような、対象の特定の視覚的特徴は、トレーニングセットで十分に表現されていなければ、回復できないかもしれない。 現代のディープラーニングネットワークで現在観察されている一般化は、一致したアライメントの結果であり、システムの性能仕様に関してその実用性を確認する必要がある。 私たちの思考実験プローブアプローチと結果のバイアスブレークダウンは、バイアスの影響を理解する上で非常に有意義なものです。

関連論文リスト

• Can Biases in ImageNet Models Explain Generalization? [13.802802975822704]
  一般化は、現在のディープラーニング手法における大きな課題の1つです。 画像分類において、これは敵対的攻撃の存在、歪んだ画像のパフォーマンス低下、スケッチのような概念への一般化の欠如に現れている。 我々は,48のイメージネットモデルに対して,これらのバイアスが一般化とどのように相互作用するかを理解するために,異なるトレーニング手法を用いて得られた大規模な研究を行う。
  論文  参考訳（メタデータ） (2024-04-01T22:25:48Z)
• What Makes Pre-Trained Visual Representations Successful for Robust Manipulation? [57.92924256181857]
  照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。 創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
  論文  参考訳（メタデータ） (2023-11-03T18:09:08Z)
• Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
  各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。 提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。 我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-14T13:56:24Z)
• Mitigating Representation Bias in Action Recognition: Algorithms and Benchmarks [76.35271072704384]
  ディープラーニングモデルは、稀なシーンやオブジェクトを持つビデオに適用すると、パフォーマンスが悪くなります。 この問題にはアルゴリズムとデータセットの2つの異なる角度から対処する。 偏りのある表現は、他のデータセットやタスクに転送するとより一般化できることを示す。
  論文  参考訳（メタデータ） (2022-09-20T00:30:35Z)
• EllSeg-Gen, towards Domain Generalization for head-mounted eyetracking [19.913297057204357]
  このようなアーティファクトの存在にもかかわらず、畳み込みネットワークは視線特徴の抽出に優れていることを示す。 複数のデータセットでトレーニングされた単一モデルのパフォーマンスを、個々のデータセットでトレーニングされたモデルのプールと比較する。 その結果, 眼球画像を用いたモデルでは, マルチセットトレーニングにより, 外観の多様性が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-05-04T08:35:52Z)
• Visual Recognition with Deep Learning from Biased Image Datasets [6.10183951877597]
  視覚認知の文脈において、バイアスモデルがどのように治療問題に適用できるかを示す。 作業中のバイアス機構に関する(近似的な)知識に基づいて、我々のアプローチは観察を再重み付けする。 本稿では,画像データベース間で共有される低次元画像表現を提案する。
  論文  参考訳（メタデータ） (2021-09-06T10:56:58Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• A Systematic Evaluation of Domain Adaptation in Facial Expression Recognition [0.0]
  本稿では,表情認識における領域適応の体系的評価について述べる。 我々は、最先端のトランスファー学習技術と、6つの一般的な顔表情データセットを使用する。 その結果,移動学習の精度は高くなく,目的のデータセットと慣用的に異なることがわかった。
  論文  参考訳（メタデータ） (2021-06-29T14:41:19Z)
• Projection-wise Disentangling for Fair and Interpretable Representation Learning: Application to 3D Facial Shape Analysis [4.716274324450199]
  合流バイアスは、特に臨床実践において、機械学習を実践する上で重要な問題である。 複数のバイアスに依存しない表現を学習する問題について考察する。 本稿では,ほぼすべての情報を潜在表現に保持しながらバイアスを軽減することを提案する。
  論文  参考訳（メタデータ） (2021-06-25T16:09:56Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。