論文の概要: Harnessing Synthetic Datasets: The Role of Shape Bias in Deep Neural Network Generalization

• arxiv url: http://arxiv.org/abs/2311.06224v1
• Date: Fri, 10 Nov 2023 18:25:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-13 14:14:45.872896
• Title: Harnessing Synthetic Datasets: The Role of Shape Bias in Deep Neural Network Generalization
• Title（参考訳）: 合成データセットを活用した深層ニューラルネットワークの一般化における形状バイアスの役割
• Authors: Elior Benarous, Sotiris Anagnostidis, Luca Biggio, Thomas Hofmann
• Abstract要約: ニューラルネットワークが合成データセットのトレーニング中にどのように形状バイアスを示すかを検討する。 形状バイアスはネットワークアーキテクチャや監視の種類によって異なる。 本稿では,データセット内のサンプルの多様性を推定するためのツールとして,新しい形状バイアスの解釈を提案する。
• 参考スコア（独自算出の注目度）: 27.39922946288783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in deep learning have been primarily driven by the use of large models trained on increasingly vast datasets. While neural scaling laws have emerged to predict network performance given a specific level of computational resources, the growing demand for expansive datasets raises concerns. To address this, a new research direction has emerged, focusing on the creation of synthetic data as a substitute. In this study, we investigate how neural networks exhibit shape bias during training on synthetic datasets, serving as an indicator of the synthetic data quality. Specifically, our findings indicate three key points: (1) Shape bias varies across network architectures and types of supervision, casting doubt on its reliability as a predictor for generalization and its ability to explain differences in model recognition compared to human capabilities. (2) Relying solely on shape bias to estimate generalization is unreliable, as it is entangled with diversity and naturalism. (3) We propose a novel interpretation of shape bias as a tool for estimating the diversity of samples within a dataset. Our research aims to clarify the implications of using synthetic data and its associated shape bias in deep learning, addressing concerns regarding generalization and dataset quality.
• Abstract（参考訳）: ディープラーニングの最近の進歩は主に、ますます膨大なデータセットでトレーニングされた大規模モデルの利用によってもたらされている。 ニューラルネットワークのスケーリング法は、特定の計算リソースのレベルに応じてネットワークのパフォーマンスを予測するために登場したが、拡張性のあるデータセットに対する需要の増加は懸念を呼んでいる。 これに対処するため、新しい研究の方向性が生まれ、代替として合成データの作成に焦点が当てられている。 本研究では,合成データ品質の指標として,合成データセットのトレーニング中にニューラルネットワークがどのように形状バイアスを示すかを検討する。 特に,(1)ネットワークアーキテクチャや監督のタイプによって形状バイアスが異なり,一般化の予測要因としての信頼性や,モデル認識と人間の能力との差異を説明する能力に疑問を投げかけること,の3点が示唆された。 2) 形状バイアスのみに頼って一般化を推定することは,多様性と自然主義に絡み合っているため信頼できない。 3)データセット内のサンプルの多様性を推定するためのツールとして,形状バイアスの新しい解釈を提案する。 本研究では,合成データとその形状バイアスが深層学習に与える影響を明らかにすることを目的として,一般化とデータセットの品質に関する懸念に対処する。

関連論文リスト

• Cross-Dataset Generalization in Deep Learning [4.706219235601874]
  深層学習は, 位相イメージング, 3次元画像再構成, 位相切り離し, レーザースペックル低減など, 様々な分野で広く利用されている。 そのデータ駆動性は、豊富なデータでトレーニングすることで、ネットワーク内の数学的関係を暗黙的に構築することを可能にする。 あるデータセットでトレーニングされたネットワークは、異なるデータセットから未知のターゲットを認識するのに苦労する。
  論文  参考訳（メタデータ） (2024-10-15T02:48:21Z)
• Will the Inclusion of Generated Data Amplify Bias Across Generations in Future Image Classification Models? [29.71939692883025]
  画像分類タスクにおける生成データの影響について,特にバイアスに着目して検討する。 数百の実験がColorized MNIST、CIFAR-20/100、Hard ImageNetデータセットで実施されている。 本研究は, 実世界の応用において, 合成データの公平性に関する議論が進行中であることを示すものである。
  論文  参考訳（メタデータ） (2024-10-14T05:07:06Z)
• Do Deep Neural Networks Always Perform Better When Eating More Data? [82.6459747000664]
  Identically Independent Distribution(IID)とOut of Distribution(OOD)による実験を設計する。 IID条件下では、情報の量は各サンプルの効果度、サンプルの寄与度、クラス間の差がクラス情報の量を決定する。 OOD条件下では、試料のクロスドメイン度が寄与を決定づけ、無関係元素によるバイアス適合はクロスドメインの重要な要素である。
  論文  参考訳（メタデータ） (2022-05-30T15:40:33Z)
• Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
  自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。 本稿では, 対実例生成のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:02:53Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Transitioning from Real to Synthetic data: Quantifying the bias in model [1.6134566438137665]
  本研究では,合成データを用いたモデルにおけるバイアスと公平性のトレードオフを確立することを目的とする。 合成データを用いて訓練したモデルには、様々なレベルのバイアスの影響があることを実証する。
  論文  参考訳（メタデータ） (2021-05-10T06:57:14Z)
• Synthesizing Irreproducibility in Deep Networks [2.28438857884398]
  現代のディープネットワークは非生産性に苦しむ(非決定性または不特定化とも呼ばれる) 単一の非線形性や非常に単純なデータやモデルであっても、不再現性が生じることを示す。 モデルの複雑さと非線形性の選択は、深いモデルを再現不能にする上で重要な役割を果たす。
  論文  参考訳（メタデータ） (2021-02-21T21:51:28Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。