論文の概要: Harnessing Synthetic Datasets: The Role of Shape Bias in Deep Neural
Network Generalization
- arxiv url: http://arxiv.org/abs/2311.06224v1
- Date: Fri, 10 Nov 2023 18:25:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-13 14:14:45.872896
- Title: Harnessing Synthetic Datasets: The Role of Shape Bias in Deep Neural
Network Generalization
- Title(参考訳): 合成データセットを活用した深層ニューラルネットワークの一般化における形状バイアスの役割
- Authors: Elior Benarous, Sotiris Anagnostidis, Luca Biggio, Thomas Hofmann
- Abstract要約: ニューラルネットワークが合成データセットのトレーニング中にどのように形状バイアスを示すかを検討する。
形状バイアスはネットワークアーキテクチャや監視の種類によって異なる。
本稿では,データセット内のサンプルの多様性を推定するためのツールとして,新しい形状バイアスの解釈を提案する。
- 参考スコア(独自算出の注目度): 27.39922946288783
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in deep learning have been primarily driven by the use of
large models trained on increasingly vast datasets. While neural scaling laws
have emerged to predict network performance given a specific level of
computational resources, the growing demand for expansive datasets raises
concerns. To address this, a new research direction has emerged, focusing on
the creation of synthetic data as a substitute. In this study, we investigate
how neural networks exhibit shape bias during training on synthetic datasets,
serving as an indicator of the synthetic data quality. Specifically, our
findings indicate three key points: (1) Shape bias varies across network
architectures and types of supervision, casting doubt on its reliability as a
predictor for generalization and its ability to explain differences in model
recognition compared to human capabilities. (2) Relying solely on shape bias to
estimate generalization is unreliable, as it is entangled with diversity and
naturalism. (3) We propose a novel interpretation of shape bias as a tool for
estimating the diversity of samples within a dataset. Our research aims to
clarify the implications of using synthetic data and its associated shape bias
in deep learning, addressing concerns regarding generalization and dataset
quality.
- Abstract(参考訳): ディープラーニングの最近の進歩は主に、ますます膨大なデータセットでトレーニングされた大規模モデルの利用によってもたらされている。
ニューラルネットワークのスケーリング法は、特定の計算リソースのレベルに応じてネットワークのパフォーマンスを予測するために登場したが、拡張性のあるデータセットに対する需要の増加は懸念を呼んでいる。
これに対処するため、新しい研究の方向性が生まれ、代替として合成データの作成に焦点が当てられている。
本研究では,合成データ品質の指標として,合成データセットのトレーニング中にニューラルネットワークがどのように形状バイアスを示すかを検討する。
特に,(1)ネットワークアーキテクチャや監督のタイプによって形状バイアスが異なり,一般化の予測要因としての信頼性や,モデル認識と人間の能力との差異を説明する能力に疑問を投げかけること,の3点が示唆された。
2) 形状バイアスのみに頼って一般化を推定することは,多様性と自然主義に絡み合っているため信頼できない。
3)データセット内のサンプルの多様性を推定するためのツールとして,形状バイアスの新しい解釈を提案する。
本研究では,合成データとその形状バイアスが深層学習に与える影響を明らかにすることを目的として,一般化とデータセットの品質に関する懸念に対処する。
関連論文リスト
- DeNetDM: Debiasing by Network Depth Modulation [5.886480123226503]
DeNetDMは、浅層ニューラルネットワークが学習コア属性を優先するのに対して、より深いものは、異なる情報を取得することを課題とする際のバイアスを強調するという観察に基づく、新しいデバイアス手法である。
提案手法は,データ内のバイアス強調点の多様性を効果的に活用し,従来の手法を超越し,バイアス強調点の多様性を高めるための明示的な拡張に基づく手法の必要性を回避している。
論文 参考訳(メタデータ) (2024-03-28T22:17:19Z) - Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - Homological Convolutional Neural Networks [4.615338063719135]
本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
論文 参考訳(メタデータ) (2023-08-26T08:48:51Z) - Do Deep Neural Networks Always Perform Better When Eating More Data? [82.6459747000664]
Identically Independent Distribution(IID)とOut of Distribution(OOD)による実験を設計する。
IID条件下では、情報の量は各サンプルの効果度、サンプルの寄与度、クラス間の差がクラス情報の量を決定する。
OOD条件下では、試料のクロスドメイン度が寄与を決定づけ、無関係元素によるバイアス適合はクロスドメインの重要な要素である。
論文 参考訳(メタデータ) (2022-05-30T15:40:33Z) - Exploring the Trade-off between Plausibility, Change Intensity and
Adversarial Power in Counterfactual Explanations using Multi-objective
Optimization [73.89239820192894]
自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。
本稿では, 対実例生成のための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2022-05-20T15:02:53Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z) - Transitioning from Real to Synthetic data: Quantifying the bias in model [1.6134566438137665]
本研究では,合成データを用いたモデルにおけるバイアスと公平性のトレードオフを確立することを目的とする。
合成データを用いて訓練したモデルには、様々なレベルのバイアスの影響があることを実証する。
論文 参考訳(メタデータ) (2021-05-10T06:57:14Z) - Synthesizing Irreproducibility in Deep Networks [2.28438857884398]
現代のディープネットワークは非生産性に苦しむ(非決定性または不特定化とも呼ばれる)
単一の非線形性や非常に単純なデータやモデルであっても、不再現性が生じることを示す。
モデルの複雑さと非線形性の選択は、深いモデルを再現不能にする上で重要な役割を果たす。
論文 参考訳(メタデータ) (2021-02-21T21:51:28Z) - Learning from Failure: Training Debiased Classifier from Biased
Classifier [76.52804102765931]
ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。
本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。
本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
論文 参考訳(メタデータ) (2020-07-06T07:20:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。