論文の概要: On the Transferability of Winning Tickets in Non-Natural Image Datasets

• arxiv url: http://arxiv.org/abs/2005.05232v2
• Date: Fri, 20 Nov 2020 12:41:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-04 20:28:13.796273
• Title: On the Transferability of Winning Tickets in Non-Natural Image Datasets
• Title（参考訳）: 非自然画像データセットにおける勝利チケットの転送性について
• Authors: Matthia Sabatelli, Mike Kestemont, Pierre Geurts
• Abstract要約: 本研究では,自然画像のデータセット上での抽選券仮説の勝者であるプルーニングニューラルネットワークの一般化特性について検討する。 一般的なCIFAR-10/100とFashion-MNISTデータセットで見られるプルーニングモデルが,デジタル病理学とデジタル遺産の分野での7つの異なるデータセットに一般化されているかを検討する。
• 参考スコア（独自算出の注目度）: 8.920717493647121
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the generalization properties of pruned neural networks that are the winners of the lottery ticket hypothesis on datasets of natural images. We analyse their potential under conditions in which training data is scarce and comes from a non-natural domain. Specifically, we investigate whether pruned models that are found on the popular CIFAR-10/100 and Fashion-MNIST datasets, generalize to seven different datasets that come from the fields of digital pathology and digital heritage. Our results show that there are significant benefits in transferring and training sparse architectures over larger parametrized models, since in all of our experiments pruned networks, winners of the lottery ticket hypothesis, significantly outperform their larger unpruned counterparts. These results suggest that winning initializations do contain inductive biases that are generic to some extent, although, as reported by our experiments on the biomedical datasets, their generalization properties can be more limiting than what has been so far observed in the literature.
• Abstract（参考訳）: 自然画像のデータセット上での抽選券仮説の勝者であるプルーニングニューラルネットワークの一般化特性について検討する。 我々は、トレーニングデータが不足し、非自然領域から生じる状況下でその可能性を解析する。 具体的には,流行のcifar-10/100やファッション・マンニストデータセットに見られる散布されたモデルが,デジタル病理学やデジタル遺産の分野の7つの異なるデータセットに一般化されるかどうかについて検討する。 私たちの実験では、抽選チケット仮説の勝者であるprunedネットワークが、より大きな非prunedモデルを大きく上回っているため、大きなパラメータモデル上でスパースアーキテクチャを転送およびトレーニングする上で大きなメリットがあります。 これらの結果は, 勝利初期化にはある程度汎用的な帰納的バイアスが存在することを示唆しているが, 生物医学的データセットに関する実験で報告されたように, それらの一般化特性は文献でこれまでに観測されたものよりも限定的である。

関連論文リスト

• On the Out of Distribution Robustness of Foundation Models in Medical Image Segmentation [47.95611203419802]
  視覚と言語の基礎は、様々な自然画像とテキストデータに基づいて事前訓練されており、有望なアプローチとして現れている。 一般化性能を,同じ分布データセット上で微調整した後,事前学習した各種モデルの未確認領域と比較した。 さらに,凍結モデルに対する新しいベイズ不確実性推定法を開発し,分布外データに基づくモデルの性能評価指標として利用した。
  論文  参考訳（メタデータ） (2023-11-18T14:52:10Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Face Recognition Using Synthetic Face Data [0.0]
  我々は、コンピュータグラフィックスパイプラインを介してデジタル顔のレンダリングによって生成された合成データの有望な応用を強調し、競争力のある結果を得る。 モデルを微調整することで、何十万もの実画像のトレーニングで得られた結果に匹敵する結果が得られる。 また,モデル性能に及ぼすクラス内因子(化粧品,アクセサリー,ヘアカットなど)の追加効果についても検討した。
  論文  参考訳（メタデータ） (2023-05-17T09:26:10Z)
• A Study on the Generality of Neural Network Structures for Monocular Depth Estimation [14.09373215954704]
  分子深度推定の一般化に向けて,様々なバックボーンネットワークを深く研究する。 我々は、分布内と分布外の両方のデータセット上で、最先端のモデルを評価する。 我々はトランスフォーマーがCNNよりも強い形状バイアスを示すのを観察した。
  論文  参考訳（メタデータ） (2023-01-09T04:58:12Z)
• Differentiable Agent-based Epidemiology [71.81552021144589]
  GradABM(GradABM)は、エージェントベースのモデリングのためのスケーラブルで微分可能な設計で、勾配に基づく学習と自動微分が可能である。 GradABMは、コモディティハードウェア上で数秒で数百万の人口をシミュレートし、ディープニューラルネットワークと統合し、異種データソースを取り込みます。
  論文  参考訳（メタデータ） (2022-07-20T07:32:02Z)
• Do Deep Neural Networks Always Perform Better When Eating More Data? [82.6459747000664]
  Identically Independent Distribution(IID)とOut of Distribution(OOD)による実験を設計する。 IID条件下では、情報の量は各サンプルの効果度、サンプルの寄与度、クラス間の差がクラス情報の量を決定する。 OOD条件下では、試料のクロスドメイン度が寄与を決定づけ、無関係元素によるバイアス適合はクロスドメインの重要な要素である。
  論文  参考訳（メタデータ） (2022-05-30T15:40:33Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• EllSeg-Gen, towards Domain Generalization for head-mounted eyetracking [19.913297057204357]
  このようなアーティファクトの存在にもかかわらず、畳み込みネットワークは視線特徴の抽出に優れていることを示す。 複数のデータセットでトレーニングされた単一モデルのパフォーマンスを、個々のデータセットでトレーニングされたモデルのプールと比較する。 その結果, 眼球画像を用いたモデルでは, マルチセットトレーニングにより, 外観の多様性が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-05-04T08:35:52Z)
• How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
  転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。 本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。 スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
  論文  参考訳（メタデータ） (2021-11-26T11:58:51Z)
• A Systematic Evaluation of Domain Adaptation in Facial Expression Recognition [0.0]
  本稿では,表情認識における領域適応の体系的評価について述べる。 我々は、最先端のトランスファー学習技術と、6つの一般的な顔表情データセットを使用する。 その結果,移動学習の精度は高くなく,目的のデータセットと慣用的に異なることがわかった。
  論文  参考訳（メタデータ） (2021-06-29T14:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。