論文の概要: Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations

• arxiv url: http://arxiv.org/abs/2202.10638v1
• Date: Tue, 22 Feb 2022 02:51:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-23 14:57:55.315340
• Title: Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations
• Title（参考訳）: 微分可能なラプラス近似を用いたディープニューラルネットワークにおける不変学習
• Authors: Alexander Immer, Tycho F.A. van der Ouderaa, Vincent Fortuin, Gunnar R\"atsch, Mark van der Wilk
• Abstract要約: 我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
• 参考スコア（独自算出の注目度）: 76.82124752950148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentation is commonly applied to improve performance of deep learning by enforcing the knowledge that certain transformations on the input preserve the output. Currently, the correct data augmentation is chosen by human effort and costly cross-validation, which makes it cumbersome to apply to new datasets. We develop a convenient gradient-based method for selecting the data augmentation. Our approach relies on phrasing data augmentation as an invariance in the prior distribution and learning it using Bayesian model selection, which has been shown to work in Gaussian processes, but not yet for deep neural networks. We use a differentiable Kronecker-factored Laplace approximation to the marginal likelihood as our objective, which can be optimised without human supervision or validation data. We show that our method can successfully recover invariances present in the data, and that this improves generalisation on image datasets.
• Abstract（参考訳）: データ拡張は、入力の特定の変換が出力を保存するという知識を強制することにより、ディープラーニングのパフォーマンスを改善するために一般的に適用されます。 現在、正しいデータ拡張は、人間の努力とコストのかかる相互評価によって選択されており、新しいデータセットに適用するのは面倒である。 我々はデータ拡張を選択するための便利な勾配法を開発した。 本手法は,事前分布の不変性としてデータ拡張を補足し,ガウス過程で動作することが示されているベイズモデル選択法を用いて学習する。 我々は微分可能なクロネッカー分解ラプラス近似を用いて,人間の監視や検証データなしで最適化できる目標とする。 本手法は,データに存在する不変性の回復に成功し,画像データセットの一般化が向上することを示す。

関連論文リスト

• First-Order Manifold Data Augmentation for Regression Learning [4.910937238451485]
  我々は、新しいデータ駆動型ドメイン非依存データ拡張法であるFOMAを紹介する。 分布内一般化と分布外ベンチマークに基づいてFOMAを評価し,いくつかのニューラルアーキテクチャの一般化を改善することを示す。
  論文  参考訳（メタデータ） (2024-06-16T12:35:05Z)
• Augmentation-Aware Self-Supervision for Data-Efficient GAN Training [68.81471633374393]
  識別器が過度に適合する傾向があるため、限られたデータでGANを訓練することは困難である。 本稿では,拡張データの拡張パラメータを予測する,拡張型自己教師型識別器を提案する。 本稿では,クラス条件の BigGAN と非条件の StyleGAN2 アーキテクチャを用いた State-of-the-art (SOTA) 手法と比較する。
  論文  参考訳（メタデータ） (2022-05-31T10:35:55Z)
• Deep invariant networks with differentiable augmentation layers [87.22033101185201]
  データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。 我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
  論文  参考訳（メタデータ） (2022-02-04T14:12:31Z)
• Weakly Supervised Change Detection Using Guided Anisotropic Difusion [97.43170678509478]
  我々は、このようなデータセットを変更検出の文脈で活用するのに役立つ独自のアイデアを提案する。 まず,意味的セグメンテーション結果を改善する誘導異方性拡散(GAD)アルゴリズムを提案する。 次に、変化検出に適した2つの弱い教師付き学習戦略の可能性を示す。
  論文  参考訳（メタデータ） (2021-12-31T10:03:47Z)
• Last Layer Marginal Likelihood for Invariance Learning [12.00078928875924]
  我々は、より大きな確率関数のクラスに対する推論を行うことができるような、限界確率に対する新しい下界を導入する。 我々は、最後の層にガウス的プロセスを持つアーキテクチャを使用することで、このアプローチをニューラルネットワークに導入することに取り組んでいます。
  論文  参考訳（メタデータ） (2021-06-14T15:40:51Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Passive Batch Injection Training Technique: Boosting Network Performance by Injecting Mini-Batches from a different Data Distribution [39.8046809855363]
  この研究は、元の入力データとは異なる分布から追加のデータを利用するディープニューラルネットワークの新しいトレーニング手法を提案する。 私たちの知る限りでは、畳み込みニューラルネットワーク(CNN)のトレーニングを支援するために、異なるデータ分散を利用する最初の研究である。
  論文  参考訳（メタデータ） (2020-06-08T08:17:32Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• On the Generalization Effects of Linear Transformations in Data Augmentation [32.01435459892255]
  データ拡張は、画像やテキストの分類タスクのようなアプリケーションのパフォーマンスを改善するための強力な技術である。 我々は線形変換の族を研究し、過度にパラメータ化された線形回帰設定におけるリッジ推定器への影響について研究する。 本稿では,モデルが変換データに対してどの程度不確実であるかによって,変換空間を探索する拡張手法を提案する。
  論文  参考訳（メタデータ） (2020-05-02T04:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。