論文の概要: Understanding Dynamics of Nonlinear Representation Learning and Its Application

• arxiv url: http://arxiv.org/abs/2106.14836v1
• Date: Mon, 28 Jun 2021 16:31:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-29 14:05:21.907074
• Title: Understanding Dynamics of Nonlinear Representation Learning and Its Application
• Title（参考訳）: 非線形表現学習のダイナミクス理解とその応用
• Authors: Kenji Kawaguchi, Linjun Zhang, Zhun Deng
• Abstract要約: 暗黙的非線形表現学習のダイナミクスについて検討する。 我々は,データ構造アライメント条件がグローバル収束に十分であることを示す。 我々はデータ構造アライメント条件を満たす新しいトレーニングフレームワークを作成した。
• 参考スコア（独自算出の注目度）: 12.697842097171119
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representations of the world environment play a crucial role in machine intelligence. It is often inefficient to conduct reasoning and inference directly in the space of raw sensory representations, such as pixel values of images. Representation learning allows us to automatically discover suitable representations from raw sensory data. For example, given raw sensory data, a multilayer perceptron learns nonlinear representations at its hidden layers, which are subsequently used for classification (or regression) at its output layer. This happens implicitly during training through minimizing a supervised or unsupervised loss. In this paper, we study the dynamics of such implicit nonlinear representation learning. We identify a pair of a new assumption and a novel condition, called the common model structure assumption and the data-architecture alignment condition. Under the common model structure assumption, the data-architecture alignment condition is shown to be sufficient for the global convergence and necessary for the global optimality. Our results provide practical guidance for designing a model structure: e.g., the common model structure assumption can be used as a justification for using a particular model structure instead of others. As an application, we then derive a new training framework, which satisfies the data-architecture alignment condition without assuming it by automatically modifying any given training algorithm dependently on each data and architecture. Given a standard training algorithm, the framework running its modified version is empirically shown to maintain competitive (practical) test performances while providing global convergence guarantees for ResNet-18 with convolutions, skip connections, and batch normalization with standard benchmark datasets, including MNIST, CIFAR-10, CIFAR-100, Semeion, KMNIST and SVHN.
• Abstract（参考訳）: 世界環境の表現は、マシンインテリジェンスにおいて重要な役割を果たす。 画像のピクセル値のような生の感覚表現の空間で推論や推論を直接行うことは、しばしば非効率である。 表現学習は、生の感覚データから適切な表現を自動的に発見する。 例えば、生の知覚データが与えられた場合、多層パーセプトロンは隠れた層での非線形表現を学習し、その後出力層での分類(または回帰)に使用される。 これは、教師付きまたは教師なしの損失を最小化することで、トレーニング中に暗黙的に発生する。 本稿では,このような暗黙的非線形表現学習のダイナミクスについて考察する。 我々は、共通モデル構造仮定とデータ構造アライメント条件と呼ばれる新しい仮定と新しい条件のペアを同定する。 共通モデル構造仮定の下では、データ構造アライメント条件は、大域収束に十分であることが示され、大域最適性に必要である。 モデル構造を設計するための実践的なガイダンスを提供する。例えば、共通モデル構造仮定は、他のモデル構造ではなく特定のモデル構造を使用するための正当化として使用できる。 アプリケーションとして、各データやアーキテクチャに依存した任意のトレーニングアルゴリズムを自動的に修正することにより、データアーキテクチャのアライメント条件を満たす新しいトレーニングフレームワークを導出する。 標準的なトレーニングアルゴリズムが与えられた場合、その修正版を実行するフレームワークは、MNIST、CIFAR-10、CIFAR-100、Semeion、KMNIST、SVHNといった標準ベンチマークデータセットとの畳み込み、スキップ接続、バッチ正規化によるResNet-18のグローバルコンバージェンス保証を提供しながら、競争力(実践的な)テストパフォーマンスを維持するために実証的に示されている。

関連論文リスト

• Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
  我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。 まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。 次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
  論文  参考訳（メタデータ） (2024-10-25T20:50:32Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Homological Convolutional Neural Networks [4.615338063719135]
  本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。 5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
  論文  参考訳（メタデータ） (2023-08-26T08:48:51Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• Learning Curves for SGD on Structured Features [23.40229188549055]
  本研究では,学習中におけるテストエラーを正確に予測するために,特徴空間内のデータの幾何学が重要であることを示す。 提案手法は,学習中のテストエラーを正確に予測するためには,特徴空間内のデータの幾何をモデル化することが極めて重要であることを示す。
  論文  参考訳（メタデータ） (2021-06-04T20:48:20Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• On the Transfer of Disentangled Representations in Realistic Settings [44.367245337475445]
  1Mのシミュレーション画像と1,800以上の注釈付き実世界の画像を備えた新しい高解像度データセットを導入する。 本研究では,非交叉表現学習を現実的な高解像度設定に拡張するために,新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-10-27T16:15:24Z)
• Self-Challenging Improves Cross-Domain Generalization [81.99554996975372]
  畳み込みニューラルネットワーク(CNN)は、ラベルと相関する支配的特徴を活性化することにより、画像分類を行う。 ドメイン外データに対するCNNの一般化を著しく改善する簡単なトレーニングである自己整合表現(RSC)を導入する。 RSCはトレーニングデータ上で活性化される主要な機能に対して反復的に挑戦し、ラベルと相関する残りの機能を有効にするようネットワークに強制する。
  論文  参考訳（メタデータ） (2020-07-05T21:42:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。