論文の概要: Modularizing Deep Learning via Pairwise Learning With Kernels

• arxiv url: http://arxiv.org/abs/2005.05541v2
• Date: Thu, 10 Sep 2020 18:09:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 18:13:51.640480
• Title: Modularizing Deep Learning via Pairwise Learning With Kernels
• Title（参考訳）: カーネルによるペアワイズ学習によるディープラーニングのモジュール化
• Authors: Shiyu Duan, Shujian Yu, Jose Principe
• Abstract要約: 特徴空間における積み重ね線形モデルとして、有限幅で完全に訓練可能なディープ・コンピューティング・ニューラルネットの代替的視点を示す。 次に,モジュール間のバックプロパゲーションを必要としない分類のための,証明可能な最適モジュール学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 12.051746916737343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By redefining the conventional notions of layers, we present an alternative view on finitely wide, fully trainable deep neural networks as stacked linear models in feature spaces, leading to a kernel machine interpretation. Based on this construction, we then propose a provably optimal modular learning framework for classification that does not require between-module backpropagation. This modular approach brings new insights into the label requirement of deep learning: It leverages only implicit pairwise labels (weak supervision) when learning the hidden modules. When training the output module, on the other hand, it requires full supervision but achieves high label efficiency, needing as few as 10 randomly selected labeled examples (one from each class) to achieve 94.88% accuracy on CIFAR-10 using a ResNet-18 backbone. Moreover, modular training enables fully modularized deep learning workflows, which then simplify the design and implementation of pipelines and improve the maintainability and reusability of models. To showcase the advantages of such a modularized workflow, we describe a simple yet reliable method for estimating reusability of pre-trained modules as well as task transferability in a transfer learning setting. At practically no computation overhead, it precisely described the task space structure of 15 binary classification tasks from CIFAR-10.
• Abstract（参考訳）: 従来の階層の概念を再定義することにより、有限幅で完全に訓練可能なディープニューラルネットワークを特徴空間に積み重ねた線形モデルとして表現し、カーネルマシンの解釈をもたらす。 この構成に基づき,モジュール間バックプロパゲーションを必要としない分類のための最適モジュール学習フレームワークを提案する。 このモジュラーアプローチは、ディープラーニングのラベル要件に新たな洞察をもたらします。 一方、出力モジュールをトレーニングする場合、完全な監督を必要とするが、ResNet-18バックボーンを使用してCIFAR-10上で94.88%の精度を達成するために、10個のランダムに選択されたラベル付きサンプル(各クラスから1つ)を必要とするため、高いラベル効率を達成する。 さらに、モジュラートレーニングは、完全にモジュール化されたディープラーニングワークフローを可能にし、パイプラインの設計と実装を簡素化し、モデルの保守性と再利用性を改善する。 このようなモジュール化ワークフローの利点を示すために,本研究では,事前学習されたモジュールの再利用性やタスク転送性を評価するための簡易かつ信頼性の高い手法について述べる。 計算オーバーヘッドは実質的になく、CIFAR-10から15のバイナリ分類タスクのタスク空間構造を正確に記述した。

関連論文リスト

• Train Faster, Perform Better: Modular Adaptive Training in Over-Parameterized Models [31.960749305728488]
  モジュラーニューラルタンジェントカーネル(mNTK)と呼ばれる新しい概念を導入する。 モジュールの学習の質が mNTK の主固有値 $lambda_max$ と密接に関連していることを示す。 動的しきい値を超えたlambda_max$でこれらのモジュールを更新するための,MAT(Modular Adaptive Training)と呼ばれる新しいトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-13T07:46:48Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Local Learning with Neuron Groups [15.578925277062657]
  局所学習はモデル並列性に対するアプローチであり、標準のエンドツーエンドの学習設定を取り除く。 本研究では,局所学習をレイヤやモジュールをサブコンポーネントに分割する方法について検討する。
  論文  参考訳（メタデータ） (2023-01-18T16:25:10Z)
• Padding Module: Learning the Padding in Deep Neural Networks [4.769747792846005]
  本稿では,ディープラーニングモデルに組み込むことができるトレーニング可能なパディングモジュールを提案する。 パディングモジュールは、モデル全体の損失関数を必要とせずに、自分自身を最適化することができる。 実験により、提案されたパディングモジュールは、最先端の競合とベースラインメソッドよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-01-11T18:03:57Z)
• Learning Label Modular Prompts for Text Classification in the Wild [56.66187728534808]
  そこで本研究では,非定常学習/テスト段階の異なるテキスト分類手法を提案する。 複雑なタスクをモジュラー成分に分解することで、そのような非定常環境下での堅牢な一般化が可能になる。 テキスト分類タスクのためのラベルモジュール型プロンプトチューニングフレームワークMODcularPROMPTを提案する。
  論文  参考訳（メタデータ） (2022-11-30T16:26:38Z)
• Neural Network Module Decomposition and Recomposition [35.21448933547118]
  本稿では,機能の観点から,ディープニューラルネットワーク(DNN)を小さなモジュールに分解するモジュール化手法を提案する。 提案手法は,DNNを高い圧縮比と高精度で分解・分解できることを実証する。
  論文  参考訳（メタデータ） (2021-12-25T08:36:47Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• Knodle: Modular Weakly Supervised Learning with PyTorch [5.874587993411972]
  Knodleは、弱いデータアノテーション、強力なディープラーニングモデル、弱い教師付きトレーニングを改善する方法を分離するためのソフトウェアフレームワークです。 このモジュール化により、トレーニングプロセスはデータセットの特性、ルールの一致、あるいは最終的に予測に使用されるディープラーニングモデルの要素などのきめ細かい情報にアクセスできるようになる。
  論文  参考訳（メタデータ） (2021-04-23T12:33:25Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。