論文の概要: Gradients as Features for Deep Representation Learning

• arxiv url: http://arxiv.org/abs/2004.05529v1
• Date: Sun, 12 Apr 2020 02:57:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 04:54:29.908131
• Title: Gradients as Features for Deep Representation Learning
• Title（参考訳）: 深部表現学習の特徴としての勾配
• Authors: Fangzhou Mu, Yingyu Liang, Yin Li
• Abstract要約: 本稿では,事前学習したディープ・ネットワークを様々なタスクに適応させることによって,ディープ・表現学習の課題に対処する。 我々の重要な革新は、事前訓練されたネットワークの勾配と活性化の両方を組み込んだ線形モデルの設計である。 我々は,実際の勾配を計算せずに,モデルのトレーニングと推論を効率的に行うアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 26.996104074384263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the challenging problem of deep representation learning--the efficient adaption of a pre-trained deep network to different tasks. Specifically, we propose to explore gradient-based features. These features are gradients of the model parameters with respect to a task-specific loss given an input sample. Our key innovation is the design of a linear model that incorporates both gradient and activation of the pre-trained network. We show that our model provides a local linear approximation to an underlying deep model, and discuss important theoretical insights. Moreover, we present an efficient algorithm for the training and inference of our model without computing the actual gradient. Our method is evaluated across a number of representation-learning tasks on several datasets and using different network architectures. Strong results are obtained in all settings, and are well-aligned with our theoretical insights.
• Abstract（参考訳）: 深層表現学習の課題 - 訓練済みの深層ネットワークを様々なタスクに適応させること- に対処する。 具体的には,勾配に基づく特徴について検討する。 これらの特徴は、入力サンプルが与えられたタスク固有の損失に対するモデルパラメータの勾配である。 私たちの重要なイノベーションは、事前訓練されたネットワークの勾配と活性化の両方を組み込んだ線形モデルの設計です。 本モデルは,基礎となる深層モデルに対して局所線形近似を提供し,重要な理論的知見を考察する。 さらに,実際の勾配を計算せずに,モデルの学習と推論のための効率的なアルゴリズムを提案する。 提案手法は,複数のデータセット上の複数の表現学習タスクと異なるネットワークアーキテクチャを用いて評価される。 強い結果はすべての設定で得られ、理論的な洞察とよく一致しています。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
  大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。 適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。 我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-07-07T15:03:42Z)
• Deep Graph Reprogramming [112.34663053130073]
  グラフニューラルネットワーク(GNN)に適したタスク再利用モデル「ディープグラフ再プログラミング」 本稿では,モデル再プログラミングパラダイムと並行して,革新的なデータ再プログラミングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-28T02:04:29Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Improving Deep Learning Interpretability by Saliency Guided Training [36.782919916001624]
  精度法はモデル予測において重要な入力特徴を強調するために広く用いられている。 既存の方法の多くは、修正された勾配関数のバックプロパゲーションを使用して、サリエンシマップを生成する。 本稿では,予測に使用する雑音勾配を低減するために,ニューラルネットワークに対するサリエンシ指導訓練手法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T06:05:23Z)
• Extracting Global Dynamics of Loss Landscape in Deep Learning Models [0.0]
  本稿では,DOODL3 (Dynamical Organization of Deep Learning Loss Landscapes) のためのツールキットを提案する。 DOODL3は、ニューラルネットワークのトレーニングを動的システムとして定式化し、学習プロセスを分析し、損失ランドスケープにおける軌跡の解釈可能なグローバルビューを示す。
  論文  参考訳（メタデータ） (2021-06-14T18:07:05Z)
• Supervised Learning in the Presence of Concept Drift: A modelling framework [5.22609266390809]
  非定常環境における教師あり学習の研究のためのモデリングフレームワークを提案する。 学習システムの例として、分類のためのプロトタイプベースの学習ベクトル量子化(LVQ)と回帰タスクのための浅層ニューラルネットワークをモデル化する。
  論文  参考訳（メタデータ） (2020-05-21T09:13:58Z)
• Similarity of Neural Networks with Gradients [8.804507286438781]
  本稿では,特徴ベクトルと勾配ベクトルの両方を利用してニューラルネットワークの表現を設計することを提案する。 提案手法はニューラルネットワークの類似性を計算するための最先端の手法を提供する。
  論文  参考訳（メタデータ） (2020-03-25T17:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。