論文の概要: Feed-Forward On-Edge Fine-tuning Using Static Synthetic Gradient Modules

• arxiv url: http://arxiv.org/abs/2009.09675v1
• Date: Mon, 21 Sep 2020 08:27:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-16 05:09:43.478375
• Title: Feed-Forward On-Edge Fine-tuning Using Static Synthetic Gradient Modules
• Title（参考訳）: 静的合成勾配モジュールを用いたフィードフォワードオンエッジファインチューニング
• Authors: Robby Neven, Marian Verhelst, Tinne Tuytelaars and Toon Goedem\'e
• Abstract要約: 組み込みデバイス上でのディープラーニングモデルのトレーニングは、一般的に避けられる。 本研究では,すべてのアクティベーションを格納するために必要なメモリ容量の削減に焦点をあてる。 提案手法は標準のバックプロパゲーションと同等の結果が得られた。
• 参考スコア（独自算出の注目度）: 35.92284329679786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training deep learning models on embedded devices is typically avoided since this requires more memory, computation and power over inference. In this work, we focus on lowering the amount of memory needed for storing all activations, which are required during the backward pass to compute the gradients. Instead, during the forward pass, static Synthetic Gradient Modules (SGMs) predict gradients for each layer. This allows training the model in a feed-forward manner without having to store all activations. We tested our method on a robot grasping scenario where a robot needs to learn to grasp new objects given only a single demonstration. By first training the SGMs in a meta-learning manner on a set of common objects, during fine-tuning, the SGMs provided the model with accurate gradients to successfully learn to grasp new objects. We have shown that our method has comparable results to using standard backpropagation.
• Abstract（参考訳）: 組み込みデバイス上でのディープラーニングモデルのトレーニングは、一般的に回避される。 この作業では、すべてのアクティベーションを格納するために必要なメモリ量を削減することに重点を置いています。 代わりに、前方通過の間、静的なSGM(Synthetic Gradient Modules)は各レイヤの勾配を予測する。 これにより、すべてのアクティベーションを格納することなく、フィードフォワードでモデルをトレーニングすることができる。 実験では,ロボットが1つの実演で新しい物体をつかむことを学ぶ必要があるロボット把持シナリオを用いて実験を行った。 まず、SGMを共通のオブジェクトの集合上でメタラーニング的に訓練することで、SGMはモデルに正確な勾配を与え、新しいオブジェクトの把握をうまく学べるようにした。 提案手法は標準のバックプロパゲーションと同等の結果が得られた。

関連論文リスト

• Stepping Forward on the Last Mile [8.756033984943178]
  本稿では,バックプロパゲーションと比較してメモリフットプリントと精度のギャップを低減させるアルゴリズムの一連の拡張を提案する。 その結果、エッジデバイス上でのモデルカスタマイズの最後のマイルでは、固定点前方勾配によるトレーニングが実現可能で実践的なアプローチであることが示されている。
  論文  参考訳（メタデータ） (2024-11-06T16:33:21Z)
• Unified Gradient-Based Machine Unlearning with Remain Geometry Enhancement [29.675650285351768]
  深層ニューラルネットワークのプライバシーと信頼性を高めるために、機械学習(MU)が登場した。 近似MUは大規模モデルの実用的手法である。 本稿では,最新の学習方向を暗黙的に近似する高速スローパラメータ更新手法を提案する。
  論文  参考訳（メタデータ） (2024-09-29T15:17:33Z)
• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• EMO: Episodic Memory Optimization for Few-Shot Meta-Learning [69.50380510879697]
  メタ学習のためのエピソード記憶最適化は、EMOと呼ばれ、脳の記憶から過去の学習経験を思い出す人間の能力にインスパイアされている。 EMOは、限られた数の例によって提供される勾配が非形式的である場合でも、パラメータを正しい方向に更新する。 EMOは、ほとんど数ショットの分類ベンチマークでうまくスケールし、最適化ベースのメタラーニング手法の性能を改善している。
  論文  参考訳（メタデータ） (2023-06-08T13:39:08Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Selectively Hard Negative Mining for Alleviating Gradient Vanishing in Image-Text Matching [15.565068934153983]
  既存の画像テキストマッチング(ITM)モデルのほとんどは、トレーニング開始時に消失する勾配に悩まされている。 本稿では, 選択的に負のサンプルをマイニングするかを選択するSelHN(SelHN)戦略を提案する。 SelHNは既存のIMMモデルにプラグイン・アンド・プレイすることで、より良いトレーニング動作を提供できる。
  論文  参考訳（メタデータ） (2023-03-01T02:15:07Z)
• Deep Imitation Learning for Bimanual Robotic Manipulation [70.56142804957187]
  本稿では,ロボットによるバイマニュアル操作のための深層模倣学習フレームワークを提案する。 中心となる課題は、操作スキルを異なる場所にあるオブジェクトに一般化することである。 i)マルチモーダルダイナミクスを要素運動プリミティブに分解し、(ii)リカレントグラフニューラルネットワークを用いて各プリミティブをパラメータ化して相互作用を捕捉し、(iii)プリミティブを逐次的に構成する高レベルプランナと、プリミティブダイナミクスと逆運動学制御を組み合わせた低レベルコントローラを統合することを提案する。
  論文  参考訳（メタデータ） (2020-10-11T01:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。