論文の概要: Fixed-Weight Difference Target Propagation
- arxiv url: http://arxiv.org/abs/2212.10352v1
- Date: Mon, 19 Dec 2022 13:34:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 13:42:04.002304
- Title: Fixed-Weight Difference Target Propagation
- Title（参考訳）: 固定重量差ターゲット伝搬
- Authors: Tatsukichi Shibuya, Nakamasa Inoue, Rei Kawakami, Ikuro Sato
- Abstract要約: トレーニング中のフィードバック重みを一定に保つFW-DTP(Fixed-Weight Different Target Propagation)を提案する。
FW-DTPは、4つの分類データセット上の差分ターゲット伝搬(DTP)であるベースラインよりも高いテスト性能を一貫して達成する。
また、FW-DTPを解析するために、DTPのフィードバック関数の正確な形を説明する新しい伝搬アーキテクチャを提案する。
- 参考スコア（独自算出の注目度）: 12.559727665706687
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Target Propagation (TP) is a biologically more plausible algorithm than the
error backpropagation (BP) to train deep networks, and improving practicality
of TP is an open issue. TP methods require the feedforward and feedback
networks to form layer-wise autoencoders for propagating the target values
generated at the output layer. However, this causes certain drawbacks; e.g.,
careful hyperparameter tuning is required to synchronize the feedforward and
feedback training, and frequent updates of the feedback path are usually
required than that of the feedforward path. Learning of the feedforward and
feedback networks is sufficient to make TP methods capable of training, but is
having these layer-wise autoencoders a necessary condition for TP to work? We
answer this question by presenting Fixed-Weight Difference Target Propagation
(FW-DTP) that keeps the feedback weights constant during training. We confirmed
that this simple method, which naturally resolves the abovementioned problems
of TP, can still deliver informative target values to hidden layers for a given
task; indeed, FW-DTP consistently achieves higher test performance than a
baseline, the Difference Target Propagation (DTP), on four classification
datasets. We also present a novel propagation architecture that explains the
exact form of the feedback function of DTP to analyze FW-DTP.
- Abstract（参考訳）: Target Propagation (TP) は、ディープネットワークをトレーニングするためのエラーバックプロパゲーション (BP) よりも生物学的に妥当なアルゴリズムであり、TPの実用性を改善することが課題である。
TP方式では、フィードフォワードとフィードバックネットワークが出力層で生成されたターゲット値を伝播するレイヤワイズオートエンコーダを形成する必要がある。
例えば、フィードフォワードとフィードバックトレーニングを同期させるためには、注意深いハイパーパラメータチューニングが必要であり、フィードバックパスの頻繁な更新は通常フィードフォワードパスよりも必要である。
フィードフォワードとフィードバックネットワークの学習は、TPメソッドをトレーニングできるのに十分であるが、これらのレイヤーワイドオートエンコーダがTPの動作に必要な条件であるだろうか?
本稿では,フィードバック重みを一定に保つFW-DTP(Fixed-Weight Different Target Propagation)を提案する。
そこで本研究では,TPの課題を自然に解決するこの単純な手法が,与えられたタスクの隠蔽層に情報的目標値を供給できることを確認し,FW-DTPは,4つの分類データセット上で,ベースラインである差分ターゲット伝搬(DTP)よりも高いテスト性能を一貫して達成できることを確認した。
また、FW-DTPを解析するために、DTPのフィードバック関数の正確な形を説明する新しい伝搬アーキテクチャを提案する。
関連論文リスト
- Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。
GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文 参考訳（メタデータ） (2023-12-19T06:06:30Z) - Fast Trainable Projection for Robust Fine-Tuning [36.51660287722338]
ロバスト微調整は、競争力のある分散内分散(ID)性能を達成することを目的としている。
プロジェクションベースの微調整は頑健な微調整に成功している。
Fast Trainable Projectionはプロジェクションベースのファインチューニングアルゴリズムである。
論文 参考訳（メタデータ） (2023-10-29T22:52:43Z) - Layer-wise Feedback Propagation [53.00944147633484]
本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。
LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。
各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
論文 参考訳（メタデータ） (2023-08-23T10:48:28Z) - Boosting Distributed Machine Learning Training Through Loss-tolerant
Transmission Protocol [11.161913989794257]
分散機械学習(DML)システムは、データセンター(DC)とエッジノードにおけるモデルトレーニングのスピードを高めるために使用される。
PS通信アーキテクチャは、多対一の"インキャスト"トラフィックパターンが原因で、トレーニングスループットに悪影響を及ぼすという、非常に長いレイテンシに直面している。
textbfLoss-tolerant textbfTransmission textbfProcolは、同期中に勾配が部分的に失われ、不要な再送信を避ける。
textitEarly Closes the loss-tolerant threshold based on network conditions and textit
論文 参考訳（メタデータ） (2023-05-07T14:01:52Z) - Position-guided Text Prompt for Vision-Language Pre-training [121.15494549650548]
本研究では,ビジョンランゲージ・プレトレーニングで訓練したクロスモーダルモデルの視覚的グラウンド化能力を高めるために,位置誘導型テキストプロンプト(PTP)パラダイムを提案する。
PTPは、与えられたブロック内のオブジェクトを予測したり、与えられたオブジェクトのブロックを後退させたりすることで、PTPが与えられた視覚的グラウンドタスクを補充するブランク問題に再構成する。
PTPはオブジェクト検出をベースとした手法で同等の結果を得るが、PTPがオブジェクト検出を破棄し、後続では不可能になるため、推論速度ははるかに速い。
論文 参考訳（メタデータ） (2022-12-19T18:55:43Z) - Trainability Preserving Neural Structured Pruning [64.65659982877891]
本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。
TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。
多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
論文 参考訳（メタデータ） (2022-07-25T21:15:47Z) - DeepTPI: Test Point Insertion with Deep Reinforcement Learning [6.357061090668433]
テストポイント挿入(TPI)は、テスト容易性向上のための広く使われている技術である。
深部強化学習(DRL)に基づく新しいTPI手法であるDeepTPIを提案する。
市販のDFTツールと比較して,DeepTPIはテストカバレッジを著しく改善することがわかった。
論文 参考訳（メタデータ） (2022-06-07T14:13:42Z) - Towards Scaling Difference Target Propagation by Learning Backprop
Targets [64.90165892557776]
Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。
本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。
CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
論文 参考訳（メタデータ） (2022-01-31T18:20:43Z) - Target Propagation via Regularized Inversion [4.289574109162585]
本稿では,ネットワークレイヤの正規化インバージョンに基づくターゲット伝搬の簡易バージョンを提案する。
我々のTPは、様々なシーケンスモデリング問題において、長いシーケンスでリカレントニューラルネットワークのトレーニングにどのように使用できるかを示す。
論文 参考訳（メタデータ） (2021-12-02T17:49:25Z) - A Theoretical Framework for Target Propagation [75.52598682467817]
我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。
提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。
我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
論文 参考訳（メタデータ） (2020-06-25T12:07:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。