Fugu-MT 論文翻訳(概要): Unifying back-propagation and forward-forward algorithms through model predictive control

論文の概要: Unifying back-propagation and forward-forward algorithms through model predictive control

arxiv url: http://arxiv.org/abs/2409.19561v1
Date: Sun, 29 Sep 2024 05:35:39 GMT
ステータス: 処理完了
システム内更新日: 2024-11-05 22:28:30.530776
Title: Unifying back-propagation and forward-forward algorithms through model predictive control
Title（参考訳）: モデル予測制御によるバックプロパゲーションとフォワードフォワードアルゴリズムの統合
Authors: Lianhai Ren, Qianxiao Li,
Abstract要約: 深層ニューラルネットワークのトレーニングのためのモデル予測制御フレームワークを提案する。同時に、様々なルック・フォワードの水平線を持つ様々な中間訓練アルゴリズムが生まれる。我々は、このトレードオフを深い線形ネットワーク上で正確に分析する。
参考スコア（独自算出の注目度）: 12.707050104493218
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce a Model Predictive Control (MPC) framework for training deep neural networks, systematically unifying the Back-Propagation (BP) and Forward-Forward (FF) algorithms. At the same time, it gives rise to a range of intermediate training algorithms with varying look-forward horizons, leading to a performance-efficiency trade-off. We perform a precise analysis of this trade-off on a deep linear network, where the qualitative conclusions carry over to general networks. Based on our analysis, we propose a principled method to choose the optimization horizon based on given objectives and model specifications. Numerical results on various models and tasks demonstrate the versatility of our method.
Abstract（参考訳）: 本稿では,深いニューラルネットワークをトレーニングするためのモデル予測制御(MPC)フレームワークを導入し,バックプロパゲーション(BP)アルゴリズムとフォワードフォワード(FF)アルゴリズムを体系的に統一する。同時に、様々なルックフォワードの水平線を持つ様々な中間トレーニングアルゴリズムが生まれ、パフォーマンス効率のトレードオフにつながります。定性的な結論が一般的なネットワークに渡される深層線形ネットワーク上で、このトレードオフを正確に解析する。そこで本研究では,目的とモデル仕様に基づいて最適化地平線を選択するための原理的手法を提案する。各種モデルおよびタスクの数値計算結果から,本手法の汎用性を示す。

関連論文リスト

Component-based Sketching for Deep ReLU Nets [55.404661149594375]
各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
論文参考訳（メタデータ） (2024-09-21T15:30:43Z)
Novel Saliency Analysis for the Forward Forward Algorithm [0.0]
ニューラルネットワークトレーニングにフォワードフォワードアルゴリズムを導入する。この方法は、2つのフォワードパスを実際のデータで実行し、正の強化を促進する。従来のサリエンシ手法に固有の制約を克服するため,フォワードフォワードフレームワークに特化してベスポークサリエンシアルゴリズムを開発した。
論文参考訳（メタデータ） (2024-09-18T17:21:59Z)
Learning by the F-adjoint [0.0]
本研究では、フィードフォワードニューラルネットワークのための教師付き学習アルゴリズムを改善するための理論的枠組みを開発し、検討する。我々の主な結果は、勾配降下法と組み合わせた神経力学モデルを導入することにより、平衡F-随伴過程を導出したことである。 MNISTとFashion-MNISTデータセットの実験結果は、提案手法が標準バックプロパゲーショントレーニング手順を大幅に改善することを示した。
論文参考訳（メタデータ） (2024-07-08T13:49:25Z)
Embedded feature selection in LSTM networks with multi-objective evolutionary ensemble learning for time series forecasting [49.1574468325115]
本稿では,Long Short-Term Memory Networkに埋め込まれた特徴選択手法を提案する。本手法はLSTMの重みと偏りを分割的に最適化する。イタリアとスペイン南東部の大気質時系列データの実験的評価により,従来のLSTMの能力一般化が著しく向上することが確認された。
論文参考訳（メタデータ） (2023-12-29T08:42:10Z)
Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
論文参考訳（メタデータ） (2023-07-07T15:03:42Z)
Efficient Training of Physics-Informed Neural Networks with Direct Grid Refinement Algorithm [0.0]
本研究では,物理インフォームドニューラルネットワーク(PINN)の枠組みにおける残点の適応サンプリングに適したアルゴリズムの開発について述べる。提案手法は,既存の適応サンプリング手法に固有の制約に対処することにより,計算効率と適応点配置の両方を効果的に保証する直接メッシュ改良手法を提案する。
論文参考訳（メタデータ） (2023-06-14T07:04:02Z)
Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-12-17T00:26:31Z)
Model-Based Deep Learning: On the Intersection of Deep Learning and Optimization [101.32332941117271]
決定アルゴリズムは様々なアプリケーションで使われている。数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
論文参考訳（メタデータ） (2022-05-05T13:40:08Z)
Lessons from AlphaZero for Optimal, Model Predictive, and Adaptive Control [0.0]
値空間とロールアウトの近似に関するAlphaZero/TDGammonの原理が決定論的かつ最適制御問題に広く適用されていることを示す。これらの考え方は、モデル制御、適応制御、分散制御、ニューラルネットワークに基づく値とポリシー近似など、他の重要な方法論と効果的に統合することができる。
論文参考訳（メタデータ） (2021-08-20T19:17:35Z)
Towards Trustworthy Predictions from Deep Neural Networks with Fast Adversarial Calibration [2.8935588665357077]
本稿では,ドメインシフト後に得られたサンプルに対して,信頼度の高い信頼度を得るための効率的かつ汎用的なモデリング手法を提案する。本稿では,エントロピー増大損失項と逆キャリブレーション損失項を組み合わせた新しいトレーニング戦略を導入し,この結果が適切に調整され,技術的に信頼できる予測となることを示す。
論文参考訳（メタデータ） (2020-12-20T13:39:29Z)
An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文参考訳（メタデータ） (2020-06-19T22:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。