論文の概要: Exploiting the capacity of deep networks only at training stage for
nonlinear black-box system identification
- arxiv url: http://arxiv.org/abs/2312.15969v1
- Date: Tue, 26 Dec 2023 09:32:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 15:34:42.064788
- Title: Exploiting the capacity of deep networks only at training stage for
nonlinear black-box system identification
- Title（参考訳）: 非線形ブラックボックスシステム同定のための訓練段階におけるディープネットワークの能力活用
- Authors: Vahid MohammadZadeh Eivaghi, Mahdi Aliyari Shooredeli
- Abstract要約: 本研究では,深層モデルを用いた新たなトレーニング戦略を提案する。
提案する目的関数は,学習した潜伏表現間の距離ペナルティを加算した各生徒と教師モデルの目的から構成される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To benefit from the modeling capacity of deep models in system
identification, without worrying about inference time, this study presents a
novel training strategy that uses deep models only at the training stage. For
this purpose two separate models with different structures and goals are
employed. The first one is a deep generative model aiming at modeling the
distribution of system output(s), called the teacher model, and the second one
is a shallow basis function model, named the student model, fed by system
input(s) to predict the system output(s). That means these isolated paths must
reach the same ultimate target. As deep models show a great performance in
modeling of highly nonlinear systems, aligning the representation space learned
by these two models make the student model to inherit the approximation power
of the teacher model. The proposed objective function consists of the objective
of each student and teacher model adding up with a distance penalty between the
learned latent representations. The simulation results on three nonlinear
benchmarks show a comparative performance with examined deep architectures
applied on the same benchmarks. Algorithmic transparency and structure
efficiency are also achieved as byproducts.
- Abstract（参考訳）: システム同定における深層モデルのモデリング能力の恩恵を受けるために, 推定時間を気にせずに, 学習段階でのみ深層モデルを用いた新しいトレーニング戦略を提案する。
この目的のために、異なる構造と目標を持つ2つの別々のモデルが採用されている。
1つ目は、教師モデルと呼ばれるシステム出力の分布をモデル化することを目的とした深い生成モデルであり、もう1つは、システム出力を予測するためにシステム入力(s)によって供給される学生モデルと呼ばれる浅い基底関数モデルである。
つまり、これらの孤立した経路は同じ究極の目標に達する必要がある。
ディープモデルは高非線形システムのモデリングにおいて優れた性能を示すため、これらの2つのモデルによって学習された表現空間を整列させることで、学生モデルは教師モデルの近似力を継承する。
提案する目的関数は,学習した潜伏表現間の距離ペナルティを加算した各生徒と教師モデルの目的から構成される。
3つの非線形ベンチマークのシミュレーション結果は、同じベンチマークに適用したディープアーキテクチャとの比較性能を示す。
アルゴリズムの透明性と構造効率も副産物として達成される。
関連論文リスト
- Learnable & Interpretable Model Combination in Dynamic Systems Modeling [0.0]
我々は、通常、どのモデルが組み合わされるかについて議論し、様々な混合方程式に基づくモデルを表現することができるモデルインターフェースを提案する。
本稿では,2つの組み合わせモデル間の汎用的な接続を,容易に解釈可能な方法で記述できる新しいワイルドカードトポロジーを提案する。
本稿では、2つのモデル間の異なる接続トポロジを学習し、解釈し、比較する。
論文 参考訳（メタデータ） (2024-06-12T11:17:11Z) - A Two-Phase Recall-and-Select Framework for Fast Model Selection [13.385915962994806]
本稿では,2相モデル選択フレームワークを提案する。
これは、ベンチマークデータセット上でモデルのトレーニングパフォーマンスを活用することにより、堅牢なモデルを選択する効率を高めることを目的としている。
提案手法は,従来のベースライン法に比べて約3倍の速度でハイパフォーマンスモデルの選択を容易にすることが実証された。
論文 参考訳（メタデータ） (2024-03-28T14:44:44Z) - BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion [56.9358325168226]
BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。
我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。
提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
論文 参考訳（メタデータ） (2024-03-23T08:40:38Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳（メタデータ） (2023-09-20T10:31:17Z) - ModelGiF: Gradient Fields for Model Functional Distance [45.183991610710045]
モデル勾配場(ModelGiF)を導入し,事前学習モデルから同質表現を抽出する。
我々の主要な前提は、各事前学習された深層モデルが入力空間上のモデルGiFを一意に決定するということである。
本稿では,タスク関連性評価,知的財産保護,モデル未学習検証などのテストベッドを用いたモデルGiFの有効性を検証する。
論文 参考訳（メタデータ） (2023-09-20T02:27:40Z) - Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。
フェデレートラーニングにおいて最も顕著に用いられている。
私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文 参考訳（メタデータ） (2023-07-13T09:39:10Z) - Inter-model Interpretability: Self-supervised Models as a Case Study [0.2578242050187029]
テキスト・インター・モデル・インタプリタビリティを導入するためのDissectと呼ばれる最近の解釈可能性技術を構築した。
我々は、学習概念の観点から、モデル間の近さを明らかにする学習概念埋め込み空間に、トップパフォーマンスの自己教師型モデル13を投影する。
この実験により、モデルを3つのカテゴリに分類し、異なるタスクが必要とする視覚概念の種類を初めて明らかにしました。
論文 参考訳（メタデータ） (2022-07-24T22:50:18Z) - UViM: A Unified Modeling Approach for Vision with Learned Guiding Codes [91.24112204588353]
我々は、幅広いコンピュータビジョンタスクをモデル化できる統一的なアプローチであるUViMを紹介する。
以前のモデルとは対照的に、UViMは全てのタスクに対して同じ機能を持つ。
多様な3つの視覚課題に対するUViMの有効性を実証する。
論文 参考訳（メタデータ） (2022-05-20T17:47:59Z) - Learning Dynamics Models for Model Predictive Agents [28.063080817465934]
モデルに基づく強化学習は、データからテクトダイナミックスモデルを学習し、そのモデルを使用して振る舞いを最適化する。
本稿では, 動的モデル学習における設計選択の役割を, 基礎構造モデルとの比較により明らかにすることを目的としている。
論文 参考訳（メタデータ） (2021-09-29T09:50:25Z) - S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。
我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
論文 参考訳（メタデータ） (2020-07-13T17:44:30Z) - Hybrid modeling: Applications in real-time diagnosis [64.5040763067757]
我々は、機械学習にインスパイアされたモデルと物理モデルを組み合わせた、新しいハイブリッドモデリングアプローチの概要を述べる。
このようなモデルをリアルタイム診断に利用しています。
論文 参考訳（メタデータ） (2020-03-04T00:44:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。