論文の概要: GreenLightningAI: An Efficient AI System with Decoupled Structural and
Quantitative Knowledge
- arxiv url: http://arxiv.org/abs/2312.09971v1
- Date: Fri, 15 Dec 2023 17:34:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 14:41:49.633719
- Title: GreenLightningAI: An Efficient AI System with Decoupled Structural and
Quantitative Knowledge
- Title（参考訳）: GreenLightningAI: 構造的および定量的知識を分離した効率的なAIシステム
- Authors: Jose Duato, Jose I. Mestre, Manuel F. Dolz and Enrique S.
Quintana-Ort\'i
- Abstract要約: 強力な、人気のあるディープニューラルネットワークのトレーニングには、非常に高い経済的および環境的コストが伴う。
この作業は、GreenLightningAIを提案することによって、根本的に異なるアプローチを取る。
新しいAIシステムは、所定のサンプルに対してシステムサブセットを選択するために必要な情報を格納する。
我々は,AIシステムを新しいサンプルで再学習する際に,構造情報を無修正で保持できることを実験的に示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The number and complexity of artificial intelligence (AI) applications is
growing relentlessly. As a result, even with the many algorithmic and
mathematical advances experienced over past decades as well as the impressive
energy efficiency and computational capacity of current hardware accelerators,
training the most powerful and popular deep neural networks comes at very high
economic and environmental costs. Recognising that additional optimisations of
conventional neural network training is very difficult, this work takes a
radically different approach by proposing GreenLightningAI, a new AI system
design consisting of a linear model that is capable of emulating the behaviour
of deep neural networks by subsetting the model for each particular sample. The
new AI system stores the information required to select the system subset for a
given sample (referred to as structural information) separately from the linear
model parameters (referred to as quantitative knowledge). In this paper we
present a proof of concept, showing that the structural information stabilises
far earlier than the quantitative knowledge. Additionally, we show
experimentally that the structural information can be kept unmodified when
re-training the AI system with new samples while still achieving a validation
accuracy similar to that obtained when re-training a neural network with
similar size. Since the proposed AI system is based on a linear model, multiple
copies of the model, trained with different datasets, can be easily combined.
This enables faster and greener (re)-training algorithms, including incremental
re-training and federated incremental re-training.
- Abstract（参考訳）: 人工知能(AI)アプリケーションの数と複雑さは、絶え間なく増加している。
その結果、過去数十年にわたって経験されたアルゴリズムと数学的進歩、そして現在のハードウェアアクセラレーターの目覚ましいエネルギー効率と計算能力にもかかわらず、最も強力で人気のあるディープニューラルネットワークのトレーニングは非常に経済的および環境的なコストがかかる。
従来のニューラルネットワークトレーニングのさらなる最適化は非常に困難であることを認識し、この研究はGreenLightningAIという、個々のサンプルに対してモデルをサブセットすることでディープニューラルネットワークの振る舞いをエミュレート可能な線形モデルからなる、新たなAIシステム設計を提案することで、根本的に異なるアプローチを取る。
新しいAIシステムは、線形モデルパラメータ(定量的知識として参照)とは別途、与えられたサンプル(構造情報として参照)のシステムサブセットを選択するために必要な情報を記憶する。
本稿では,構造情報が定量的知識よりもはるかに早く安定化することを示す概念実証について述べる。
さらに,aiシステムを新たなサンプルで再トレーニングする際には,同じ大きさのニューラルネットワークを再トレーニングする際に得られたものと類似した検証精度を保ちながら,構造情報を無修正で保持できることを実験的に示す。
提案するAIシステムは線形モデルに基づいているため、異なるデータセットでトレーニングされたモデルの複数のコピーを容易に組み合わせることができる。
これにより、インクリメンタルリトレーニングやフェデレーションインクリメンタルリトレーニングを含む、より高速で(再)トレーニングアルゴリズムが可能になる。
関連論文リスト
- Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳（メタデータ） (2024-02-20T15:23:24Z) - Epistemic Modeling Uncertainty of Rapid Neural Network Ensembles for
Adaptive Learning [0.0]
新しいタイプのニューラルネットワークは、高速ニューラルネットワークパラダイムを用いて提示される。
提案したエミュレータを組み込んだニューラルネットワークは,予測精度を損なうことなく,ほぼ瞬時に学習できることが判明した。
論文 参考訳（メタデータ） (2023-09-12T22:34:34Z) - Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。
モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。
ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-28T12:02:27Z) - Iterative self-transfer learning: A general methodology for response
time-history prediction based on small dataset [0.0]
本研究では,小さなデータセットに基づいてニューラルネットワークを学習するための反復的自己伝達学習手法を提案する。
提案手法は,小さなデータセットに対して,ほぼ一桁の精度でモデル性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-06-14T18:48:04Z) - Emulation Learning for Neuromimetic Systems [0.0]
ニューラル量子化システムに関する最近の研究に基づいて、量子化運動の学習結果とチャネルドロップアウトに対するレジリエンスを報告する。
本稿では,経路を学習するだけでなく,チャネルドロップアウトに対するレジリエンスの利点を示す一般のディープQネットワーク(DQN)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-05-04T22:47:39Z) - Interpretability of an Interaction Network for identifying $H
\rightarrow b\bar{b}$ jets [4.553120911976256]
近年、ディープニューラルネットワークに基づくAIモデルは、これらのアプリケーションの多くで人気が高まっている。
我々は、高揚した$Hto bbarb$ jetを識別するために設計されたインタラクションネットワーク(IN)モデルを調べることで、AIモデルの解釈可能性を検討する。
さらに、INモデル内の隠れレイヤの活動を、ニューラルアクティベーションパターン(NAP)ダイアグラムとして記述する。
論文 参考訳（メタデータ） (2022-11-23T08:38:52Z) - Deep transfer learning for system identification using long short-term
memory neural networks [0.0]
本稿では,パラメータの微調整と凍結という2種類のディープトランスファー学習を用いて,システム識別のためのデータと計算要件を削減することを提案する。
その結果,直接学習と比較して学習の10%から50%が高速化され,データや計算資源も節約されることがわかった。
論文 参考訳（メタデータ） (2022-04-06T23:39:06Z) - Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling
and Design [68.1682448368636]
本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。
異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。
出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
論文 参考訳（メタデータ） (2022-03-29T21:18:47Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - A novel Deep Neural Network architecture for non-linear system
identification [78.69776924618505]
非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。
メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。
このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
論文 参考訳（メタデータ） (2021-06-06T10:06:07Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳（メタデータ） (2020-06-29T08:35:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。