論文の概要: Effective prevention of semantic drift as angular distance in memory-less continual deep neural networks

• arxiv url: http://arxiv.org/abs/2112.09175v1
• Date: Thu, 16 Dec 2021 19:57:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-20 15:58:52.321055
• Title: Effective prevention of semantic drift as angular distance in memory-less continual deep neural networks
• Title（参考訳）: メモリレス連続型ディープニューラルネットワークにおける角距離としてのセマンティックドリフトの有効防止
• Authors: Khouloud Saadi, Muhammad Taimoor Khan
• Abstract要約: 生涯機械学習または連続学習モデルは、一連のタスクにまたがる知識を蓄積することによって、漸進的に学習しようとする。 これらのモデルはセマンティックドリフトや可塑性安定性ジレンマに悩まされる。 提案手法では,個々のノードにおける意味的ドリフトを評価するために角距離を用いる。 提案手法は,標準データセットの精度を維持することにより,最先端技術モデルよりも優れる。
• 参考スコア（独自算出の注目度）: 0.5330240017302621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lifelong machine learning or continual learning models attempt to learn incrementally by accumulating knowledge across a sequence of tasks. Therefore, these models learn better and faster. They are used in various intelligent systems that have to interact with humans or any dynamic environment e.g., chatbots and self-driving cars. Memory-less approach is more often used with deep neural networks that accommodates incoming information from tasks within its architecture. It allows them to perform well on all the seen tasks. These models suffer from semantic drift or the plasticity-stability dilemma. The existing models use Minkowski distance measures to decide which nodes to freeze, update or duplicate. These distance metrics do not provide better separation of nodes as they are susceptible to high dimensional sparse vectors. In our proposed approach, we use angular distance to evaluate the semantic drift in individual nodes that provide better separation of nodes and thus better balancing between stability and plasticity. The proposed approach outperforms state-of-the art models by maintaining higher accuracy on standard datasets.
• Abstract（参考訳）: 生涯機械学習または連続学習モデルは、一連のタスクにまたがる知識を蓄積することによって、漸進的に学習しようとする。 したがって、これらのモデルはより速く学習する。 それらは、人間や、チャットボットや自動運転車など、あらゆる動的環境と対話しなければならないさまざまなインテリジェントシステムで使用される。 メモリレスアプローチは、アーキテクチャ内のタスクからの入力情報に対応するディープニューラルネットワークでよく使用される。 これによって、すべてのタスクをうまく実行できます。 これらのモデルはセマンティックドリフトや可塑性安定性ジレンマに悩まされる。 既存のモデルはミンコフスキー距離測定を使用して、どのノードを凍結、更新、複製するかを決定する。 これらの距離測定は、高次元スパースベクトルの影響を受けるため、ノードのより良い分離を提供しない。 提案手法では,ノードの分離性が向上し,安定性と可塑性のバランスが向上する個々のノードの意味的ドリフトを評価するために角距離を用いる。 提案手法は,標準データセットの精度を維持することにより,最先端技術モデルよりも優れる。

関連論文リスト

• Legged Robot State Estimation With Invariant Extended Kalman Filter Using Neural Measurement Network [2.0405494347486197]
  我々は、ニューラルネットワーク(NMN)と不変拡張カルマンフィルタを統合する状態推定フレームワークを開発した。 提案手法は,既存のモデルベース状態推定器と比較して位置ドリフトを著しく低減する。
  論文  参考訳（メタデータ） (2024-02-01T06:06:59Z)
• Optimizing Dense Feed-Forward Neural Networks [0.0]
  本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。 提案手法では,パラメータ数を70%以上圧縮できる。 また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
  論文  参考訳（メタデータ） (2023-12-16T23:23:16Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• Transfer Learning with Deep Tabular Models [66.67017691983182]
  上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。 そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。 上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T14:24:32Z)
• CARNet: A Dynamic Autoencoder for Learning Latent Dynamics in Autonomous Driving Tasks [11.489187712465325]
  自律運転システムは、世界の抽象的な記述を形成するために、様々なセンサから収集した情報を効果的に活用すべきである。 オートエンコーダのようなディープラーニングモデルは、受信データのストリームからコンパクトな潜在表現を学習できるため、その目的のために使用できる。 この研究は、自動エンコーダとリカレントニューラルネットワークを組み合わせて現在の潜伏表現を学習する、複合dynAmicautoencodeRネットワークアーキテクチャであるCARNetを提案する。
  論文  参考訳（メタデータ） (2022-05-18T04:15:42Z)
• Neurosymbolic hybrid approach to driver collision warning [64.02492460600905]
  自律運転システムには2つの主要なアルゴリズムアプローチがある。 ディープラーニングだけでは、多くの分野で最先端の結果が得られています。 しかし、ディープラーニングモデルが機能しない場合、デバッグが非常に難しい場合もあります。
  論文  参考訳（メタデータ） (2022-03-28T20:29:50Z)
• Rethinking Pareto Frontier for Performance Evaluation of Deep Neural Networks [2.167843405313757]
  多目的最適化を用いて効率測定を再定義する。 競合変数と自然を同時に1つの相対効率尺度で組み合わせる。 これにより、異なるコンピューティングハードウェア上で効率的に動作するディープモデルをランク付けし、推論効率とトレーニング効率を客観的に組み合わせることができる。
  論文  参考訳（メタデータ） (2022-02-18T15:58:17Z)
• The Devil Is in the Details: An Efficient Convolutional Neural Network for Transport Mode Detection [3.008051369744002]
  トランスポートモード検出は、マルチモーダル信号が与えられたユーザのトランスポートモードを推測できるアルゴリズムを設計することを目的とした分類問題である。 小型で最適化されたモデルが、現在のディープモデルと同様に動作可能であることを示す。
  論文  参考訳（メタデータ） (2021-09-16T08:05:47Z)
• IntentNet: Learning to Predict Intention from Raw Sensor Data [86.74403297781039]
  本論文では,LiDARセンサが生成する3次元点群と,環境の動的なマップの両方を利用するワンステージ検出器と予測器を開発した。 当社のマルチタスクモデルは、それぞれの別々のモジュールよりも高い精度を実現し、計算を節約します。
  論文  参考訳（メタデータ） (2021-01-20T00:31:52Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。