論文の概要: Developmental Network Two, Its Optimality, and Emergent Turing Machines
- arxiv url: http://arxiv.org/abs/2208.06279v1
- Date: Thu, 4 Aug 2022 01:36:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-28 22:21:42.004597
- Title: Developmental Network Two, Its Optimality, and Emergent Turing Machines
- Title（参考訳）: 開発ネットワーク2, その最適性と創発的チューリングマシン
- Authors: Juyang Weng, Zejia Zheng and Xiang Wu
- Abstract要約: 強力なAIは、学習エンジンがタスクに特化せず、内部機能の動的な階層を自動的に構築する必要がある。
我々は、現実世界で確実に機能する実用的なAIシステムに強力なAIが必要な理由を提示する。
次に,次世代開発ネットワーク2(DN-2)を提案する。
- 参考スコア（独自算出の注目度）: 7.912849936647424
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Strong AI requires the learning engine to be task non-specific and to
automatically construct a dynamic hierarchy of internal features. By hierarchy,
we mean, e.g., short road edges and short bush edges amount to intermediate
features of landmarks; but intermediate features from tree shadows are
distractors that must be disregarded by the high-level landmark concept. By
dynamic, we mean the automatic selection of features while disregarding
distractors is not static, but instead based on dynamic statistics (e.g.
because of the instability of shadows in the context of landmark). By internal
features, we mean that they are not only sensory, but also motor, so that
context from motor (state) integrates with sensory inputs to become a
context-based logic machine. We present why strong AI is necessary for any
practical AI systems that work reliably in the real world. We then present a
new generation of Developmental Networks 2 (DN-2). With many new novelties
beyond DN-1, the most important novelty of DN-2 is that the inhibition area of
each internal neuron is neuron-specific and dynamic. This enables DN-2 to
automatically construct an internal hierarchy that is fluid, whose number of
areas is not static as in DN-1. To optimally use the limited resource
available, we establish that DN-2 is optimal in terms of maximum likelihood,
under the condition of limited learning experience and limited resources. We
also present how DN-2 can learn an emergent Universal Turing Machine (UTM).
Together with the optimality, we present the optimal UTM. Experiments for
real-world vision-based navigation, maze planning, and audition used DN-2. They
successfully showed that DN-2 is for general purposes using natural and
synthetic inputs. Their automatically constructed internal representation
focuses on important features while being invariant to distractors and other
irrelevant context-concepts.
- Abstract（参考訳）: 強力なAIは、学習エンジンがタスクに特化せず、内部機能の動的な階層を自動的に構築する必要がある。
階層によって、例えば、短い道路の縁と短い茂みの縁はランドマークの中間的な特徴に等しいが、木陰からの中間的な特徴は、ハイレベルなランドマークの概念に無視される必要がある。
動的に言えば、注意散らしを無視しながら特徴の自動選択は静的ではなく、動的統計に基づく(例えばランドマークの文脈における影の不安定さ)。
内的特徴によって、それらは感覚だけでなく運動も意味しており、運動(状態)からのコンテキストが感覚入力と統合されてコンテキストベースの論理機械となる。
我々は、現実世界で確実に機能する実用的なAIシステムに強力なAIが必要な理由を提示する。
次に,次世代開発ネットワーク2(DN-2)を提案する。
DN-1以外の多くの新しい新奇性により、DN-2の最も重要な新規性は、各ニューロンの抑制領域がニューロン特異的で動的であることである。
これによりDN-2は、DN-1のように領域の数が静的でない流動的な内部階層を自動的に構築できる。
利用可能な限られた資源を最適に活用するために、DN-2は限られた学習経験と限られた資源の条件の下で、最大限の確率で最適であることを示す。
また,DN-2 が創発的ユニバーサルチューリングマシン (UTM) を学習する方法について述べる。
最適性とともに最適なUTMを示す。
DN-2を用いた実世界の視覚に基づくナビゲーション、迷路計画、オーディションの実験。
彼らはDN-2が自然と合成の入力を用いる一般的な目的であることを示した。
自動的に構築された内部表現は重要な特徴に焦点を合わせながら、イントラクタや他の無関係なコンテキスト概念に不変である。
関連論文リスト
- Generative Diffusion-based Contract Design for Efficient AI Twins Migration in Vehicular Embodied AI Networks [55.15079732226397]
Embodied AIは、サイバースペースと物理空間のギャップを埋める、急速に進歩する分野だ。
VEANETでは、組み込まれたAIツインが車載AIアシスタントとして機能し、自律運転をサポートするさまざまなタスクを実行する。
論文 参考訳（メタデータ） (2024-10-02T02:20:42Z) - Optimized Deployment of Deep Neural Networks for Visual Pose Estimation
on Nano-drones [9.806742394395322]
小型無人航空機(UAV)は小型化が進み、屋内ナビゲーションや人体監視といった新しいタスクが可能になった。
本研究では,Deep Neural Networks (DNN) を用いた視覚的ポーズ推定タスクの自動最適化パイプラインを提案する。
その結果,アイソエラー時の予測遅延を最大3.22倍改善した。
論文 参考訳（メタデータ） (2024-02-23T11:35:57Z) - OTOv3: Automatic Architecture-Agnostic Neural Network Training and
Compression from Structured Pruning to Erasing Operators [57.145175475579315]
このトピックは、構造化プルーニングからニューラルアーキテクチャサーチまで、さまざまなテクニックにまたがっている。
第3世代のOTOv3(Noth-Train-Once)を導入する。
我々は,構造化プルーニングとニューラルアーキテクチャ探索におけるOTOv3の有効性を実証した。
論文 参考訳（メタデータ） (2023-12-15T00:22:55Z) - Enhanced DeepONet for Modeling Partial Differential Operators
Considering Multiple Input Functions [5.819397109258169]
偏微分方程式(PDE)に対する一般非線形連続作用素をモデル化するディープネットワーク演算子(DeepONet)が提案された。
既存のDeepONetは1つの入力関数しか受け付けないため、アプリケーションに制限がある。
本稿では、2つの入力関数を2つの分枝サブネットワークで表現する拡張DeepONetまたはEDeepONet高レベルニューラルネットワーク構造を提案する。
2つの偏微分方程式の例をモデル化した結果、提案した拡張DeepONetは約7X-17Xであり、完全に連結されたニューラルネットワークよりも約1桁精度が高いことがわかった。
論文 参考訳（メタデータ） (2022-02-17T23:58:23Z) - The merged-staircase property: a necessary and nearly sufficient condition for SGD learning of sparse functions on two-layer neural networks [19.899987851661354]
我々は,SGD-Lrnability with $O(d)$ sample complexity in a large ambient dimension。
本研究の主な成果は, 階層的特性である「マージ階段特性」を特徴付けるものである。
鍵となるツールは、潜在低次元部分空間上で定義される函数に適用される新しい「次元自由」力学近似である。
論文 参考訳（メタデータ） (2022-02-17T13:43:06Z) - H2Learn: High-Efficiency Learning Accelerator for High-Accuracy Spiking
Neural Networks [25.768116231283045]
H2Learnは,BPTTに基づくSNN学習において,高い効率を実現する新しいアーキテクチャである。
最新のNVIDIA V100 GPUと比較して、H2Learnは7.38倍の領域節約、5.74-10.20倍のスピードアップ、5.25-7.12倍の省エネを実現している。
論文 参考訳（メタデータ） (2021-07-25T07:37:17Z) - Dynamic Multi-Branch Layers for On-Device Neural Machine Translation [53.637479651600586]
動的マルチブランチ層を用いたオンデバイスニューラルマシン翻訳(NMT)システムの性能向上を提案する。
具体的には、トレーニングと推論中に1つの分岐のみを活性化した層方向動的マルチブランチネットワークを設計する。
ほぼ同じ計算コストで、WMT14英語-ドイツ語翻訳タスクでは最大1.7 BLEUポイント、WMT20中国語-英語翻訳タスクでは1.8 BLEUポイントの改善を実現します。
論文 参考訳（メタデータ） (2021-05-14T07:32:53Z) - Spatial Dependency Networks: Neural Layers for Improved Generative Image
Modeling [79.15521784128102]
画像生成装置(デコーダ)を構築するための新しいニューラルネットワークを導入し、可変オートエンコーダ(VAE)に適用する。
空間依存ネットワーク(sdns)では、ディープニューラルネットの各レベルにおける特徴マップを空間的にコヒーレントな方法で計算する。
空間依存層による階層型vaeのデコーダの強化は密度推定を大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-03-16T07:01:08Z) - Neural Dynamic Policies for End-to-End Sensorimotor Learning [51.24542903398335]
感覚運動制御における現在の主流パラダイムは、模倣であれ強化学習であれ、生の行動空間で政策を直接訓練することである。
軌道分布空間の予測を行うニューラル・ダイナミック・ポリシー(NDP)を提案する。
NDPは、いくつかのロボット制御タスクにおいて、効率と性能の両面で、これまでの最先端よりも優れている。
論文 参考訳（メタデータ） (2020-12-04T18:59:32Z) - On Deep Learning Techniques to Boost Monocular Depth Estimation for
Autonomous Navigation [1.9007546108571112]
画像の深さを推定することはコンピュータビジョンの分野における根本的な逆問題である。
本稿では,新しい特徴抽出モデルと組み合わせ,軽量で高速なCNNアーキテクチャを提案する。
また,SIDE問題を解くために,単純な幾何2.5D損失関数と組み合わせて効率的な表面正規化モジュールを導入する。
論文 参考訳（メタデータ） (2020-10-13T18:37:38Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。