論文の概要: You Only Learn One Representation: Unified Network for Multiple Tasks

• arxiv url: http://arxiv.org/abs/2105.04206v1
• Date: Mon, 10 May 2021 09:03:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 14:52:34.661245
• Title: You Only Learn One Representation: Unified Network for Multiple Tasks
• Title（参考訳）: 一つの表現しか学べない:複数タスクのための統一ネットワーク
• Authors: Chien-Yao Wang, I-Hau Yeh, Hong-Yuan Mark Liao
• Abstract要約: 暗黙の知識と明示的な知識を一緒にエンコードする統一ネットワークを提案する。 その結果、暗黙の知識がニューラルネットワークに導入されると、すべてのタスクのパフォーマンスが向上することを示した。
• 参考スコア（独自算出の注目度）: 11.415473610780476
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: People ``understand'' the world via vision, hearing, tactile, and also the past experience. Human experience can be learned through normal learning (we call it explicit knowledge), or subconsciously (we call it implicit knowledge). These experiences learned through normal learning or subconsciously will be encoded and stored in the brain. Using these abundant experience as a huge database, human beings can effectively process data, even they were unseen beforehand. In this paper, we propose a unified network to encode implicit knowledge and explicit knowledge together, just like the human brain can learn knowledge from normal learning as well as subconsciousness learning. The unified network can generate a unified representation to simultaneously serve various tasks. We can perform kernel space alignment, prediction refinement, and multi-task learning in a convolutional neural network. The results demonstrate that when implicit knowledge is introduced into the neural network, it benefits the performance of all tasks. We further analyze the implicit representation learnt from the proposed unified network, and it shows great capability on catching the physical meaning of different tasks. The source code of this work is at : https://github.com/WongKinYiu/yolor.
• Abstract（参考訳）: 人々は、視覚、聴覚、触覚、そして過去の経験を通して世界を「理解する」。 人間の経験は、通常の学習(明示的な知識と呼ぶ)や、潜在意識的な学習(暗黙的な知識と呼ぶ)を通じて学べる。 通常の学習を通じて学んだ経験は、脳にコード化され、記憶される。 これらの豊富な経験を巨大なデータベースとして利用することで、人間がデータを効果的に処理することができる。 本稿では,人間の脳が通常の学習や潜在意識学習から知識を学習できるように,暗黙的な知識と明示的な知識を同時にエンコードする統一ネットワークを提案する。 統一ネットワークは、様々なタスクを同時に実行する統一表現を生成することができる。 畳み込みニューラルネットワークでは,カーネル空間アライメント,予測精度の向上,マルチタスク学習を行うことができる。 その結果、暗黙の知識がニューラルネットワークに導入されると、すべてのタスクのパフォーマンスが向上することを示した。 さらに,提案した統合ネットワークから学習した暗黙の表現を解析し,様々なタスクの物理的意味を捉える能力を示す。 この作業のソースコードはhttps://github.com/wongkinyiu/yolor。

関連論文リスト

• Towards flexible perception with visual memory [22.597909620182683]
  ニューラルネットワークのトレーニングはモノリシックな取り組みであり、知識を石に彫ることに似ている。 我々は、ディープニューラルネットワークの表現力とデータベースの柔軟性を組み合わせることで、シンプルで魅力的な代替手段を探究する。 私たちは、以下の重要な機能を持つシンプルで柔軟なビジュアルメモリを構築します。
  論文  参考訳（メタデータ） (2024-08-15T14:19:13Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Transferability in Deep Learning: A Survey [80.67296873915176]
  知識を習得し再利用する能力は、ディープラーニングにおける伝達可能性として知られている。 本研究は,深層学習における異なる孤立領域と伝達可能性との関係を関連付けるための調査である。 我々はベンチマークとオープンソースライブラリを実装し、転送可能性の観点からディープラーニング手法の公平な評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-15T15:03:17Z)
• Training Spiking Neural Networks Using Lessons From Deep Learning [28.827506468167652]
  シナプスとニューロンの内部構造は、ディープラーニングの未来を垣間見ることができます。 いくつかのアイデアはニューロモルフィックエンジニアリングコミュニティでよく受け入れられ、一般的に使われているが、他のアイデアはここで初めて提示または正当化されている。 PythonパッケージであるsnnTorchを使って、この論文を補完する一連のインタラクティブチュートリアルも利用可能である。
  論文  参考訳（メタデータ） (2021-09-27T09:28:04Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Towards a Universal Continuous Knowledge Base [49.95342223987143]
  複数のニューラルネットワークからインポートされた知識を格納できる継続的知識基盤を構築する方法を提案する。 テキスト分類実験は有望な結果を示す。 我々は複数のモデルから知識ベースに知識をインポートし、そこから融合した知識を単一のモデルにエクスポートする。
  論文  参考訳（メタデータ） (2020-12-25T12:27:44Z)
• Applications of Deep Neural Networks with Keras [0.0]
  ディープラーニングにより、ニューラルネットワークは人間の脳の機能のような方法で情報の階層を学習することができる。 本コースでは,従来のニューラルネットワーク構造であるConversa Neural Networks (CNN), Long Short-Term Memory (LSTM), Gated Recurrent Neural Networks (GRU), General Adrial Networks (GAN)を紹介する。
  論文  参考訳（メタデータ） (2020-09-11T22:09:10Z)
• Can a powerful neural network be a teacher for a weaker neural network? [0.9569316316728905]
  学習プロセスがより強力なニューラルネットワークによって駆動される場合、弱いニューラルネットワークは、その性能を向上させることができることを示す。 本研究では、弱いネットワークが学習しようとする特徴と、強いニューラルネットワークから以前に学んだ特徴との距離を最小化する損失関数を追加する。
  論文  参考訳（メタデータ） (2020-05-01T14:19:40Z)
• Dark, Beyond Deep: A Paradigm Shift to Cognitive AI with Humanlike Common Sense [142.53911271465344]
  我々は、次世代のAIは、新しいタスクを解決するために、人間のような「暗黒」の常識を取り入れなければならないと論じている。 我々は、人間のような常識を持つ認知AIの5つの中核領域として、機能、物理学、意図、因果性、実用性(FPICU)を識別する。
  論文  参考訳（メタデータ） (2020-04-20T04:07:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。