論文の概要: Classification and Reconstruction Processes in Deep Predictive Coding
Networks: Antagonists or Allies?
- arxiv url: http://arxiv.org/abs/2401.09237v1
- Date: Wed, 17 Jan 2024 14:34:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 15:51:18.214946
- Title: Classification and Reconstruction Processes in Deep Predictive Coding
Networks: Antagonists or Allies?
- Title（参考訳）: 深層予測符号化ネットワークにおける分類と再構成過程:敵対者か味方か?
- Authors: Jan Rathjens and Laurenz Wiskott
- Abstract要約: ビジュアルコンピューティングのための予測符号化にインスパイアされたディープネットワークは、共有中間層における分類と再構成プロセスを統合する。
ディープラーニングアーキテクチャにおけるインタラクションの分類と再構築について、批判的な考察をしている。
分類駆動情報は中間層の共有表現における再構成駆動情報を減少させる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predictive coding-inspired deep networks for visual computing integrate
classification and reconstruction processes in shared intermediate layers.
Although synergy between these processes is commonly assumed, it has yet to be
convincingly demonstrated. In this study, we take a critical look at how
classifying and reconstructing interact in deep learning architectures. Our
approach utilizes a purposefully designed family of model architectures
reminiscent of autoencoders, each equipped with an encoder, a decoder, and a
classification head featuring varying modules and complexities. We meticulously
analyze the extent to which classification- and reconstruction-driven
information can seamlessly coexist within the shared latent layer of the model
architectures. Our findings underscore a significant challenge:
Classification-driven information diminishes reconstruction-driven information
in intermediate layers' shared representations and vice versa. While expanding
the shared representation's dimensions or increasing the network's complexity
can alleviate this trade-off effect, our results challenge prevailing
assumptions in predictive coding and offer guidance for future iterations of
predictive coding concepts in deep networks.
- Abstract（参考訳）: ビジュアルコンピューティングのための予測符号化に触発されたディープネットワークは、共有中間層における分類と再構成プロセスを統合する。
これらのプロセス間の相乗効果は一般的に仮定されるが、まだ説得力のある実証は行われていない。
本研究では,ディープラーニングアーキテクチャにおける分類と再構成の相互作用について批判的に考察する。
本手法は,オートエンコーダを想起させるモデルアーキテクチャ群を汎用的に設計し,それぞれにエンコーダ,デコーダ,分類ヘッドを備え,モジュールや複合性を特徴とする。
我々は、モデルアーキテクチャの共有潜在層内で、分類および再構成駆動の情報がシームレスに共存できる範囲を慎重に分析する。
分類駆動情報は中間層の共有表現における再構成駆動情報を減少させ,その逆も減少させる。
共有表現の次元を拡大したり、ネットワークの複雑さを増大させたりすることで、このトレードオフ効果が軽減される一方で、予測符号化における仮定に挑戦し、深層ネットワークにおける予測符号化概念の今後の反復に関するガイダンスを提供する。
関連論文リスト
- Visualization Of Class Activation Maps To Explain AI Classification Of
Network Packet Captures [0.0]
ネットワーク内のコネクションの数と新しいアプリケーションの追加は、大量のログデータを引き起こします。
ディープラーニング手法は、特徴抽出と単一システムにおけるデータからの分類の両方を提供する。
本稿では、ネットワークデータの分類と説明技法を組み合わせて、専門家、アルゴリズム、データ間のインターフェースを形成する視覚対話型ツールを提案する。
論文 参考訳（メタデータ） (2022-09-05T16:34:43Z) - The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。
正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。
我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
論文 参考訳（メタデータ） (2022-07-21T12:01:03Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - AIGenC: An AI generalisation model via creativity [1.933681537640272]
本稿では,創造性に関する認知理論に触発された計算モデル(AIGenC)を紹介する。
人工エージェントが変換可能な表現を学習、使用、生成するために必要なコンポーネントを配置する。
本稿では, 人工エージェントの配当効率を向上するモデルの有効性について論じる。
論文 参考訳（メタデータ） (2022-05-19T17:43:31Z) - Augmenting Convolutional networks with attention-based aggregation [55.97184767391253]
我々は,非局所的推論を実現するために,注目に基づくグローバルマップを用いた畳み込みネットワークの強化方法を示す。
この学習集約層を2つのパラメータ(幅と深さ)でパラメータ化した単純パッチベースの畳み込みネットワークで接続する。
これは、特にメモリ消費の点で、精度と複雑さの間の驚くほど競争力のあるトレードオフをもたらす。
論文 参考訳（メタデータ） (2021-12-27T14:05:41Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and
Residual Connections for Structure Preserving Object Classification [28.02302915971059]
本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。
提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。
提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
論文 参考訳（メタデータ） (2021-10-06T13:54:49Z) - Denoise and Contrast for Category Agnostic Shape Completion [48.66519783934386]
本稿では,自己スーパービジョンのパワーを利用して3dポイントのクラウド補完を行うディープラーニングモデルを提案する。
Denoising Pretextタスクは、高レベルのセマンティクスから切り離された、必要なローカルキューをネットワークに提供する。
コントラスト学習は、異なる欠落部分を持つ同じ形状の変種間の一致を最大化する。
論文 参考訳（メタデータ） (2021-03-30T20:33:24Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳（メタデータ） (2020-09-08T13:10:21Z) - Visual Concept Reasoning Networks [93.99840807973546]
分割変換マージ戦略は、視覚認識タスクのための畳み込みニューラルネットワークのアーキテクチャ制約として広く使用されている。
我々は、この戦略を利用して、高レベルの視覚概念間の推論を可能にするために、Visual Concept Reasoning Networks (VCRNet) と組み合わせることを提案する。
提案するモデルであるVCRNetは、パラメータ数を1%以下にすることで、一貫して性能を向上する。
論文 参考訳（メタデータ） (2020-08-26T20:02:40Z) - Learn Class Hierarchy using Convolutional Neural Networks [0.9569316316728905]
画像の階層的分類のための新しいアーキテクチャを提案し、クロスエントロピー損失関数と中心損失を組み合わせた深層線形層を導入する。
階層型分類器は,コンピュータビジョンタスクへの応用を見出す従来の分類手法の利点を示す。
論文 参考訳（メタデータ） (2020-05-18T12:06:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。