論文の概要: Block-Operations: Using Modular Routing to Improve Compositional Generalization

• arxiv url: http://arxiv.org/abs/2408.00508v1
• Date: Thu, 1 Aug 2024 12:28:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-04 20:36:37.963931
• Title: Block-Operations: Using Modular Routing to Improve Compositional Generalization
• Title（参考訳）: ブロック操作: 構成一般化を改善するためにモジュールルーティングを使用する
• Authors: Florian Dietz, Dietrich Klakow,
• Abstract要約: フィードフォワードニューラルネットワーク(FNN)を強化した新しいアーキテクチャコンポーネントであるMultiplexerを紹介する。 我々は,Multiplexersが強い構成一般化を示すことを実験的に確認した。
• 参考スコア（独自算出の注目度）: 17.525220958618988
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore the hypothesis that poor compositional generalization in neural networks is caused by difficulties with learning effective routing. To solve this problem, we propose the concept of block-operations, which is based on splitting all activation tensors in the network into uniformly sized blocks and using an inductive bias to encourage modular routing and modification of these blocks. Based on this concept we introduce the Multiplexer, a new architectural component that enhances the Feed Forward Neural Network (FNN). We experimentally confirm that Multiplexers exhibit strong compositional generalization. On both a synthetic and a realistic task our model was able to learn the underlying process behind the task, whereas both FNNs and Transformers were only able to learn heuristic approximations. We propose as future work to use the principles of block-operations to improve other existing architectures.
• Abstract（参考訳）: ニューラルネットワークにおける構成一般化の低さは、効率的なルーティングの学習の難しさによって引き起こされるという仮説を考察する。 この問題を解決するために,ネットワーク内のすべてのアクティベーションテンソルを一様サイズのブロックに分割し,帰納的バイアスを用いてモジュラールーティングとこれらのブロックの修正を促進するブロック操作の概念を提案する。 この概念に基づいて、フィードフォワードニューラルネットワーク(FNN)を強化する新しいアーキテクチャコンポーネントであるMultiplexerを紹介する。 我々は,Multiplexersが強い構成一般化を示すことを実験的に確認した。 FNNもトランスフォーマーもヒューリスティックな近似しか学べなかったが、合成タスクと現実タスクの両方において、我々のモデルはタスクの背後にあるプロセスを学ぶことができた。 ブロック操作の原則を他の既存アーキテクチャの改善に活用するための今後の取り組みとして提案する。

関連論文リスト

• Detecting and Approximating Redundant Computational Blocks in Neural Networks [25.436785396394804]
  ネットワーク内の類似性は、より効率的なニューラルネットワークを設計する新たな機会を提供する。 本稿では,冗長ブロックを検出するための単純な測度であるBlock Redundancyを導入し,冗長ブロックを近似するためにRBA(Redundant Blocks Approximation)を提案する。 RBAは、優れたパフォーマンスを維持しながら、モデルパラメータと時間の複雑さを減らす。
  論文  参考訳（メタデータ） (2024-10-07T11:35:24Z)
• Breaking Neural Network Scaling Laws with Modularity [8.482423139660153]
  一般化に必要なトレーニングデータの量は、タスクの入力の内在的な次元によってどのように異なるかを示す。 そして、この利点を活かすために、モジュールネットワークのための新しい学習ルールを開発します。
  論文  参考訳（メタデータ） (2024-09-09T16:43:09Z)
• Modular Growth of Hierarchical Networks: Efficient, General, and Robust Curriculum Learning [0.0]
  与えられた古典的、非モジュラーリカレントニューラルネットワーク(RNN)に対して、等価なモジュラーネットワークが複数のメトリクスにわたってより良い性能を発揮することを示す。 モジュラートポロジによって導入された帰納バイアスは,モジュール内の接続が固定された場合でもネットワークが良好に動作可能であることを示す。 以上の結果から,RNNの段階的モジュラー成長は,進化の時間スケールで複雑なタスクを学習する上でのメリットをもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-10T13:44:07Z)
• Task Agnostic Architecture for Algorithm Induction via Implicit Composition [10.627575117586417]
  本研究の目的は,このような統一アーキテクチャの構築を探求することであり,その構築方法に関する理論的枠組みを提案することである。 最近のジェネレーティブAI、特にトランスフォーマーベースのモデルは、幅広い領域のアルゴリズムを構築することができるアーキテクチャとしての可能性を示している。 アルゴリズム合成におけるトランスフォーマーおよび他の手法の現在の機能と限界について検討する。
  論文  参考訳（メタデータ） (2024-04-03T04:31:09Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• Defensive Tensorization [113.96183766922393]
  本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。 我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。 我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
  論文  参考訳（メタデータ） (2021-10-26T17:00:16Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• Are Neural Nets Modular? Inspecting Functional Modularity Through Differentiable Weight Masks [10.0444013205203]
  NNがモジュール化されているかどうか、どのように改善するかを理解することはできる。 しかし、現在の検査方法は、モジュールを機能にリンクすることができない。
  論文  参考訳（メタデータ） (2020-10-05T15:04:11Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。