論文の概要: Dimension Mixer: Group Mixing of Input Dimensions for Efficient Function Approximation

• arxiv url: http://arxiv.org/abs/2311.18735v3
• Date: Thu, 10 Oct 2024 14:21:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-11 10:39:00.960649
• Title: Dimension Mixer: Group Mixing of Input Dimensions for Efficient Function Approximation
• Title（参考訳）: 次元混合器:効率的な関数近似のための入力次元の群混合
• Authors: Suman Sapkota, Binod Bhattarai,
• Abstract要約: CNN、Transformers、Fourier-Mixersは、類似点と相違点を探す動機になりました。 これらのアーキテクチャは、一般的な次元混合の概念のレンズを通して解釈できることがわかった。 本研究では,グループワイズ,非線形,多層,学習可能な入力混合方式について検討し,それらが多くの標準的なニューラルネットワークアーキテクチャに相補的であることを明らかにする。
• 参考スコア（独自算出の注目度）: 11.072628804821083
• License:
• Abstract: The recent success of multiple neural architectures like CNNs, Transformers, and MLP-Mixers motivated us to look for similarities and differences between them. We found that these architectures can be interpreted through the lens of a general concept of dimension mixing. Research on coupling flows and the butterfly transform shows that partial and hierarchical signal mixing schemes are sufficient for efficient and expressive function approximation. In this work, we study group-wise sparse, non-linear, multi-layered and learnable mixing schemes of inputs and find that they are complementary to many standard neural architectures. Following our observations and drawing inspiration from the Fast Fourier Transform, we generalize Butterfly Structure to use non-linear mixer function allowing for MLP as mixing function called Butterfly MLP. We were also able to sparsely mix along sequence dimension for Transformer-based architectures called Butterfly Attention. Experiments on CIFAR and LRA datasets demonstrate that the proposed Non-Linear Butterfly Mixers are efficient and scale well when the host architectures are used as mixing function. Additionally, we propose Patch-Only MLP-Mixer for processing spatial 2D signals demonstrating a different dimension mixing strategy.
• Abstract（参考訳）: 最近のCNN、Transformer、MLP-Mixersのような複数のニューラルネットワークの成功は、それら間の類似点と相違点を探す動機となった。 これらのアーキテクチャは、一般的な次元混合の概念のレンズを通して解釈できることがわかった。 結合流とバタフライ変換の研究は、部分的および階層的な信号混合スキームが効率的かつ表現的な関数近似に十分であることを示している。 本研究では,グループワイズ,非線形,多層,学習可能な入力混合方式について検討し,それらが多くの標準的なニューラルネットワークアーキテクチャに相補的であることを明らかにする。 我々は,Fast Fourier Transform からインスピレーションを得た後,Butterfly Structure を一般化し,Butterfly MLP と呼ばれる混合関数として MLP を可能にする非線形ミキサー関数を用いた。 また、Butterfly Attentionと呼ばれるTransformerベースのアーキテクチャのシーケンスディメンションを疎結合にしました。 CIFARとLRAデータセットの実験により、ホストアーキテクチャを混合関数として使用する場合、提案したNon-Linear Butterfly Mixerは効率的でスケール可能であることが示された。 さらに,異なる次元混合戦略を示す空間2次元信号を処理するために,Patch-Only MLP-Mixerを提案する。

関連論文リスト

• D2-MLP: Dynamic Decomposed MLP Mixer for Medical Image Segmentation [12.470164287197454]
  畳み込みニューラルネットワークは医療画像の様々なセグメンテーションタスクで広く利用されている。 畳み込み操作の本質的な局所性のため、グローバルな特徴を適応的に学習することが課題となっている。 これらの制約に対処する新しい動的分解ミキサーモジュールを提案する。
  論文  参考訳（メタデータ） (2024-09-13T15:16:28Z)
• Hierarchical Associative Memory, Parallelized MLP-Mixer, and Symmetry Breaking [6.9366619419210656]
  トランスフォーマーは、自然言語処理における主要なニューラルネットワークモデルとして、自らを確立している。 最近の研究は、MetaFormersで説明されているようなアテンションモジュールを他のメカニズムに置き換えることを検討している。 本稿では,Krotovの階層型連想メモリとMetaFormersを統合し,Transformerブロックの包括的表現を可能にする。
  論文  参考訳（メタデータ） (2024-06-18T02:42:19Z)
• SpiralMLP: A Lightweight Vision MLP Architecture [0.27309692684728615]
  本稿では,従来のToken Mixing手法の代替として,Spiral FC層を導入した新しいアーキテクチャであるSpralMLPを提案する。 本研究は, 高い性能を達成するためには, 完全な受容領域を目標にすることが不可欠ではなく, 改良されたアプローチを採用することが, より良い結果をもたらすことを明らかにした。
  論文  参考訳（メタデータ） (2024-03-31T11:33:39Z)
• SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
  ビジョントランスフォーマーは多くの視覚タスクにおいて印象的なパフォーマンスを達成した。 チャネルミキサーや機能ミキシングブロック(FFNか)の研究は、はるかに少ない。 密度の高い接続は、より大きな膨張比をサポートする対角線ブロック構造に置き換えることができることを示す。
  論文  参考訳（メタデータ） (2023-12-01T08:22:34Z)
• Equivariant Architectures for Learning in Deep Weight Spaces [54.61765488960555]
  重み空間の学習のための新しいネットワークアーキテクチャを提案する。 入力として、事前訓練された不変量の重みとバイアスの連結をとる。 これらのレイヤを3つの基本的な操作で実装する方法を示す。
  論文  参考訳（メタデータ） (2023-01-30T10:50:33Z)
• Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
  本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。 我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。 我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
  論文  参考訳（メタデータ） (2022-09-30T15:01:35Z)
• ButterflyFlow: Building Invertible Layers with Butterfly Matrices [80.83142511616262]
  そこで本研究では,蝶の層に基づく可逆線形層を新たに提案する。 可逆なバタフライ層をベースとして,バタフライフローと呼ばれる新しい正規化フローモデルを構築した。
  論文  参考訳（メタデータ） (2022-09-28T01:58:18Z)
• QbyE-MLPMixer: Query-by-Example Open-Vocabulary Keyword Spotting using MLPMixer [10.503972720941693]
  現在のキーワードスポッティングシステムは、通常、大量の事前定義されたキーワードで訓練される。 本稿では,Mixerモデルアーキテクチャに基づく純粋語彙ニューラルネットワークを提案する。 提案モデルでは,ベースラインモデルと比較してパラメータやMACが小さい。
  論文  参考訳（メタデータ） (2022-06-23T18:18:44Z)
• MLP-Mixer: An all-MLP Architecture for Vision [93.16118698071993]
  マルチ層パーセプトロン(MLP)を基盤としたアーキテクチャ「Mixer」を発表。 Mixerはイメージ分類ベンチマークで競合スコアを獲得し、事前トレーニングと推論は最先端のモデルに匹敵する。
  論文  参考訳（メタデータ） (2021-05-04T16:17:21Z)
• Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks [75.69896269357005]
  Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。 本稿では,自然言語処理タスクにmixupを適用する方法について検討する。 我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
  論文  参考訳（メタデータ） (2020-10-05T23:37:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。