論文の概要: Multilinear Operator Networks

• arxiv url: http://arxiv.org/abs/2401.17992v1
• Date: Wed, 31 Jan 2024 16:52:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-01 13:54:51.829768
• Title: Multilinear Operator Networks
• Title（参考訳）: マルチ線形演算子ネットワーク
• Authors: Yixin Cheng, Grigorios G. Chrysos, Markos Georgopoulos, Volkan Cevher
• Abstract要約: ポリノミアルネットワーク(Polynomial Networks)は、アクティベーション関数を必要としないモデルのクラスである。 マルチリニア演算子のみに依存するMONetを提案する。
• 参考スコア（独自算出の注目度）: 60.7432588386185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the remarkable capabilities of deep neural networks in image recognition, the dependence on activation functions remains a largely unexplored area and has yet to be eliminated. On the other hand, Polynomial Networks is a class of models that does not require activation functions, but have yet to perform on par with modern architectures. In this work, we aim close this gap and propose MONet, which relies solely on multilinear operators. The core layer of MONet, called Mu-Layer, captures multiplicative interactions of the elements of the input token. MONet captures high-degree interactions of the input elements and we demonstrate the efficacy of our approach on a series of image recognition and scientific computing benchmarks. The proposed model outperforms prior polynomial networks and performs on par with modern architectures. We believe that MONet can inspire further research on models that use entirely multilinear operations.
• Abstract（参考訳）: 画像認識におけるディープニューラルネットワークの顕著な能力にもかかわらず、アクティベーション関数への依存はほとんど未調査領域であり、まだ排除されていない。 一方、Polynomial Networksはアクティベーション関数を必要としないが、現代のアーキテクチャと同等に動作していないモデルのクラスである。 本研究では,このギャップを埋め,マルチ線形演算子のみに依存するMONetを提案する。 MONetのコア層は Mu-Layer と呼ばれ、入力トークンの要素の乗法的相互作用をキャプチャする。 MONetは入力要素の高次相互作用をキャプチャし、画像認識および科学計算ベンチマークにおけるアプローチの有効性を実証する。 提案モデルは,従来の多項式ネットワークよりも優れ,近代的アーキテクチャと同等に動作する。 我々はMONetが完全にマルチリニアな操作を使用するモデルについてさらなる研究を刺激できると考えている。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• SENetV2: Aggregated dense layer for channelwise and global representations [0.0]
  我々は,Squeeze残余モジュール内に,多分岐密度層である新しい多層パーセプトロンを導入する。 この融合により、チャネルワイドパターンを捕捉し、グローバルな知識を持つネットワークの能力が向上する。 ベンチマークデータセットの広範な実験を行い、モデルを検証し、確立したアーキテクチャと比較する。
  論文  参考訳（メタデータ） (2023-11-17T14:10:57Z)
• General-Purpose Multimodal Transformer meets Remote Sensing Semantic Segmentation [35.100738362291416]
  マルチモーダルAIは、特にセマンティックセグメンテーションのような複雑なタスクのために、補完的なデータソースを活用する。 汎用マルチモーダルネットワークの最近のトレンドは、最先端の性能を達成する大きな可能性を示している。 本稿では,3次元畳み込みを利用して重要なローカル情報をエンコードし,同時にモーダルな特徴を学習するUNet型モジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-07T04:58:34Z)
• Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
  線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。 現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。 SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
  論文  参考訳（メタデータ） (2023-06-19T23:10:02Z)
• Regularization of polynomial networks for image recognition [78.4786845859205]
  PN(Polynomial Networks)は、将来性があり、解釈可能性も向上した代替手法として登場した。 6つのベンチマークでResNetのパフォーマンスに到達できるPNのクラスを紹介します。
  論文  参考訳（メタデータ） (2023-03-24T10:05:22Z)
• AnomMAN: Detect Anomaly on Multi-view Attributed Networks [11.331030689825258]
  マルチビュー分散ネットワーク上での異常検出のためのグラフ畳み込みに基づくフレームワークAnomMANを提案する。 実世界のデータセットの実験によると、AnomMANは最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2022-01-08T12:49:27Z)
• Progressive Multi-stage Interactive Training in Mobile Network for Fine-grained Recognition [8.727216421226814]
  再帰型モザイク発電機(RMG-PMSI)を用いたプログレッシブ多段階インタラクティブトレーニング手法を提案する。 まず、異なる位相の異なる画像を生成する再帰モザイク発生器(RMG)を提案する。 次に、異なるステージの特徴は、異なるステージの対応する特徴を強化し補完するマルチステージインタラクション(MSI)モジュールを通過する。 RMG-PMSIは高い堅牢性と伝達性で性能を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2021-12-08T10:50:03Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• AdnFM: An Attentive DenseNet based Factorization Machine for CTR Prediction [11.958336595818267]
  Attentive DenseNet based Factorization Machines (AdnFM) と呼ばれる新しいモデルを提案する。 AdnFMはフィードフォワードニューラルネットワークから隠されたすべての層を暗黙の高次の特徴として使用することにより、より包括的な深い特徴を抽出することができる。 2つの実世界のデータセットにおける実験により、提案モデルがクリックスルーレート予測の性能を効果的に向上できることが示されている。
  論文  参考訳（メタデータ） (2020-12-20T01:00:39Z)
• Evolving Normalization-Activation Layers [100.82879448303805]
  我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。 EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。 我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
  論文  参考訳（メタデータ） (2020-04-06T19:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。