論文の概要: Lightweight Convolutional Neural Networks By Hypercomplex Parameterization

• arxiv url: http://arxiv.org/abs/2110.04176v1
• Date: Fri, 8 Oct 2021 14:57:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-11 13:17:31.796195
• Title: Lightweight Convolutional Neural Networks By Hypercomplex Parameterization
• Title（参考訳）: 超複素パラメータ化による軽量畳み込みニューラルネットワーク
• Authors: Eleonora Grassucci, Aston Zhang, Danilo Comminiello
• Abstract要約: 超複素畳み込み層のパラメータ化を定義し、軽量で効率的な大規模畳み込みモデルを開発する。 提案手法は,データから直接,畳み込みルールとフィルタ組織を把握している。 様々な画像データセットとオーディオデータセットで実験を行うことにより、このアプローチの複数のドメインに対する汎用性を実証する。
• 参考スコア（独自算出の注目度）: 10.420215908252425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hypercomplex neural networks have proved to reduce the overall number of parameters while ensuring valuable performances by leveraging the properties of Clifford algebras. Recently, hypercomplex linear layers have been further improved by involving efficient parameterized Kronecker products. In this paper, we define the parameterization of hypercomplex convolutional layers to develop lightweight and efficient large-scale convolutional models. Our method grasps the convolution rules and the filters organization directly from data without requiring a rigidly predefined domain structure to follow. The proposed approach is flexible to operate in any user-defined or tuned domain, from 1D to $n$D regardless of whether the algebra rules are preset. Such a malleability allows processing multidimensional inputs in their natural domain without annexing further dimensions, as done, instead, in quaternion neural networks for 3D inputs like color images. As a result, the proposed method operates with $1/n$ free parameters as regards its analog in the real domain. We demonstrate the versatility of this approach to multiple domains of application by performing experiments on various image datasets as well as audio datasets in which our method outperforms real and quaternion-valued counterparts.
• Abstract（参考訳）: 超複素ニューラルネットワークは、クリフォード代数の性質を活用し、価値ある性能を確保しながら、パラメータ全体の数を減らすことが証明されている。 近年,効率の良いパラメタライズドクロネッカー製品によって,超複素線形層がさらに改良されている。 本稿では,超複素畳み込み層のパラメータ化を定義し,軽量で効率的な大規模畳み込みモデルを構築する。 本手法は,畳み込み規則とフィルタ組織を直接データから把握し,厳密に定義されたドメイン構造に従うことなく処理を行う。 提案されたアプローチは、代数規則が事前に設定されているかどうかに関わらず、1dから$n$dまで、任意のユーザ定義またはチューニングされたドメインで操作するのに柔軟である。 このような可鍛性により、色画像のような3次元入力のための四元ニューラルネットワークでは、さらに次元を併合することなく、自然領域で多次元入力を処理できる。 その結果,提案手法は実領域のアナログに関して1/n$自由パラメータで動作することがわかった。 提案手法は,複数領域のアプリケーションに対して,様々な画像データセットと音声データセットを用いて実験を行うことにより,本手法の汎用性を実証する。

関連論文リスト

• Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
  本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。 MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。 乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T20:18:52Z)
• Tunable Convolutions with Parametric Multi-Loss Optimization [5.658123802733283]
  ニューラルネットワークの挙動は、トレーニング中に使用される特定の損失とデータによって不適切に決定される。 ユーザの好みやデータの動的特性といった外部要因に基づいて,推論時にモデルをチューニングすることが望ましい場合が多い。 これは、不適切な画像から画像への変換タスクの知覚歪曲トレードオフのバランスをとるために特に重要である。
  論文  参考訳（メタデータ） (2023-04-03T11:36:10Z)
• Efficient Parametric Approximations of Neural Network Function Space Distance [6.117371161379209]
  モデルパラメータとトレーニングデータの重要な特性をコンパクトに要約して、データセット全体を保存または/または反復することなく後で使用できるようにすることが、しばしば有用である。 我々は,FSD(Function Space Distance)をトレーニングセット上で推定することを検討する。 本稿では、線形化活性化TRick (LAFTR) を提案し、ReLUニューラルネットワークに対するFSDの効率的な近似を導出する。
  論文  参考訳（メタデータ） (2023-02-07T15:09:23Z)
• Deep Diversity-Enhanced Feature Representation of Hyperspectral Images [87.47202258194719]
  トポロジを改良して3次元畳み込みを補正し,上行階の高次化を図る。 また、要素間の独立性を最大化するために特徴マップに作用する新しい多様性対応正規化(DA-Reg)項を提案する。 提案したRe$3$-ConvSetとDA-Regの優位性を実証するために,様々なHS画像処理および解析タスクに適用する。
  論文  参考訳（メタデータ） (2023-01-15T16:19:18Z)
• Hyperparameter Tuning in Echo State Networks [0.0]
  Echo State Networksは、リカレントニューラルネットワークの一種で、大きなランダムに生成された貯水池と、線形回帰によってトレーニングされた少数のリードアウト接続を備えている。 共分散行列適応進化戦略(CMA-ES)に基づくハイパーパラメータチューニングの代替手法を提案する。
  論文  参考訳（メタデータ） (2022-07-16T16:20:01Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Dynamic Convolution for 3D Point Cloud Instance Segmentation [146.7971476424351]
  動的畳み込みに基づく3次元点雲からのインスタンスセグメンテーション手法を提案する。 我々は、同じ意味圏と閉投票を持つ等質点を幾何学的遠近点に対して収集する。 提案手法は提案不要であり、代わりに各インスタンスの空間的および意味的特性に適応する畳み込みプロセスを利用する。
  論文  参考訳（メタデータ） (2021-07-18T09:05:16Z)
• Beyond Fully-Connected Layers with Quaternions: Parameterization of Hypercomplex Multiplications with $1/n$ Parameters [71.09633069060342]
  モデルが事前に定義されているかどうかにかかわらず、データから乗算ルールを学習できるように、ハイパーコンプレックス乗算のパラメータ化を提案する。 我々の手法はハミルトン積を仮定するだけでなく、任意の nD 超複素空間上での操作も学んでいる。
  論文  参考訳（メタデータ） (2021-02-17T06:16:58Z)
• DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic Convolution [136.7261709896713]
  本稿では,インスタンスの性質に応じて適切な畳み込みカーネルを生成するデータ駆動型アプローチを提案する。 提案手法はScanetNetV2とS3DISの両方で有望な結果が得られる。 また、現在の最先端よりも推論速度を25%以上向上させる。
  論文  参考訳（メタデータ） (2020-11-26T14:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。