論文の概要: Use of Deterministic Transforms to Design Weight Matrices of a Neural Network

• arxiv url: http://arxiv.org/abs/2110.03515v1
• Date: Wed, 6 Oct 2021 10:21:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 15:34:11.584393
• Title: Use of Deterministic Transforms to Design Weight Matrices of a Neural Network
• Title（参考訳）: ニューラルネットワークの重み行列設計における決定論的変換の利用
• Authors: Pol Grau Jurado, Xinyue Liang, Alireza M. Javid, and Saikat Chatterjee
• Abstract要約: セルフサイズ推定フィードフォワードネットワーク (SSFN) はフィードフォワード多層ネットワークである。 本稿では,ランダム行列インスタンスの代わりに決定論的変換を用いる方法について検討する。 提案手法の有効性を,複数のベンチマークデータセットを用いたオブジェクト分類タスクに適用した。
• 参考スコア（独自算出の注目度）: 14.363218103948782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self size-estimating feedforward network (SSFN) is a feedforward multilayer network. For the existing SSFN, a part of each weight matrix is trained using a layer-wise convex optimization approach (a supervised training), while the other part is chosen as a random matrix instance (an unsupervised training). In this article, the use of deterministic transforms instead of random matrix instances for the SSFN weight matrices is explored. The use of deterministic transforms provides a reduction in computational complexity. The use of several deterministic transforms is investigated, such as discrete cosine transform, Hadamard transform, Hartley transform, and wavelet transforms. The choice of a deterministic transform among a set of transforms is made in an unsupervised manner. To this end, two methods based on features' statistical parameters are developed. The proposed methods help to design a neural net where deterministic transforms can vary across its layers' weight matrices. The effectiveness of the proposed approach vis-a-vis the SSFN is illustrated for object classification tasks using several benchmark datasets.
• Abstract（参考訳）: セルフサイズ推定フィードフォワードネットワーク (SSFN) はフィードフォワード多層ネットワークである。 既存のSSFNでは、各重み行列の一部が層単位で凸最適化アプローチ(教師付きトレーニング)を用いて訓練され、他方はランダム行列インスタンス(教師なしトレーニング)として選択される。 本稿では、ssfn重み行列に対するランダム行列のインスタンスの代わりに決定論的変換を用いることを考察する。 決定論的変換の使用は計算の複雑さを減少させる。 離散コサイン変換,アダマール変換,ハートリー変換,ウェーブレット変換など,いくつかの決定論的変換の利用について検討した。 一連の変換における決定論的変換の選択は教師なしの方法で行われる。 そこで,特徴量の統計パラメータに基づく2つの手法を開発した。 提案手法は,階層の重み行列によって決定論的変換が変化するニューラルネットの設計に有効である。 提案手法の有効性を,複数のベンチマークデータセットを用いたオブジェクト分類タスクに適用した。

関連論文リスト

• Variable-size Symmetry-based Graph Fourier Transforms for image compression [65.7352685872625]
  可変サイズのグラフフーリエ変換を符号化フレームワークに導入する。 提案アルゴリズムは,ノード間の特定の対称接続を追加することにより,グリッド上の対称グラフを生成する。 実験により、SBGFTは、明示的な多重変換選択に統合された一次変換よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-24T13:00:44Z)
• Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
  一般的な戦略である。 事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。 適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。 SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
  論文  参考訳（メタデータ） (2024-10-30T12:08:30Z)
• Neural Functional Transformers [99.98750156515437]
  本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
  論文  参考訳（メタデータ） (2023-05-22T23:38:27Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Learning Invariant Representations for Equivariant Neural Networks Using Orthogonal Moments [9.680414207552722]
  標準畳み込みニューラルネットワーク(CNN)の畳み込み層は、翻訳と等価である。 近年,従来のCNNの層を同変畳み込み,プーリング,バッチ正規化に置き換えた新しいCNNのクラスが提案されている。
  論文  参考訳（メタデータ） (2022-09-22T11:48:39Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• A Reinforcement Learning Approach for Sequential Spatial Transformer Networks [6.585049648605185]
  我々は、このタスクをマルコフ決定プロセス(MDP)として定式化し、このシーケンシャルな意思決定問題を解決するためにRLを使用する。 この方法では、サンプリングモジュールの微分可能性に縛られません。 MNISTデータセットとFashion-MNISTデータセットを用いて,本手法の有効性を検証するために,複数の実験を設計する。
  論文  参考訳（メタデータ） (2021-06-27T17:41:17Z)
• Training or Architecture? How to Incorporate Invariance in Neural Networks [14.162739081163444]
  本稿では,グループ行動に関して,ネットワークアーキテクチャを確実に不変化する手法を提案する。 簡単に言えば、実際のネットワークにデータを送る前に、可能なトランスフォーメーションを“無効化”するつもりです。 このような手法の特性を解析し、等変ネットワークに拡張し、その利点を頑健さと計算効率の両面からいくつかの数値例で示す。
  論文  参考訳（メタデータ） (2021-06-18T10:31:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。