論文の概要: An Adaptive Orthogonal Convolution Scheme for Efficient and Flexible CNN Architectures

• arxiv url: http://arxiv.org/abs/2501.07930v1
• Date: Tue, 14 Jan 2025 08:32:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:27:38.870996
• Title: An Adaptive Orthogonal Convolution Scheme for Efficient and Flexible CNN Architectures
• Title（参考訳）: 効率的かつ柔軟なCNNアーキテクチャのための適応直交畳み込み方式
• Authors: Thibaut Boissin, Franck Mamalet, Thomas Fel, Agustin Martin Picard, Thomas Massena, Mathieu Serrurier,
• Abstract要約: 我々は直交畳み込みを構築するスケーラブルな方法であるAOC(Adaptative Orthogonal Convolution)を紹介する。 実験を通して,本手法がスケールするにつれて効率が向上する表現モデルを生成することを示す。
• 参考スコア（独自算出の注目度）: 8.136541584281987
• License:
• Abstract: Orthogonal convolutional layers are the workhorse of multiple areas in machine learning, such as adversarial robustness, normalizing flows, GANs, and Lipschitzconstrained models. Their ability to preserve norms and ensure stable gradient propagation makes them valuable for a large range of problems. Despite their promise, the deployment of orthogonal convolution in large-scale applications is a significant challenge due to computational overhead and limited support for modern features like strides, dilations, group convolutions, and transposed convolutions.In this paper, we introduce AOC (Adaptative Orthogonal Convolution), a scalable method for constructing orthogonal convolutions, effectively overcoming these limitations. This advancement unlocks the construction of architectures that were previously considered impractical. We demonstrate through our experiments that our method produces expressive models that become increasingly efficient as they scale. To foster further advancement, we provide an open-source library implementing this method, available at https://github.com/thib-s/orthogonium.
• Abstract（参考訳）: 直交畳み込み層(英: Orthogonal convolutional layer)は、対向ロバスト性、正規化フロー、GAN、リプシッツ制約モデルなど、機械学習における複数の領域のワークホースである。 標準を保ち、安定した勾配伝播を確保する能力は、幅広い問題に有用である。 大規模アプリケーションにおける直交的畳み込みの展開は, 計算オーバーヘッドや, 歩数, 拡張, グループ畳み込み, 転向的畳み込みといった現代的な特徴の限定的サポートなど, 重要な課題である。 この進歩により、以前は非現実的と考えられていた建築の建設が解き放たれた。 実験を通して,本手法がスケールするにつれて効率が向上する表現モデルを生成することを示す。 さらなる進歩を促進するため、私たちはhttps://github.com/thib-s/orthogonium.comで利用可能なこのメソッドを実装するオープンソースライブラリを提供しています。

関連論文リスト

• Orchid: Flexible and Data-Dependent Convolution for Sequence Modeling [4.190836962132713]
  本稿では,従来の注意機構の2次複雑さに対処する新しいアーキテクチャであるOrchidを紹介する。 このアーキテクチャのコアには、新しいデータ依存のグローバル畳み込み層があり、入力シーケンスに条件付きカーネルを文脈的に適応させる。 言語モデリングや画像分類など,複数の領域にまたがるモデルの評価を行い,その性能と汎用性を強調した。
  論文  参考訳（メタデータ） (2024-02-28T17:36:45Z)
• GloptiNets: Scalable Non-Convex Optimization with Certificates [61.50835040805378]
  本稿では,ハイパーキューブやトーラス上のスムーズな関数を扱う証明書を用いた非キューブ最適化手法を提案する。 スペクトルの減衰に固有の対象関数の正則性を活用することにより、正確な証明を取得し、高度で強力なニューラルネットワークを活用することができる。
  論文  参考訳（メタデータ） (2023-06-26T09:42:59Z)
• SMPConv: Self-moving Point Representations for Continuous Convolution [4.652175470883851]
  本稿では,ニューラルネットワークを使わずに連続的な畳み込みを構築するための代替手法を提案する。 重みパラメータが自由に動く自己移動点表現と連続関数の実装にスキームを用いる。 その軽量な構造のため、我々はまず大規模な環境で連続的畳み込みの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-05T09:36:30Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• Existence, Stability and Scalability of Orthogonal Convolutional Neural Networks [1.0742675209112622]
  ニューラルネットワークの層に直交性を導入することは、勾配の爆発/消滅を制限することによって学習を促進することが知られている。 本稿では直交畳み込み層の理論的性質について検討する。
  論文  参考訳（メタデータ） (2021-08-12T09:30:53Z)
• X-volution: On the unification of convolution and self-attention [52.80459687846842]
  本稿では,畳み込み操作と自己注意操作の両方からなるマルチブランチ基本モジュールを提案する。 提案したX-進化は、非常に競争力のある視覚的理解の改善を実現する。
  論文  参考訳（メタデータ） (2021-06-04T04:32:02Z)
• Orthogonalizing Convolutional Layers with the Cayley Transform [83.73855414030646]
  直交に制約された畳み込み層をパラメータ化するための代替手法を提案し,評価する。 本手法は,大規模畳み込みにおいても直交性が高次に保たれることを示す。
  論文  参考訳（メタデータ） (2021-04-14T23:54:55Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• AdaLead: A simple and robust adaptive greedy search algorithm for sequence design [55.41644538483948]
  我々は、容易で、拡張性があり、堅牢な進化的欲求アルゴリズム(AdaLead)を開発した。 AdaLeadは、様々な生物学的に動機づけられたシーケンスデザインの課題において、アートアプローチのより複雑な状態を克服する、驚くほど強力なベンチマークである。
  論文  参考訳（メタデータ） (2020-10-05T16:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。