論文の概要: SMPConv: Self-moving Point Representations for Continuous Convolution

• arxiv url: http://arxiv.org/abs/2304.02330v1
• Date: Wed, 5 Apr 2023 09:36:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-06 12:51:44.707694
• Title: SMPConv: Self-moving Point Representations for Continuous Convolution
• Title（参考訳）: SMPConv: 継続的畳み込みのための自己移動ポイント表現
• Authors: Sanghyeon Kim, Eunbyung Park
• Abstract要約: 本稿では,ニューラルネットワークを使わずに連続的な畳み込みを構築するための代替手法を提案する。 重みパラメータが自由に動く自己移動点表現と連続関数の実装にスキームを用いる。 その軽量な構造のため、我々はまず大規模な環境で連続的畳み込みの有効性を実証する。
• 参考スコア（独自算出の注目度）: 4.652175470883851
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continuous convolution has recently gained prominence due to its ability to handle irregularly sampled data and model long-term dependency. Also, the promising experimental results of using large convolutional kernels have catalyzed the development of continuous convolution since they can construct large kernels very efficiently. Leveraging neural networks, more specifically multilayer perceptrons (MLPs), is by far the most prevalent approach to implementing continuous convolution. However, there are a few drawbacks, such as high computational costs, complex hyperparameter tuning, and limited descriptive power of filters. This paper suggests an alternative approach to building a continuous convolution without neural networks, resulting in more computationally efficient and improved performance. We present self-moving point representations where weight parameters freely move, and interpolation schemes are used to implement continuous functions. When applied to construct convolutional kernels, the experimental results have shown improved performance with drop-in replacement in the existing frameworks. Due to its lightweight structure, we are first to demonstrate the effectiveness of continuous convolution in a large-scale setting, e.g., ImageNet, presenting the improvements over the prior arts. Our code is available on https://github.com/sangnekim/SMPConv
• Abstract（参考訳）: 継続的畳み込みは、不規則にサンプリングされたデータを処理し、長期的な依存関係をモデル化する能力によって、最近注目されている。 また,大規模な畳み込みカーネルを非常に効率的に構築できるため,大きな畳み込みカーネルを用いた有望な実験結果によって連続畳み込みの開発が触媒化されている。 ニューラルネットワークの活用、特に多層パーセプトロン(MLP)は、継続的畳み込みを実装するための最も一般的なアプローチである。 しかし、計算コストの高さ、複雑なハイパーパラメータチューニング、フィルタの記述力の制限など、いくつかの欠点がある。 本稿では,ニューラルネットワークを使わずに連続的な畳み込みを構築する方法を提案する。 重みパラメータが自由に動く自己移動点表現と補間スキームを用いて連続関数を実装する。 畳み込みカーネルの構築に適用すると、既存のフレームワークのドロップイン置換によるパフォーマンスの向上が実験的に示された。 その軽量な構造から,我々はまず,イメージネットのような大規模環境における連続畳み込みの有効性を実証し,先行技術に対する改善を提示する。 私たちのコードはhttps://github.com/sangnekim/SMPConvで利用可能です。

関連論文リスト

• Reparameterized Multi-Resolution Convolutions for Long Sequence Modelling [13.627888191693712]
  本稿では,大域的畳み込みカーネルのパラメータ化手法を提案する。 本実験は,Long Range Arena,Sequential CIFAR,Speech Commandsタスクにおける最先端性能を示す。 また、2次元畳み込みを1D $textttMRConv$レイヤに置き換えることで、ImageNet分類の性能も向上したと報告した。
  論文  参考訳（メタデータ） (2024-08-18T12:20:03Z)
• conv_einsum: A Framework for Representation and Fast Evaluation of Multilinear Operations in Convolutional Tensorial Neural Networks [28.416123889998243]
  本研究では,テンソル畳み込み層をeinsumのような文字列として表現するフレームワークと,FLOPを最小化してこれらの文字列を評価するメタアルゴリズムであるconv_einsumを開発する。
  論文  参考訳（メタデータ） (2024-01-07T04:30:12Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• The Power of Linear Combinations: Learning with Random Convolutions [2.0305676256390934]
  現代のCNNは、ランダムな(空間的な)畳み込みフィルタを更新することなく、高いテスト精度を達成することができる。 これらのランダムフィルタの組み合わせは、結果の操作を暗黙的に正規化することができる。 私たちは3ドル3セントの畳み込みを学習することで比較的小さな利益しか得られないが、学習率はカーネルサイズに比例して増加する。
  論文  参考訳（メタデータ） (2023-01-26T19:17:10Z)
• nnFormer: Interleaved Transformer for Volumetric Segmentation [50.10441845967601]
  本稿では,自己意図と畳み込みを実証的に組み合わせた,インターリーブアーキテクチャを備えた強力なセグメンテーションモデルであるnnFormerを紹介する。 nnFormerは、SynapseとACDCの2つの一般的なデータセットで、以前のTransformerベースのメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-09-07T17:08:24Z)
• CKConv: Continuous Kernel Convolution For Sequential Data [23.228639801282966]
  継続的カーネル畳み込みネットワーク(CKCNN)は、一様でないサンプルデータセットと不規則にサンプリングされたデータを扱うように設計されている。 CKCNNは、これらの目的のために設計されたニューラルなODEよりも、はるかに高速で簡単な方法で適合または性能が向上する。
  論文  参考訳（メタデータ） (2021-02-04T13:51:19Z)
• Deep Parametric Continuous Convolutional Neural Networks [92.87547731907176]
  Parametric Continuous Convolutionは、非グリッド構造化データ上で動作する、新たな学習可能な演算子である。 室内および屋外シーンの点雲セグメンテーションにおける最先端技術よりも顕著な改善が見られた。
  論文  参考訳（メタデータ） (2021-01-17T18:28:23Z)
• DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic Convolution [136.7261709896713]
  本稿では,インスタンスの性質に応じて適切な畳み込みカーネルを生成するデータ駆動型アプローチを提案する。 提案手法はScanetNetV2とS3DISの両方で有望な結果が得られる。 また、現在の最先端よりも推論速度を25%以上向上させる。
  論文  参考訳（メタデータ） (2020-11-26T14:56:57Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• DO-Conv: Depthwise Over-parameterized Convolutional Layer [66.46704754669169]
  本稿では,各入力チャネルが異なる2次元カーネルに変換されるような,奥行きの畳み込みを付加した畳み込み層の拡張を提案する。 従来の畳み込み層をDO-Conv層に置き換えただけでCNNの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-06-22T06:57:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。