論文の概要: Riesz networks: scale invariant neural networks in a single forward pass

• arxiv url: http://arxiv.org/abs/2305.04665v1
• Date: Mon, 8 May 2023 12:39:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 14:30:01.006611
• Title: Riesz networks: scale invariant neural networks in a single forward pass
• Title（参考訳）: riesz networks: 単一のフォワードパスにおけるスケール不変ニューラルネットワーク
• Authors: Tin Barisin, Katja Schladitz and Claudia Redenbach
• Abstract要約: 本稿では,新しいスケール不変ニューラルネットワークであるRiesz Networkを紹介する。 適用例として,コンクリートのトモグラフィー画像におけるひび割れの検出とセグメンテーションについて考察する。 次に, 広範囲のひび割れ幅を特徴とする, シミュレーション画像と実断層画像のセグメンテーション性能を検証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Scale invariance of an algorithm refers to its ability to treat objects equally independently of their size. For neural networks, scale invariance is typically achieved by data augmentation. However, when presented with a scale far outside the range covered by the training set, neural networks may fail to generalize. Here, we introduce the Riesz network, a novel scale invariant neural network. Instead of standard 2d or 3d convolutions for combining spatial information, the Riesz network is based on the Riesz transform which is a scale equivariant operation. As a consequence, this network naturally generalizes to unseen or even arbitrary scales in a single forward pass. As an application example, we consider detecting and segmenting cracks in tomographic images of concrete. In this context, 'scale' refers to the crack thickness which may vary strongly even within the same sample. To prove its scale invariance, the Riesz network is trained on one fixed crack width. We then validate its performance in segmenting simulated and real tomographic images featuring a wide range of crack widths. An additional experiment is carried out on the MNIST Large Scale data set.
• Abstract（参考訳）: アルゴリズムのスケール不変性は、その大きさと独立してオブジェクトを扱う能力を指す。 ニューラルネットワークの場合、スケール不変性は通常、データ拡張によって達成される。 しかし、トレーニングセットがカバーする範囲から遠く離れたスケールで提示すると、ニューラルネットワークは一般化しない可能性がある。 本稿では,新しいスケール不変ニューラルネットワークであるriesz networkを紹介する。 空間情報を組み合わせるための標準的な2dあるいは3d畳み込みの代わりに、リースネットワークはスケール同変演算であるリース変換に基づいている。 その結果、このネットワークは自然に1つの前方通過において見つからないスケールや任意のスケールに一般化される。 適用例として,コンクリートのトモグラフィー画像におけるひび割れの検出とセグメンテーションについて考察する。 この文脈で「スケール」とは、同じ試料内でも強く異なるひび割れの厚さを指す。 スケール不変性を証明するために、リースネットワークは1つの固定クラック幅で訓練される。 次に, 広範囲のひび割れ幅を特徴とする, シミュレーション画像と実断層画像のセグメンテーション性能を検証する。 MNIST Large Scaleデータセットで追加実験を行う。

関連論文リスト

• Riesz feature representation: scale equivariant scattering network for classification tasks [0.6827423171182154]
  散乱ネットワークは、長い訓練を必要としない強力な階層的な画像記述子を生成する。 彼らはスケールディメンションのサンプリングに頼っている。 本研究では,Riesz変換に基づく代替的特徴表現を定義する。
  論文  参考訳（メタデータ） (2023-07-17T13:21:28Z)
• Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
  様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。 トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。 しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
  論文  参考訳（メタデータ） (2023-05-28T17:09:32Z)
• Scale Attention for Learning Deep Face Representation: A Study Against Visual Scale Variation [69.45176408639483]
  我々はスケール空間理論に頼って凸層を再構築する。 我々はSCale AttentioN Conv Neural Network(textbfSCAN-CNN)という新しいスタイルを構築した。 単発方式として、推論はマルチショット融合よりも効率的である。
  論文  参考訳（メタデータ） (2022-09-19T06:35:04Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Slope and generalization properties of neural networks [0.0]
  十分に訓練されたニューラルネットワーク分類器の勾配分布は、一般に、完全に接続されたネットワークの層幅から独立していることを示す。 傾斜は、関連する体積を通して類似した大きさであり、滑らかに変化する。また、再スケーリングの例でも予測されるように振る舞う。 本稿では、損失関数の一部として利用したり、ネットワークトレーニング中に基準を終了させたり、複雑度の観点からデータセットをランク付けしたりといった、斜面概念の応用の可能性について論じる。
  論文  参考訳（メタデータ） (2021-07-03T17:54:27Z)
• Scale-invariant scale-channel networks: Deep networks that generalise to previously unseen scales [0.0]
  従来提案されていた2つのスケールチャネルネットワーク設計が,トレーニングセットに存在しないスケールにうまく一般化していないことを示す。 そこで我々は,画像のより大きな部分を分解能を低下させて処理する,新しいタイプのスケールチャネルアーキテクチャを提案する。 提案するFovMaxとFovAvgのネットワークは,1スケールのトレーニングデータを用いたトレーニングにおいても,ほぼ同一のスケール範囲で動作し,また,小さなサンプル状態の大規模変動から学習する際の性能も向上する。
  論文  参考訳（メタデータ） (2021-06-11T14:22:26Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data via Differentiable Cross-Approximation [53.95297550117153]
  本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。 提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
  論文  参考訳（メタデータ） (2021-05-29T08:39:57Z)
• Scale-covariant and scale-invariant Gaussian derivative networks [0.0]
  本稿では,大規模空間論と深層学習のハイブリッドアプローチとして,カスケード内のパラメータ化スケール空間演算を結合してディープラーニングアーキテクチャを構築する。 その結果,学習データに存在しない大規模パターンの分類に優れた性能が得られた。
  論文  参考訳（メタデータ） (2020-11-30T13:15:10Z)
• On the Predictability of Pruning Across Scales [29.94870276983399]
  等級決定ネットワークの誤差は、アーキテクチャやタスクに依存する解釈可能な係数を持つスケーリング法則を経験的に従うことを示す。 ニューラルネットワークがより大きく、訓練にコストがかかるようになるにつれて、我々の発見は、非構造化プルーニングの標準的な方法に関する概念的かつ分析的な推論の枠組みを示唆している。
  論文  参考訳（メタデータ） (2020-06-18T15:41:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。