論文の概要: On The Potential of The Fractal Geometry and The CNNs Ability to Encode it

• arxiv url: http://arxiv.org/abs/2401.04141v1
• Date: Sun, 7 Jan 2024 15:22:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 18:45:58.986253
• Title: On The Potential of The Fractal Geometry and The CNNs Ability to Encode it
• Title（参考訳）: フラクタル幾何学の可能性とそれを符号化するcnns能力について
• Authors: Julia El Zini, Bassel Musharrafieh and Mariette Awad
• Abstract要約: フラクタル次元は、物体の複雑さの統計指標を提供する。 いくつかの分類タスクでは有用であるが、フラクタル次元は深層学習アプリケーションでは未探索である。 フラクタル特性の浅いネットワークをトレーニングすることで、生データでトレーニングしたディープネットワークに匹敵する性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 1.7311053765541484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The fractal dimension provides a statistical index of object complexity by studying how the pattern changes with the measuring scale. Although useful in several classification tasks, the fractal dimension is under-explored in deep learning applications. In this work, we investigate the features that are learned by deep models and we study whether these deep networks are able to encode features as complex and high-level as the fractal dimensions. Specifically, we conduct a correlation analysis experiment to show that deep networks are not able to extract such a feature in none of their layers. We combine our analytical study with a human evaluation to investigate the differences between deep learning networks and models that operate on the fractal feature solely. Moreover, we show the effectiveness of fractal features in applications where the object structure is crucial for the classification task. We empirically show that training a shallow network on fractal features achieves performance comparable, even superior in specific cases, to that of deep networks trained on raw data while requiring less computational resources. Fractals improved the accuracy of the classification by 30% on average while requiring up to 84% less time to train. We couple our empirical study with a complexity analysis of the computational cost of extracting the proposed fractal features, and we study its limitation.
• Abstract（参考訳）: フラクタル次元は、測定尺度でパターンがどのように変化するかを調べることによって、対象の複雑さの統計的指標を提供する。 いくつかの分類タスクでは有用であるが、フラクタル次元は深層学習アプリケーションでは未探索である。 本研究では,深層モデルによって学習される特徴を調査し,これらの深層ネットワークがフラクタル次元と同じくらい複雑でハイレベルな特徴をエンコードできるかどうかを検討する。 具体的には相関解析実験を行い,深層ネットワークではこれらの特徴をどの層にも抽出できないことを示した。 分析研究と人間による評価を組み合わせることで,フラクタル機能のみで動作するディープラーニングネットワークとモデルの違いについて検討する。 さらに,分類タスクにおいてオブジェクト構造が重要となるアプリケーションにおいて,フラクタル特徴の有効性を示す。 フラクタル特徴量に対する浅層ネットワークのトレーニングは,計算資源の削減を図りながら,生データで訓練した深層ネットワークと比較して,特定の場合においても優れた性能を実現することを実証的に示す。 フラクタルは分類の精度を平均で30%向上させたが、トレーニングに要する時間は最大84%削減された。 提案するフラクタル特徴の抽出に要する計算コストの複雑性解析を行い,その限界について検討した。

関連論文リスト

• Representing Topological Self-Similarity Using Fractal Feature Maps for Accurate Segmentation of Tubular Structures [12.038095281876071]
  本研究では,FDをピクセルレベルまで拡張することにより,フラクタル特徴を深層学習モデルに組み込む。 得られたフラクタル特徴写像(FFM)はモデルへの追加入力と損失関数の重み付けとして組み込まれる。 5つの管状構造データセットの実験は、我々のアプローチの有効性とロバスト性を検証する。
  論文  参考訳（メタデータ） (2024-07-20T05:22:59Z)
• Understanding Deep Representation Learning via Layerwise Feature Compression and Discrimination [33.273226655730326]
  深層線形ネットワークの各層は、幾何速度でクラス内特徴を徐々に圧縮し、線形速度でクラス間特徴を識別することを示す。 これは、ディープ線形ネットワークの階層的表現における特徴進化の最初の定量的評価である。
  論文  参考訳（メタデータ） (2023-11-06T09:00:38Z)
• Memorization with neural nets: going beyond the worst case [5.662924503089369]
  実際には、ディープニューラルネットワークはトレーニングデータを簡単に補間できることが多い。 しかし、実世界のデータについては、暗記能力によって提案されるよりもネットワークサイズが小さいような良質な構造の存在を直感的に期待する。 2つのクラスを持つ固定有限データセットを与えられた場合、高い確率で3層ニューラルネットワークを時間内に補間する単純なランダム化アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-09-30T10:06:05Z)
• How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model [47.617093812158366]
  言語と画像の階層構造にインスパイアされた合成タスクのファミリーであるランダム階層モデルを紹介する。 深層ネットワークは、等価なグループを交換するために不変な内部表現を開発することでタスクを学習する。 この結果から, ネットワークは次元の呪いを克服し, 不変表現を構築できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-05T09:11:09Z)
• Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [49.808194368781095]
  3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。 この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
  論文  参考訳（メタデータ） (2023-05-11T17:19:30Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Data-driven effective model shows a liquid-like deep learning [2.0711789781518752]
  バイナリシナプスの深いネットワークの状況は、まだ分かっていない。 本稿では,高次元重み空間の最小構造モデルを直接構築することにより,統計力学の枠組みを提案する。 我々のデータ駆動モデルは、高次元の重み空間においてディープラーニングが不合理に有効である理由に関する統計力学的な知見を提供する。
  論文  参考訳（メタデータ） (2020-07-16T04:02:48Z)
• ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image Classification [49.87503122462432]
  ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。 本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。 4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
  論文  参考訳（メタデータ） (2020-06-27T13:50:20Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。