論文の概要: Complexity of Linear Regions in Self-supervised Deep ReLU Networks

• arxiv url: http://arxiv.org/abs/2604.24393v1
• Date: Mon, 27 Apr 2026 12:21:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.993689
• Title: Complexity of Linear Regions in Self-supervised Deep ReLU Networks
• Title（参考訳）: 自己教師型深部ReLUネットワークにおける線形領域の複雑度
• Authors: Mufhumudzi Muthivhi, Terence L. van Zyl,
• Abstract要約: 本研究では,自己監督学習(SSL)モデルによる線形領域の局所分布について検討する。 データ分布近傍の2次元ポリトープを抽出するためにSplineCamを用いる。 この研究は、2つの標準ベンチマークデータセットに対して教師付き、対照的な、自己蒸留法を比較する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There has been growing interest in studying the complexity of Rectified Linear Unit (ReLU) based activation networks. Recent work investigates the evolution of the number of piecewise-linear partitions (linear regions) that are formed during training. However, current research is limited to examining the complexity of models trained in a supervised way. Self-Supervised Learning (SSL) differs in that it directly optimises the representation space using a loss function to enhance the model's performance across multiple downstream tasks. This study investigates the local distribution of linear regions produced by SSL models. We demonstrate that the evolution of linear regions correlates with the representation quality by utilising SplineCam to extract two-dimensional polytopes near the data distribution. We track the number, area, eccentricity, and boundaries of regions throughout training. The study compares supervised, contrastive, and self-distillation methods over two standard benchmark datasets, MNIST and FashionMNIST. The analysis of the experimental results shows that self-supervised methods create substantially fewer regions to achieve comparable accuracy to supervised models. Contrastive methods rapidly expand regions over time, whereas self-distillation methods tend to consolidate by merging neighbouring regions. Lastly, we can detect representation collapse early within the geometric space of linear regions. Our analysis suggests that polytopal metrics can serve as reliable indicators of representation quality and model performance.
• Abstract（参考訳）: Rectified Linear Unit(ReLU)ベースのアクティベーションネットワークの複雑さの研究への関心が高まっている。 最近の研究は、訓練中に形成される一方向線形分割(線形領域)の数の進化について研究している。 しかしながら、現在の研究は、教師付き方法で訓練されたモデルの複雑さを調べることに限定されている。 SSL(Self-Supervised Learning)は、損失関数を使用して表現空間を直接最適化することで、複数の下流タスクでモデルのパフォーマンスを向上する点が異なる。 本研究では,SSLモデルによる線形領域の局所分布について検討する。 線形領域の進化はSplineCamを用いてデータ分布近傍の2次元ポリトープを抽出することにより表現品質と相関することを示した。 トレーニングを通じて、領域の数、面積、偏心性、および領域の境界を追跡します。 この研究では、MNISTとFashionMNISTの2つの標準ベンチマークデータセットに対して、教師付き、コントラスト的、自己蒸留法を比較した。 実験結果から、自己教師付き手法は、教師付きモデルに匹敵する精度を達成するために、かなり少ない領域を創出することを示した。 コントラスト法は時間とともに急速に地域を拡大するが、自己蒸留法は近隣の地域を合併することによって統合する傾向がある。 最後に,線形領域の幾何学的空間内での表現崩壊を早期に検出する。 解析の結果,ポリトープメトリクスは表現品質とモデル性能の信頼性指標として有効であることが示唆された。

関連論文リスト

• Divide-and-Conquer Approach to Holistic Cognition in High-Similarity Contexts with Limited Data [73.20753799870282]
  我々はDHCNet(Divide-and-Conquer Holistic Cognition Network)を提案する。 DHCNetは、空間的に関連する微妙な相違点に包括的キューを分解することで、分割・対数戦略を実装している。 DHCNetは、広く使われている5つのUltra-FGVCデータセットで顕著なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-04-21T11:17:09Z)
• Calibrating Biased Distribution in VFM-derived Latent Space via Cross-Domain Geometric Consistency [52.52950138164424]
  特徴抽出にオフザシェルフ(ビジョン)基礎モデルを利用する場合、特徴分布の幾何学的形状はドメインやデータセット間で顕著な伝達性を示す。 我々は,我々の幾何学的知識誘導分布キャリブレーションフレームワークを,フェデレーション学習とロングテール認識の2つの人気かつ挑戦的な設定で具体化する。 長期学習において、サンプル豊富なカテゴリから移動された幾何学的知識を利用して、サンプル・スカース・テールクラスの真の分布を復元する。
  論文  参考訳（メタデータ） (2025-08-19T05:22:59Z)
• Distributed Gradient Descent with Many Local Steps in Overparameterized Models [20.560882414631784]
  機械学習モデルの分散トレーニングでは、局所的な反復ステップによる勾配降下が一般的な方法である。 局所勾配Descent (Local-GD) における暗黙のバイアスの観点から,この優れた性能を多くの局所ステップで説明しようと試みる。
  論文  参考訳（メタデータ） (2024-12-10T23:19:40Z)
• Learning Regionalization using Accurate Spatial Cost Gradients within a Differentiable High-Resolution Hydrological Model: Application to the French Mediterranean Region [0.18139022013189662]
  未採集における分散水文パラメータの推定は, 地域化の問題を引き起こす。 本稿では,学習可能な地域化マッピングを取り入れたハイブリッド・アシミレーション・地域化(HDA-PR)手法を提案する。 その結果,特に上流から下流までの補間において,HDA-PRの強い地域化が顕著となった。
  論文  参考訳（メタデータ） (2023-08-02T07:23:50Z)
• Reconstructing Spatiotemporal Data with C-VAEs [49.1574468325115]
  移動領域の条件付き連続表現は一般的に用いられる。 本研究では,条件変数自動エンコーダ(C-VAE)モデルを用いて,領域の進化を現実的に表現する機能について検討する。
  論文  参考訳（メタデータ） (2023-07-12T15:34:10Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• DISCO Verification: Division of Input Space into COnvex polytopes for neural network verification [0.0]
  現代のニューラルネットワークの印象的な結果の一部は、その非線形な振る舞いによるものだ。 本稿では,複数の線形部分問題に分割することで検証問題を単純化する手法を提案する。 また,訓練中の線形領域数を減らすことを目的とした手法の効果について述べる。
  論文  参考訳（メタデータ） (2021-05-17T12:40:51Z)
• Domain-Adversarial Training of Self-Attention Based Networks for Land Cover Classification using Multi-temporal Sentinel-2 Satellite Imagery [0.0]
  ほとんどの実用的なアプリケーションはラベル付きデータには依存せず、この分野では調査は時間のかかるソリューションである。 本稿では,異なる地理的領域間のドメイン不一致を橋渡しする深層ニューラルネットワークの対比訓練について検討する。
  論文  参考訳（メタデータ） (2021-04-01T15:45:17Z)
• GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
  オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。 本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。 提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
  論文  参考訳（メタデータ） (2021-02-22T19:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。