論文の概要: A Global Geometric Analysis of Maximal Coding Rate Reduction

• arxiv url: http://arxiv.org/abs/2406.01909v1
• Date: Tue, 4 Jun 2024 02:39:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 20:13:20.305626
• Title: A Global Geometric Analysis of Maximal Coding Rate Reduction
• Title（参考訳）: 最大符号化速度低下のグローバルな幾何学的解析
• Authors: Peng Wang, Huikang Liu, Druv Pai, Yaodong Yu, Zhihui Zhu, Qing Qu, Yi Ma,
• Abstract要約: 構造化およびコンパクトな深層表現を学習するための最大符号化レート低減(MCR$2$)目標の特性について検討する。 具体的には、MCR$2$問題の各(局所的あるいは大域的)最大化器が、低次元、差別的で多様な表現に対応することを示す。
• 参考スコア（独自算出の注目度）: 34.29810947406871
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The maximal coding rate reduction (MCR$^2$) objective for learning structured and compact deep representations is drawing increasing attention, especially after its recent usage in the derivation of fully explainable and highly effective deep network architectures. However, it lacks a complete theoretical justification: only the properties of its global optima are known, and its global landscape has not been studied. In this work, we give a complete characterization of the properties of all its local and global optima, as well as other types of critical points. Specifically, we show that each (local or global) maximizer of the MCR$^2$ problem corresponds to a low-dimensional, discriminative, and diverse representation, and furthermore, each critical point of the objective is either a local maximizer or a strict saddle point. Such a favorable landscape makes MCR$^2$ a natural choice of objective for learning diverse and discriminative representations via first-order optimization methods. To validate our theoretical findings, we conduct extensive experiments on both synthetic and real data sets.
• Abstract（参考訳）: 構造化およびコンパクトな深層表現を学習するための最大符号化レート削減(MCR$^2$)の目標が注目されている。 しかし、その大域的最適性のみが知られており、その大域的景観は研究されていない。 本研究では、局所的および大域的最適点と他の臨界点のすべての性質の完全な特徴づけを与える。 具体的には, MCR$^2$問題の各(局所的あるいは大域的)最大値が低次元, 識別的, 多様な表現に対応し, さらに, 目的のそれぞれの臨界点は局所的最大値か厳密なサドル点であることを示す。 このような好ましい風景は、MCR$^2$を一階最適化法を通じて多様で差別的な表現を学ぶための自然選択である。 理論的な結果を検証するため、我々は合成データと実データの両方について広範な実験を行った。

関連論文リスト

• Localized Zeroth-Order Prompt Optimization [54.964765668688806]
  そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。 ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。 注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
  論文  参考訳（メタデータ） (2024-03-05T14:18:15Z)
• Topology-aware Robust Optimization for Out-of-distribution Generalization [18.436575017126323]
  アウト・オブ・ディストリビューション(OOD)の一般化は難しい機械学習問題であるが、多くの高スループットアプリケーションで非常に望ましい。 本稿では,分散トポロジを原理的最適化フレームワークにシームレスに統合するトポロジ対応ロバスト最適化(TRO)を提案する。 提案手法の有効性を理論的に実証し, 分類, 回帰, セマンティックセグメンテーションを含む幅広いタスクにおいて, 芸術の状態を著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2023-07-26T03:48:37Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• Fighting the curse of dimensionality: A machine learning approach to finding global optima [77.34726150561087]
  本稿では,構造最適化問題におけるグローバル最適化の方法を示す。 特定のコスト関数を利用することで、最適化手順が確立された場合と比較して、グローバルをベストに得るか、最悪の場合、優れた結果を得るかのどちらかを得る。
  論文  参考訳（メタデータ） (2021-10-28T09:50:29Z)
• The loss landscape of deep linear neural networks: a second-order analysis [0.0]
  正方形損失を伴う深部線形ニューラルネットワークの最適化環境について検討する。 我々は、すべての臨界点の中で、大域最小化点、厳格なサドル点、非制限サドル点を特徴づける。
  論文  参考訳（メタデータ） (2021-07-28T11:33:18Z)
• Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
  generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。 ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。 ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:23:37Z)
• Topology-Aware Segmentation Using Discrete Morse Theory [38.65353702366932]
  深部画像セグメンテーションネットワークを訓練し、位相精度を向上させる新しい手法を提案する。 1次元骨格や2次元パッチなど,位相的精度に重要なグローバル構造を明らかにする。 多様なデータセットに対して,DICEスコアとトポロジカルメトリクスの両方で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-18T02:47:21Z)
• On the Global Optimality of Model-Agnostic Meta-Learning [133.16370011229776]
  モデル・ア・メタラーニング(MAML)は、メタラーニングを二段階最適化問題として定式化し、内部レベルが各サブタスクを、共有された事前に基づいて解決する。 学習と教師あり学習の両方においてMAMLが達成した定常点の最適性を特徴付ける。
  論文  参考訳（メタデータ） (2020-06-23T17:33:14Z)
• An Optimization and Generalization Analysis for Max-Pooling Networks [34.58092926599547]
  Max-Pooling操作はディープラーニングアーキテクチャの中核的なコンポーネントである。 畳み込み最大プールアーキテクチャの理論解析を行う。 我々は、CNNが我々の設定において完全に接続されたネットワークを著しく上回っていることを実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-22T22:26:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。