論文の概要: Saddlepoints in Unsupervised Least Squares

• arxiv url: http://arxiv.org/abs/2104.05000v1
• Date: Sun, 11 Apr 2021 12:15:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-14 09:51:22.439141
• Title: Saddlepoints in Unsupervised Least Squares
• Title（参考訳）: 教師なし最小四角形における鞍点
• Authors: Samuel Gerber
• Abstract要約: 特に、すべての非自明なクリティカルポイントはサドルポイントである。 サドルポイントを見つけることはそれ自体が困難であり、オーバーコンプリートな自動エンコーディングはサドルポイントが縮退する追加の課題をもたらす。 契約正規化の特定の形態としてフレーム化できる新たな最適化戦略を提案する。
• 参考スコア（独自算出の注目度）: 2.5889737226898437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper sheds light on the risk landscape of unsupervised least squares in the context of deep auto-encoding neural nets. We formally establish an equivalence between unsupervised least squares and principal manifolds. This link provides insight into the risk landscape of auto--encoding under the mean squared error, in particular all non-trivial critical points are saddlepoints. Finding saddlepoints is in itself difficult, overcomplete auto-encoding poses the additional challenge that the saddlepoints are degenerate. Within this context we discuss regularization of auto-encoders, in particular bottleneck, denoising and contraction auto-encoding and propose a new optimization strategy that can be framed as particular form of contractive regularization.
• Abstract（参考訳）: 本稿では,深層自己符号化ニューラルネットの文脈における教師なし最小二乗のリスクランドスケープについて考察する。 我々は、教師なし最小二乗と主多様体の間の同値性を正式に確立する。 このリンクは、平均二乗誤差の下でのオートエンコーディングのリスクランドスケープ、特にすべての非自明な臨界点はサドルポイントである。 サドルポイントを見つけることはそれ自体が困難であり、オーバーコンプリートな自動エンコーディングはサドルポイントが縮退する追加の課題をもたらす。 本稿では, 自動エンコーダの正規化, 特にボトルネック, 復号化, 収縮自動エンコードについて論じるとともに, 契約正規化の特定の形態として捉えることができる新しい最適化戦略を提案する。

関連論文リスト

• Fast Point Cloud Geometry Compression with Context-based Residual Coding and INR-based Refinement [19.575833741231953]
  我々は、KNN法を用いて、原表面点の近傍を決定する。 条件付き確率モデルは局所幾何学に適応し、大きな速度減少をもたらす。 暗黙のニューラル表現を精製層に組み込むことで、デコーダは任意の密度で下面の点をサンプリングすることができる。
  論文  参考訳（メタデータ） (2024-08-06T05:24:06Z)
• GLACE: Global Local Accelerated Coordinate Encoding [66.87005863868181]
  シーン座標回帰法は小規模なシーンでは有効であるが、大規模シーンでは重大な課題に直面している。 本研究では,事前学習したグローバルおよびローカルのエンコーディングを統合したGLACEを提案する。 提案手法は,低マップサイズモデルを用いて,大規模シーンにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:50Z)
• Capsa: A Unified Framework for Quantifying Risk in Deep Neural Networks [142.67349734180445]
  ディープニューラルネットワークにリスク認識を提供する既存のアルゴリズムは複雑でアドホックである。 ここでは、リスク認識でモデルを拡張するためのフレームワークであるcapsaを紹介します。
  論文  参考訳（メタデータ） (2023-08-01T02:07:47Z)
• FreePoint: Unsupervised Point Cloud Instance Segmentation [72.64540130803687]
  点クラウド上の教師なしクラス非依存のインスタンスセグメンテーションを探索するためのFreePointを提案する。 我々は、座標、色、そして自己監督の深い特徴を組み合わせることで、点の特徴を表現する。 ポイント機能に基づいて、ポイントクラウドを擬似ラベルとして粗いインスタンスマスクに分割し、ポイントクラウドインスタンスセグメンテーションモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-05-11T16:56:26Z)
• Pointly-Supervised Panoptic Segmentation [106.68888377104886]
  弱教師付き単眼セグメンテーションにポイントレベルのアノテーションを適用するための新しい手法を提案する。 完全に教師された方法で使用される高密度のピクセルレベルラベルの代わりに、ポイントレベルラベルは、監督対象ごとに単一のポイントしか提供しない。 我々は、ポイントレベルのラベルから同時に汎視的擬似マスクを生成し、それらから学習することで、エンドツーエンドのフレームワークにおける問題を定式化する。
  論文  参考訳（メタデータ） (2022-10-25T12:03:51Z)
• On Kernelized Multi-Armed Bandits with Constraints [16.102401271318012]
  一般に未知の報酬関数と一般未知の制約関数を併用した帯域幅問題について検討する。 本稿では,アルゴリズムの性能解析のための一般的なフレームワークを提案する。 本稿では,数値実験により提案アルゴリズムの優れた性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T14:02:03Z)
• The loss landscape of deep linear neural networks: a second-order analysis [9.85879905918703]
  正方形損失を伴う深部線形ニューラルネットワークの最適化環境について検討する。 我々は、すべての臨界点の中で、大域最小化点、厳格なサドル点、非制限サドル点を特徴づける。
  論文  参考訳（メタデータ） (2021-07-28T11:33:18Z)
• SQN: Weakly-Supervised Semantic Segmentation of Large-Scale 3D Point Clouds [69.97213386812969]
  そこで我々は,高度に疎い監視信号を暗黙的に増強する,新しい弱い監視手法を提案する。 提案されているセマンティッククエリネットワーク(SQN)は、7つの大規模オープンデータセットで有望なパフォーマンスを達成する。 SQNはトレーニングのためにランダムに注釈付きポイントを0.1%しか必要とせず、アノテーションのコストと労力を大幅に削減する。
  論文  参考訳（メタデータ） (2021-04-11T01:29:50Z)
• Escaping Saddle Points in Distributed Newton's Method with Communication efficiency and Byzantine Resilience [49.379254729853756]
  我々は、ビザンチン機械の存在下で分散フレームワークにおける非正規化損失関数(サドルポイント付き)を最適化する問題を検討する。 キューブ正規化されたニュートンアルゴリズムを堅牢化し、サドルポイントと偽のローカルミニマを効率的に回避します。 提案手法は, (サブサンプリング) と hessian を含むいくつかの近似設定で理論的に保証される。
  論文  参考訳（メタデータ） (2021-03-17T03:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。