論文の概要: Saddlepoints in Unsupervised Least Squares
- arxiv url: http://arxiv.org/abs/2104.05000v1
- Date: Sun, 11 Apr 2021 12:15:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-14 09:51:22.439141
- Title: Saddlepoints in Unsupervised Least Squares
- Title(参考訳): 教師なし最小四角形における鞍点
- Authors: Samuel Gerber
- Abstract要約: 特に、すべての非自明なクリティカルポイントはサドルポイントである。
サドルポイントを見つけることはそれ自体が困難であり、オーバーコンプリートな自動エンコーディングはサドルポイントが縮退する追加の課題をもたらす。
契約正規化の特定の形態としてフレーム化できる新たな最適化戦略を提案する。
- 参考スコア(独自算出の注目度): 2.5889737226898437
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper sheds light on the risk landscape of unsupervised least squares in
the context of deep auto-encoding neural nets. We formally establish an
equivalence between unsupervised least squares and principal manifolds. This
link provides insight into the risk landscape of auto--encoding under the mean
squared error, in particular all non-trivial critical points are saddlepoints.
Finding saddlepoints is in itself difficult, overcomplete auto-encoding poses
the additional challenge that the saddlepoints are degenerate. Within this
context we discuss regularization of auto-encoders, in particular bottleneck,
denoising and contraction auto-encoding and propose a new optimization strategy
that can be framed as particular form of contractive regularization.
- Abstract(参考訳): 本稿では,深層自己符号化ニューラルネットの文脈における教師なし最小二乗のリスクランドスケープについて考察する。
我々は、教師なし最小二乗と主多様体の間の同値性を正式に確立する。
このリンクは、平均二乗誤差の下でのオートエンコーディングのリスクランドスケープ、特にすべての非自明な臨界点はサドルポイントである。
サドルポイントを見つけることはそれ自体が困難であり、オーバーコンプリートな自動エンコーディングはサドルポイントが縮退する追加の課題をもたらす。
本稿では, 自動エンコーダの正規化, 特にボトルネック, 復号化, 収縮自動エンコードについて論じるとともに, 契約正規化の特定の形態として捉えることができる新しい最適化戦略を提案する。
関連論文リスト
- Capsa: A Unified Framework for Quantifying Risk in Deep Neural Networks [142.67349734180445]
ディープニューラルネットワークにリスク認識を提供する既存のアルゴリズムは複雑でアドホックである。
ここでは、リスク認識でモデルを拡張するためのフレームワークであるcapsaを紹介します。
論文 参考訳(メタデータ) (2023-08-01T02:07:47Z) - Reliability-Adaptive Consistency Regularization for Weakly-Supervised
Point Cloud Segmentation [80.07161039753043]
極端に限られたラベルを持つ弱教師付きポイントクラウドセグメンテーションは、高額な注釈付き3Dポイントの収集コストを軽減するのが望ましい。
本稿では、弱教師付き学習において一般的に用いられる一貫性の正則化を、複数のデータ固有の拡張を伴うポイントクラウドに適用することを検討する。
疑似ラベルの信頼性を評価するために,予測信頼性とモデル不確実性を両立させる新しい信頼性適応整合ネットワーク(RAC-Net)を提案する。
論文 参考訳(メタデータ) (2023-03-09T10:41:57Z) - Expressing linear equality constraints in feedforward neural networks [9.918927210224165]
制約が課される予測補助変数を持つ新しいサドル点ラグランジアンを導入する。
補助変数の除去は、線形制約を満たすために導入されたラグランジュ乗算器上の双対最小化問題につながる。
ラグランジュパラメータの驚くべき解釈は、制約から生じる固定重みを持つ無限層隠蔽単位として得られる。
論文 参考訳(メタデータ) (2022-11-08T17:39:05Z) - Pointly-Supervised Panoptic Segmentation [106.68888377104886]
弱教師付き単眼セグメンテーションにポイントレベルのアノテーションを適用するための新しい手法を提案する。
完全に教師された方法で使用される高密度のピクセルレベルラベルの代わりに、ポイントレベルラベルは、監督対象ごとに単一のポイントしか提供しない。
我々は、ポイントレベルのラベルから同時に汎視的擬似マスクを生成し、それらから学習することで、エンドツーエンドのフレームワークにおける問題を定式化する。
論文 参考訳(メタデータ) (2022-10-25T12:03:51Z) - Semi-signed neural fitting for surface reconstruction from unoriented
point clouds [53.379712818791894]
より優れた符号付き距離場を再構成するためのSN-Fittingを提案する。
SSNフィッティングは半署名の監督と損失に基づく領域サンプリング戦略で構成されている。
我々は,SSN-Fittingが,異なる設定下で最先端の性能を達成することを示す実験を行う。
論文 参考訳(メタデータ) (2022-06-14T09:40:17Z) - On Kernelized Multi-Armed Bandits with Constraints [16.102401271318012]
一般に未知の報酬関数と一般未知の制約関数を併用した帯域幅問題について検討する。
本稿では,アルゴリズムの性能解析のための一般的なフレームワークを提案する。
本稿では,数値実験により提案アルゴリズムの優れた性能を示す。
論文 参考訳(メタデータ) (2022-03-29T14:02:03Z) - The loss landscape of deep linear neural networks: a second-order
analysis [0.0]
正方形損失を伴う深部線形ニューラルネットワークの最適化環境について検討する。
我々は、すべての臨界点の中で、大域最小化点、厳格なサドル点、非制限サドル点を特徴づける。
論文 参考訳(メタデータ) (2021-07-28T11:33:18Z) - SQN: Weakly-Supervised Semantic Segmentation of Large-Scale 3D Point
Clouds [69.97213386812969]
そこで我々は,高度に疎い監視信号を暗黙的に増強する,新しい弱い監視手法を提案する。
提案されているセマンティッククエリネットワーク(SQN)は、7つの大規模オープンデータセットで有望なパフォーマンスを達成する。
SQNはトレーニングのためにランダムに注釈付きポイントを0.1%しか必要とせず、アノテーションのコストと労力を大幅に削減する。
論文 参考訳(メタデータ) (2021-04-11T01:29:50Z) - Escaping Saddle Points in Distributed Newton's Method with Communication
efficiency and Byzantine Resilience [49.379254729853756]
我々は、ビザンチン機械の存在下で分散フレームワークにおける非正規化損失関数(サドルポイント付き)を最適化する問題を検討する。
キューブ正規化されたニュートンアルゴリズムを堅牢化し、サドルポイントと偽のローカルミニマを効率的に回避します。
提案手法は, (サブサンプリング) と hessian を含むいくつかの近似設定で理論的に保証される。
論文 参考訳(メタデータ) (2021-03-17T03:53:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。