論文の概要: Towards Modeling and Resolving Singular Parameter Spaces using Stratifolds

• arxiv url: http://arxiv.org/abs/2112.03734v1
• Date: Tue, 7 Dec 2021 14:42:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-08 14:59:03.132123
• Title: Towards Modeling and Resolving Singular Parameter Spaces using Stratifolds
• Title（参考訳）: 格子を用いた特異パラメータ空間のモデル化と解法
• Authors: Pascal Mattia Esser, Frank Nielsen
• Abstract要約: 学習力学において、特異点は学習軌道の引力として作用し、従ってモデルの収束速度に悪影響を及ぼす。 直交多様体を用いて特異点から生じる問題を回避するための一般的な手法を提案する。 経験的に、特異空間の代わりに滑らかな多様体近似に(自然な)勾配勾配を用いることで、魅力の振舞いを回避でき、学習における収束速度を向上できることを示す。
• 参考スコア（独自算出の注目度）: 18.60761407945024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When analyzing parametric statistical models, a useful approach consists in modeling geometrically the parameter space. However, even for very simple and commonly used hierarchical models like statistical mixtures or stochastic deep neural networks, the smoothness assumption of manifolds is violated at singular points which exhibit non-smooth neighborhoods in the parameter space. These singular models have been analyzed in the context of learning dynamics, where singularities can act as attractors on the learning trajectory and, therefore, negatively influence the convergence speed of models. We propose a general approach to circumvent the problem arising from singularities by using stratifolds, a concept from algebraic topology, to formally model singular parameter spaces. We use the property that specific stratifolds are equipped with a resolution method to construct a smooth manifold approximation of the singular space. We empirically show that using (natural) gradient descent on the smooth manifold approximation instead of the singular space allows us to avoid the attractor behavior and therefore improve the convergence speed in learning.
• Abstract（参考訳）: パラメトリック統計モデルを分析する際、有用なアプローチはパラメータ空間を幾何学的にモデル化することである。 しかし、統計混合や確率的ディープニューラルネットワークのような非常に単純で一般的な階層モデルであっても、多様体の滑らかさの仮定はパラメータ空間の非滑らかな近傍を示す特異点において破られる。 これらの特異モデルは学習ダイナミクスの文脈で解析され、特異点が学習軌道の引き付け役となり、従ってモデルの収束速度に負の影響を及ぼす。 代数的トポロジーの概念である層フォールドを用いて特異性から生じる問題を回避し、特異パラメータ空間を形式的にモデル化する一般手法を提案する。 我々は、特異空間の滑らかな多様体近似を構築するための分解法が具備されているという性質を用いる。 経験的に、特異空間の代わりに滑らかな多様体近似に(自然な)勾配勾配を用いることで、魅力の振舞いを回避でき、学習における収束速度を向上できることを示す。

関連論文リスト

• Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Geometric Neural Diffusion Processes [55.891428654434634]
  拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。 これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
  論文  参考訳（メタデータ） (2023-07-11T16:51:38Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• On the Influence of Enforcing Model Identifiability on Learning dynamics of Gaussian Mixture Models [14.759688428864159]
  特異モデルからサブモデルを抽出する手法を提案する。 本手法はトレーニング中のモデルの識別性を強制する。 この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2022-06-17T07:50:22Z)
• Latent Space Model for Higher-order Networks and Generalized Tensor Decomposition [18.07071669486882]
  我々は、複雑な高次ネットワーク相互作用を研究するために、一般的な潜在空間モデルとして定式化された統一フレームワークを導入する。 一般化された多線形カーネルをリンク関数として、潜伏位置と観測データとの関係を定式化する。 本手法が合成データに与える影響を実証する。
  論文  参考訳（メタデータ） (2021-06-30T13:11:17Z)
• Continuous normalizing flows on manifolds [0.342658286826597]
  本稿では,最近導入されたニューラルODEと連続正規化フローを任意の滑らかな多様体に拡張する方法について述べる。 本稿では,これらの空間上のベクトル場をパラメータ化するための一般的な手法を提案する。
  論文  参考訳（メタデータ） (2021-03-14T15:35:19Z)
• OnsagerNet: Learning Stable and Interpretable Dynamics using a Generalized Onsager Principle [19.13913681239968]
  我々は、一般化オンサーガー原理に基づいて、物理過程からサンプリングされた軌道データを用いて、安定かつ物理的に解釈可能な力学モデルを学ぶ。 さらに、この手法をレイリー・ベナード対流の研究に応用し、ローレンツ風の低次元自律還元次モデルを学ぶ。
  論文  参考訳（メタデータ） (2020-09-06T07:30:59Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• On the minmax regret for statistical manifolds: the role of curvature [68.8204255655161]
  2つの部分のコードと最小記述長は、最高のモデルを選別するための手順を提供するのに成功している。 我々は、フィッシャー情報計量のスカラー曲率が支配的な役割を果たす複雑さによって与えられる標準表現よりも、よりシャープな表現を導出する。
  論文  参考訳（メタデータ） (2020-07-06T17:28:19Z)
• Differentiable Segmentation of Sequences [2.1485350418225244]
  我々は、連続的なワープ関数の学習の進歩の上に構築し、双方向パワー(TSP)分布に基づく新しいワープ関数のファミリーを提案する。 我々の定式化は特別な場合として分割一般化線型モデルの重要なクラスを含む。 我々は、PoissonレグレッションによるCOVID-19の拡散をモデル化し、変化点検出タスクに適用し、概念ドリフトによる分類モデルを学習する。
  論文  参考訳（メタデータ） (2020-06-23T15:51:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。