論文の概要: Symmetry-Breaking Descent for Invariant Cost Functionals
- arxiv url: http://arxiv.org/abs/2505.13578v2
- Date: Sat, 30 Aug 2025 17:41:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-03 14:24:52.367255
- Title: Symmetry-Breaking Descent for Invariant Cost Functionals
- Title（参考訳）: ムノメトリブレーキングによるコスト関数の不変化
- Authors: Mikhail Osipov,
- Abstract要約: タスクコストの関数的$W : Hs(M) を mathbbR$ に還元する問題について検討する。
信号の対称性を破る変形はコストを低減できることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We study the problem of reducing a task cost functional $W : H^s(M) \to \mathbb{R}$, not assumed continuous or differentiable, defined over Sobolev-class signals $S \in H^s(M) $, in the presence of a global symmetry group $G \subset \mathrm{Diff}(M)$. The group acts on signals by pullback, and the cost $W$ is invariant under this action. Such scenarios arise in machine learning and related optimization tasks, where performance metrics may be discontinuous or model-internal. We propose a variational method that exploits the symmetry structure to construct explicit deformations of the input signal. A deformation control field $ \phi: M \to \mathbb R^d$, obtained by minimizing an auxiliary energy functional, induces a flow that generically lies in the normal space (with respect to the $L^2$ inner product) to the $G$-orbit of $S$, and hence is a natural candidate to cross the decision boundary of the $G $-invariant cost. We analyze two variants of the coupling term: (1) purely geometric, independent of $W$, and (2) weakly coupled to $W$. Under mild conditions, we show that symmetry-breaking deformations of the signal can reduce the cost. Our approach requires no gradient backpropagation or training labels and operates entirely at test time. It provides a principled tool for optimizing discontinuous invariant cost functionals via Lie-algebraic variational flows.
- Abstract（参考訳）: 大域対称性群 $G \subset \mathrm{Diff}(M)$ の存在下で、ソボレフ級信号 $S \in H^s(M)$ 上で定義される連続的あるいは微分可能ではない、タスクコスト関数 $W : H^s(M) \to \mathbb{R}$ を減少させる問題を研究する。
このグループはプルバックによって信号に作用し、コスト$W$はこの作用の下で不変である。
このようなシナリオは、機械学習と関連する最適化タスクで発生します。
入力信号の明示的な変形を構成するために対称性構造を利用する変分法を提案する。
変形制御場 $ \phi: M \to \mathbb R^d$ は補助エネルギー汎函数を最小化して得られるもので、通常の空間(L^2$内部積に関して)に一般化されるフローを$S$の$G$-orbitに誘導し、従って$G$不変コストの決定境界を越える自然な候補となる。
結合項の 2 つの変種を解析する: (1) 純粋に幾何学的であり、$W$ とは独立であり、(2) は$W$ に弱結合である。
軽度条件下では,信号の対称性破壊変形がコストを低減できることを示す。
このアプローチでは、勾配のバックプロパゲーションやトレーニングラベルは必要とせず、テスト時に完全に動作します。
これはリー代数的変動フローを介して不連続な不変コスト汎関数を最適化するための原則化されたツールを提供する。
関連論文リスト
- Weighted Risk Invariance: Domain Generalization under Invariant Feature Shift [41.60879054101201]
複数の環境下で予測が不変な学習モデルは、有望なアプローチである。
学習不変モデルは特定の条件下では不十分であることを示す。
本稿では,モデルパラメータと$p(X_textinv)の相関関係を同時に学習し,WRIを実装する実践的手法を提案する。
論文 参考訳（メタデータ） (2024-07-25T23:27:10Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳（メタデータ） (2023-08-31T17:57:50Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳（メタデータ） (2023-06-26T17:13:31Z) - EDGI: Equivariant Diffusion for Planning with Embodied Agents [17.931089055248062]
身体的エージェントは構造化された世界で動作し、しばしば空間的、時間的、置換的な対称性でタスクを解く。
本稿では,モデルに基づく強化学習のためのアルゴリズムであるEquivariant diffuser for Generating Interactions (EDGI)を紹介する。
EDGI は非同変モデルよりもかなり効率的なサンプルであり、対称性群全体にわたってより一般化される。
論文 参考訳（メタデータ） (2023-03-22T09:19:39Z) - Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras
from First Principles [55.41644538483948]
ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。
完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。
また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
論文 参考訳（メタデータ） (2023-01-13T16:25:25Z) - Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum
Minimization [52.25843977506935]
有限サム構造をもつ$L$-smooth, non-deuction関数に対して, AdaSpider と呼ばれる適応分散法を提案する。
そうすることで、$tildeOleft + st/epsilonコールで$epsilon-stationaryポイントを計算することができます。
論文 参考訳（メタデータ） (2022-11-03T14:41:46Z) - Horizon-Free and Variance-Dependent Reinforcement Learning for Latent
Markov Decision Processes [62.90204655228324]
我々は,後期マルコフ決定過程(LMDP)における強化学習(RL)の文脈を考慮した後悔の最小化について検討した。
我々は,モデル最適化と値最適化の両手法でインスタンス化できる,新しいモデルベースアルゴリズムフレームワークを設計する。
論文 参考訳（メタデータ） (2022-10-20T21:32:01Z) - Linear programming with unitary-equivariant constraints [2.0305676256390934]
ユニタリ同値(英: Unitary equivariance)は、物理学や数学において多くの文脈で発生する自然な対称性である。
追加の対称性の仮定の下では、この問題は、$d$でスケールしない時間で解決できる線形プログラムに還元されることを示す。
また,本手法を一般ユニタリ同変半定プログラムに拡張する可能性についても概説する。
論文 参考訳（メタデータ） (2022-07-12T17:37:04Z) - Machine learning a manifold [0.0]
人工ニューラルネットワークによる回帰によるデータセットの連続リー代数対称性の同定法を提案する。
我々の提案は、入力変数上の無限小対称性変換の下での出力変数のスケーリングを$mathcalO(epsilon2)$に活用する。
論文 参考訳（メタデータ） (2021-12-14T19:00:00Z) - What Happens after SGD Reaches Zero Loss? --A Mathematical Framework [35.31946061894308]
SGD(Gradient Descent)の暗黙のバイアスを理解することは、ディープラーニングにおける重要な課題の1つである。
本稿では、Katzenberger (1991) のアイデアを適応させることにより、そのような分析の一般的な枠組みを提供する。
1) a global analysis of the implicit bias for $eta-2$ steps, not to the local analysis of Blanc et al. (2020) that is only for $eta-1.6$ steps and (2) allowing any noise covariance。
論文 参考訳（メタデータ） (2021-10-13T17:50:46Z) - Learning to extrapolate using continued fractions: Predicting the
critical temperature of superconductor materials [5.905364646955811]
人工知能(AI)と機械学習(ML)の分野では、未知のターゲット関数 $y=f(mathbfx)$ の近似が共通の目的である。
トレーニングセットとして$S$を参照し、新しいインスタンス$mathbfx$に対して、このターゲット関数を効果的に近似できる低複雑さの数学的モデルを特定することを目的としている。
論文 参考訳（メタデータ） (2020-11-27T04:57:40Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。