論文の概要: Implicit Bias of Mirror Flow on Separable Data

• arxiv url: http://arxiv.org/abs/2406.12763v1
• Date: Tue, 18 Jun 2024 16:30:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 17:59:05.099365
• Title: Implicit Bias of Mirror Flow on Separable Data
• Title（参考訳）: 分離データを用いた鏡面流れの入射バイアス
• Authors: Scott Pesme, Radu-Alexandru Dragomir, Nicolas Flammarion,
• Abstract要約: 線形分離可能な分類問題に対して,ミラー降下の連続時間,すなわちミラーフローについて検討する。 指数的尾尾損失とポテンシャルに対する軽度の仮定では、イテレートは$phi_infty$-maximumマージンに向かって収束する。 関数 $phi_infty$ はミラーポテンシャルの $textithorizon 関数$ であり、無限大でその形を特徴づける」
• 参考スコア（独自算出の注目度）: 21.163144861740268
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We examine the continuous-time counterpart of mirror descent, namely mirror flow, on classification problems which are linearly separable. Such problems are minimised `at infinity' and have many possible solutions; we study which solution is preferred by the algorithm depending on the mirror potential. For exponential tailed losses and under mild assumptions on the potential, we show that the iterates converge in direction towards a $\phi_\infty$-maximum margin classifier. The function $\phi_\infty$ is the $\textit{horizon function}$ of the mirror potential and characterises its shape `at infinity'. When the potential is separable, a simple formula allows to compute this function. We analyse several examples of potentials and provide numerical experiments highlighting our results.
• Abstract（参考訳）: 線形分離可能な分類問題に対して,ミラー降下の連続時間,すなわちミラーフローについて検討する。 このような問題は'at infinity'と最小化され、多くの可能な解を持ち、ミラーポテンシャルに依存するアルゴリズムによってどの解が好まれるかを研究する。 指数的尾尾の損失とポテンシャルに対する軽度の仮定に対して、イテレートは$\phi_\infty$-maximum margin classifierに向かって収束することを示す。 関数 $\phi_\infty$ はミラーポテンシャルの $\textit{horizon function}$ であり、その形の 'at infinity' を特徴づける。 ポテンシャルが分離可能であれば、単純な公式でこの関数を計算することができる。 我々は、ポテンシャルのいくつかの例を分析し、その結果を浮き彫りにした数値実験を行う。

関連論文リスト

• A Sample Efficient Alternating Minimization-based Algorithm For Robust Phase Retrieval [56.67706781191521]
  そこで本研究では,未知の信号の復元を課題とする,ロバストな位相探索問題を提案する。 提案するオラクルは、単純な勾配ステップと外れ値を用いて、計算学的スペクトル降下を回避している。
  論文  参考訳（メタデータ） (2024-09-07T06:37:23Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Injectivity of ReLU networks: perspectives from statistical physics [22.357927193774803]
  単一の層, $x mapto mathrmReLU(Wx)$, ランダムガウス$m×n$行列$W$ を考える。 最近の研究は、この問題を球形積分幾何に結び付け、あるランダム集合の期待されるオイラー特性を研究することによって$alpha = fracmn$に対する予想された鋭い射影しきい値を得る。 インジェクティビティは球面の基底状態の性質と同値であることを示す。
  論文  参考訳（メタデータ） (2023-02-27T19:51:42Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Provable Phase Retrieval with Mirror Descent [1.1662472705038338]
  我々は,その挙動の程度から$n$-mの実ベクトルを復元する位相探索の問題を考察する。 2つの測定値について、n$の値が十分であれば、ほとんどすべての初期化子に対して高い確率で元のベクトルが符号まで回復することを示す。
  論文  参考訳（メタデータ） (2022-10-17T16:40:02Z)
• Mirror Descent with Relative Smoothness in Measure Spaces, with application to Sinkhorn and EM [11.007661197604065]
  本稿では,無限次元環境下でのミラー降下アルゴリズムの収束性について検討する。 結果が結合分布とクルバック-リーブラー分岐に適用され、シンクホーンの最適輸送に対する原始的な反復がミラー降下に対応することを示す。
  論文  参考訳（メタデータ） (2022-06-17T16:19:47Z)
• Feature Cross Search via Submodular Optimization [58.15569071608769]
  機能工学の基本的な基礎として機能横断探索について研究する。 この問題に対して単純なgreedy $(1-1/e)$-approximationアルゴリズムが存在することを示す。
  論文  参考訳（メタデータ） (2021-07-05T16:58:31Z)
• Nearly Minimax-Optimal Rates for Noisy Sparse Phase Retrieval via Early-Stopped Mirror Descent [29.206451882562867]
  本稿では,雑音の位相探索に応用した早期停止ミラー降下法について検討する。 単純なアルゴリズムは、スパーシティを促進するために明示的な正規化やしきい値ステップに依存しない。
  論文  参考訳（メタデータ） (2021-05-08T11:22:19Z)
• A Continuous-Time Mirror Descent Approach to Sparse Phase Retrieval [24.17778927729799]
  スパース位相探索に適用した連続時間ミラーを解析する。 これは、測定のみの集合からスパース信号を復元する問題である。 この問題に対して収束解析アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-20T10:03:44Z)
• Continuous-time quantum walks in the presence of a quadratic perturbation [55.41644538483948]
  連続時間量子ウォークの特性を、$mathcalH=L + lambda L2$という形のハミルトン群で解決する。 低/高接続性および/または対称性を持つパラダイムモデルであるため、サイクル、完全、およびスターグラフを考える。
  論文  参考訳（メタデータ） (2020-05-13T14:53:36Z)
• Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
  非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。 特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
  論文  参考訳（メタデータ） (2020-02-10T23:23:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。