論文の概要: Implicit Bias of Mirror Flow on Separable Data

• arxiv url: http://arxiv.org/abs/2406.12763v3
• Date: Wed, 13 Nov 2024 16:07:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:09:02.348063
• Title: Implicit Bias of Mirror Flow on Separable Data
• Title（参考訳）: 分離データを用いた鏡面流れの入射バイアス
• Authors: Scott Pesme, Radu-Alexandru Dragomir, Nicolas Flammarion,
• Abstract要約: 線形分離可能な分類問題に対して,ミラー降下の連続時間,すなわちミラーフローについて検討する。 指数的尾尾損失とポテンシャルに対する軽度の仮定では、イテレートは$phi_infty$-maximumマージンに向かって収束する。 関数 $phi_infty$ はミラーポテンシャルのテクスリゾン関数であり、無限大でその形状を特徴づける」
• 参考スコア（独自算出の注目度）: 21.163144861740268
• License:
• Abstract: We examine the continuous-time counterpart of mirror descent, namely mirror flow, on classification problems which are linearly separable. Such problems are minimised `at infinity' and have many possible solutions; we study which solution is preferred by the algorithm depending on the mirror potential. For exponential tailed losses and under mild assumptions on the potential, we show that the iterates converge in direction towards a $\phi_\infty$-maximum margin classifier. The function $\phi_\infty$ is the \textit{horizon function} of the mirror potential and characterises its shape `at infinity'. When the potential is separable, a simple formula allows to compute this function. We analyse several examples of potentials and provide numerical experiments highlighting our results.
• Abstract（参考訳）: 線形分離可能な分類問題に対して,ミラー降下の連続時間,すなわちミラーフローについて検討する。 このような問題は'at infinity'と最小化され、多くの可能な解を持ち、ミラーポテンシャルに依存するアルゴリズムによってどの解が好まれるかを研究する。 指数的尾尾の損失とポテンシャルに対する軽度の仮定に対して、イテレートは$\phi_\infty$-maximum margin classifierに向かって収束することを示す。 関数 $\phi_\infty$ はミラーポテンシャルの \textit{horizon function} であり、その形の 'at infinity' を特徴づける。 ポテンシャルが分離可能であれば、単純な公式でこの関数を計算することができる。 我々は、ポテンシャルのいくつかの例を分析し、その結果を浮き彫りにした数値実験を行う。

関連論文リスト

• A Sample Efficient Alternating Minimization-based Algorithm For Robust Phase Retrieval [56.67706781191521]
  そこで本研究では,未知の信号の復元を課題とする,ロバストな位相探索問題を提案する。 提案するオラクルは、単純な勾配ステップと外れ値を用いて、計算学的スペクトル降下を回避している。
  論文  参考訳（メタデータ） (2024-09-07T06:37:23Z)
• Imitation Learning in Discounted Linear MDPs without exploration assumptions [58.81226849657474]
  ILARLと呼ばれる無限水平線形MDPにおける模倣学習のための新しいアルゴリズムを提案する。 所望の精度$epsilon$から$mathcalO(epsilon-5)$から$mathcalO(epsilon-4)$への依存を改善する。 線形関数近似による数値実験により、ILARLは他のよく使われるアルゴリズムよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-03T15:28:44Z)
• Approximating Positive Homogeneous Functions with Scale Invariant Neural Networks [28.2446416597989]
  まず,数直線測定によるスパースベクトルの回復について考察する。 この結果から,低ランク行列回復や位相回復を含む,より広範な回復問題に拡張する。 我々の結果は、逆問題に対するニューラルネットワークが典型的に非常に大きなリプシッツ定数を持つことを示す以前の研究の矛盾のように見えることに光を当てた。
  論文  参考訳（メタデータ） (2023-08-05T10:17:04Z)
• Injectivity of ReLU networks: perspectives from statistical physics [22.357927193774803]
  単一の層, $x mapto mathrmReLU(Wx)$, ランダムガウス$m×n$行列$W$ を考える。 最近の研究は、この問題を球形積分幾何に結び付け、あるランダム集合の期待されるオイラー特性を研究することによって$alpha = fracmn$に対する予想された鋭い射影しきい値を得る。 インジェクティビティは球面の基底状態の性質と同値であることを示す。
  論文  参考訳（メタデータ） (2023-02-27T19:51:42Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Provable Phase Retrieval with Mirror Descent [1.1662472705038338]
  我々は,その挙動の程度から$n$-mの実ベクトルを復元する位相探索の問題を考察する。 2つの測定値について、n$の値が十分であれば、ほとんどすべての初期化子に対して高い確率で元のベクトルが符号まで回復することを示す。
  論文  参考訳（メタデータ） (2022-10-17T16:40:02Z)
• Feature Cross Search via Submodular Optimization [58.15569071608769]
  機能工学の基本的な基礎として機能横断探索について研究する。 この問題に対して単純なgreedy $(1-1/e)$-approximationアルゴリズムが存在することを示す。
  論文  参考訳（メタデータ） (2021-07-05T16:58:31Z)
• Nearly Minimax-Optimal Rates for Noisy Sparse Phase Retrieval via Early-Stopped Mirror Descent [29.206451882562867]
  本稿では,雑音の位相探索に応用した早期停止ミラー降下法について検討する。 単純なアルゴリズムは、スパーシティを促進するために明示的な正規化やしきい値ステップに依存しない。
  論文  参考訳（メタデータ） (2021-05-08T11:22:19Z)
• An Exponential Lower Bound for Linearly-Realizable MDPs with Constant Suboptimality Gap [66.75488143823337]
  また, 指数的標本複雑度は, 一定の準最適ギャップを仮定しても, 未だに保持していることを示した。 おそらく驚くことに、これはオンラインrl設定と生成モデル設定の指数関数的な分離を意味する。
  論文  参考訳（メタデータ） (2021-03-23T17:05:54Z)
• A Continuous-Time Mirror Descent Approach to Sparse Phase Retrieval [24.17778927729799]
  スパース位相探索に適用した連続時間ミラーを解析する。 これは、測定のみの集合からスパース信号を復元する問題である。 この問題に対して収束解析アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-20T10:03:44Z)
• Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
  非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。 特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
  論文  参考訳（メタデータ） (2020-02-10T23:23:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。