論文の概要: Measuring Complexity of Learning Schemes Using Hessian-Schatten Total-Variation

• arxiv url: http://arxiv.org/abs/2112.06209v1
• Date: Sun, 12 Dec 2021 11:47:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-14 15:28:17.926249
• Title: Measuring Complexity of Learning Schemes Using Hessian-Schatten Total-Variation
• Title（参考訳）: Hessian-Schatten Total-Variation を用いた学習体系の複雑度測定
• Authors: Shayan Aziznejad, Joaquim Campos, Michael Unser
• Abstract要約: Hessian-Schatten total-variation (HTV) 2つの関数の一般クラスのHTVを計算するための閉形式表現を提案する。 この場合、HTVは共通面を持つ直線領域間の傾斜の総変化を反映していることを示す。
• 参考スコア（独自算出の注目度）: 31.54233601541908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce the Hessian-Schatten total-variation (HTV) -- a novel seminorm that quantifies the total "rugosity" of multivariate functions. Our motivation for defining HTV is to assess the complexity of supervised learning schemes. We start by specifying the adequate matrix-valued Banach spaces that are equipped with suitable classes of mixed-norms. We then show that HTV is invariant to rotations, scalings, and translations. Additionally, its minimum value is achieved for linear mappings, supporting the common intuition that linear regression is the least complex learning model. Next, we present closed-form expressions for computing the HTV of two general classes of functions. The first one is the class of Sobolev functions with a certain degree of regularity, for which we show that HTV coincides with the Hessian-Schatten seminorm that is sometimes used as a regularizer for image reconstruction. The second one is the class of continuous and piecewise linear (CPWL) functions. In this case, we show that the HTV reflects the total change in slopes between linear regions that have a common facet. Hence, it can be viewed as a convex relaxation (l1-type) of the number of linear regions (l0-type) of CPWL mappings. Finally, we illustrate the use of our proposed seminorm with some concrete examples.
• Abstract（参考訳）: 本稿では,多変量関数の総「好奇性」を定量化する半ノルムであるHessian-Schatten total-variation (HTV)を紹介する。 HTVを定義する動機は、教師付き学習方式の複雑さを評価することである。 まず、混合ノルムの適切なクラスを備えた適切な行列値バナッハ空間を指定する。 次に、HTVは回転、スケーリング、翻訳に不変であることを示す。 さらに、その最小値は線形写像に対して達成され、線形回帰が最小の複雑な学習モデルであるという共通の直観を支持する。 次に、2つの関数の一般クラスのHTVを計算するための閉形式表現を示す。 まず、ある程度の正則性を持つソボレフ関数のクラスで、htvは時折画像再構成の正則化として用いられるヘッセン=シャッテン半ノルムと一致することを示す。 2つめは連続かつ断片線型(CPWL)関数のクラスである。 この場合、HTVは共通面を持つ直線領域間の傾斜の総変化を反映していることを示す。 したがって、CPWL写像の線型領域の数(l0型)の凸緩和(l1型)と見なすことができる。 最後に,提案する半ノルムの使用例を具体例で紹介する。

関連論文リスト

• Highly Adaptive Ridge [84.38107748875144]
  直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。 Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。 我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T17:06:06Z)
• Fast and interpretable Support Vector Classification based on the truncated ANOVA decomposition [0.0]
  サポートベクタマシン(SVM)は、散在するデータの分類を行うための重要なツールである。 三角関数やウェーブレットに基づく特徴写像を用いて,SVMを原始形式で解くことを提案する。
  論文  参考訳（メタデータ） (2024-02-04T10:27:42Z)
• A Unified Analysis of Multi-task Functional Linear Regression Models with Manifold Constraint and Composite Quadratic Penalty [0.0]
  マルチタスク学習のパワーは、傾斜関数に付加的な構造を課すことによってもたらされる。 合成ペナルティは、多様体曲率の定量化に役立つ特定のノルムを誘導することを示す。 縮小ランクモデルとグラフラプラシア正規化モデルに統一収束上限を求め、特に適用する。
  論文  参考訳（メタデータ） (2022-11-09T13:32:23Z)
• Learning Globally Smooth Functions on Manifolds [94.22412028413102]
  スムーズな関数の学習は、線形モデルやカーネルモデルなどの単純なケースを除いて、一般的に難しい。 本研究は,半無限制約学習と多様体正規化の技法を組み合わせることで,これらの障害を克服することを提案する。 軽度条件下では、この手法は解のリプシッツ定数を推定し、副生成物として大域的に滑らかな解を学ぶ。
  論文  参考訳（メタデータ） (2022-10-01T15:45:35Z)
• Sparsest Univariate Learning Models Under Lipschitz Constraint [31.28451181040038]
  一次元回帰問題に対する連続領域定式化を提案する。 リプシッツ定数をユーザ定義上界を用いて明示的に制御する。 いずれの問題も、連続的かつ断片的線形なグローバル最小化を許容していることが示される。
  論文  参考訳（メタデータ） (2021-12-27T07:03:43Z)
• Support vector machines and linear regression coincide with very high-dimensional features [5.878391874426428]
  SVMに適合するトレーニング例がすべてサポートベクタとなる現象を示す。 まず、独立特徴モデルにおけるベクトル拡散を支援するために必要となる次元(サンプルサイズの観点から)の超線形下界を証明した。 また、ガウス的特徴モデルにおける鋭い位相遷移を同定し、この遷移の幅を制限し、その普遍性に対する実験的支持を与える。
  論文  参考訳（メタデータ） (2021-05-28T20:06:21Z)
• Bilinear Classes: A Structural Framework for Provable Generalization in RL [119.42509700822484]
  Bilinear Classesは強化学習の一般化を可能にする新しい構造フレームワークである。 このフレームワークは、サンプルの複雑さが達成可能な、ほとんどすべての既存のモデルを取り込んでいる。 我々の主な成果は、双線形クラスのためのサンプル複雑性を持つRLアルゴリズムである。
  論文  参考訳（メタデータ） (2021-03-19T16:34:20Z)
• Differentiating through the Fr\'echet Mean [51.32291896926807]
  フレット平均(Fr'echet mean)はユークリッド平均の一般化である。 任意のリーマン多様体に対して Fr'echet 平均を微分する方法を示す。 これにより、Fr'echet平均を双曲型ニューラルネットワークパイプラインに完全に統合する。
  論文  参考訳（メタデータ） (2020-02-29T19:49:38Z)
• Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks [70.15611146583068]
  我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。 我々の理論は半無限双対性と最小ノルム正規化を利用する。
  論文  参考訳（メタデータ） (2020-02-24T21:32:41Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。