論文の概要: Delaunay-Triangulation-Based Learning with Hessian Total-Variation Regularization

• arxiv url: http://arxiv.org/abs/2208.07787v1
• Date: Tue, 16 Aug 2022 14:55:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-17 12:59:18.425160
• Title: Delaunay-Triangulation-Based Learning with Hessian Total-Variation Regularization
• Title（参考訳）: ヘシアン全変分正規化を用いたデラウナイ・トリアングリゲーションに基づく学習
• Authors: Mehrsa Pourya, Alexis Goujon, Michael Unser
• Abstract要約: 本稿では,CPWL関数の表現性を利用した代替手法を提案する。 提案手法は,デラウネー三角測量によるCPWL関数の領域分割に依存する。 本実験は,低次元シナリオにおける本手法の有効性を検証する。
• 参考スコア（独自算出の注目度）: 21.69222364939501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regression is one of the core problems tackled in supervised learning. Rectified linear unit (ReLU) neural networks generate continuous and piecewise-linear (CPWL) mappings and are the state-of-the-art approach for solving regression problems. In this paper, we propose an alternative method that leverages the expressivity of CPWL functions. In contrast to deep neural networks, our CPWL parameterization guarantees stability and is interpretable. Our approach relies on the partitioning of the domain of the CPWL function by a Delaunay triangulation. The function values at the vertices of the triangulation are our learnable parameters and identify the CPWL function uniquely. Formulating the learning scheme as a variational problem, we use the Hessian total variation (HTV) as regularizer to favor CPWL functions with few affine pieces. In this way, we control the complexity of our model through a single hyperparameter. By developing a computational framework to compute the HTV of any CPWL function parameterized by a triangulation, we discretize the learning problem as the generalized least absolute shrinkage and selection operator (LASSO). Our experiments validate the usage of our method in low-dimensional scenarios.
• Abstract（参考訳）: 回帰は教師あり学習における中核的な問題の1つだ。 Rectified linear unit (ReLU) ニューラルネットワークはCPWL(Continuous and piecewise-linear)マッピングを生成し、回帰問題を解くための最先端のアプローチである。 本稿では,CPWL関数の表現性を利用した代替手法を提案する。 ディープニューラルネットワークとは対照的に、CPWLパラメータ化は安定性を保証し、解釈可能である。 提案手法は,デラウネー三角測量によるCPWL関数の領域分割に依存する。 三角関数の頂点における関数値は、学習可能なパラメータであり、CPWL関数を一意に識別する。 学習スキームを変分問題として定式化し, 正則化器としてHessian total variation (HTV) を用いて, アフィンの少ないCPWL関数を求める。 このようにして、1つのハイパーパラメータを通してモデルの複雑さを制御する。 三角関数によってパラメータ化された任意のCPWL関数のHTVを計算するための計算フレームワークを開発することにより、学習問題を一般化された最小絶対収縮選択演算子(LASSO)として識別する。 提案手法を低次元シナリオで検証する実験を行った。

関連論文リスト

• Kolmogorov-Arnold Transformer [72.88137795439407]
  Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。 C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。 これらの設計により、KATは従来のトランスフォーマーよりも優れている。
  論文  参考訳（メタデータ） (2024-09-16T17:54:51Z)
• A Nearly Optimal and Low-Switching Algorithm for Reinforcement Learning with General Function Approximation [66.26739783789387]
  我々は、強化学習のための新しいアルゴリズム、MQL-UCBを用いたモノトニックQ-Learningを提案する。 MQL-UCBは、$tildeO(dsqrtHK)$の最小限の後悔を実現する。 本研究は,非線形関数近似を用いたサンプル効率およびデプロイメント効率のよいQ-ラーニングの設計に重点を置いている。
  論文  参考訳（メタデータ） (2023-11-26T08:31:57Z)
• Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
  本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。 MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。 乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T20:18:52Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。 本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)
• Sparsest Univariate Learning Models Under Lipschitz Constraint [31.28451181040038]
  一次元回帰問題に対する連続領域定式化を提案する。 リプシッツ定数をユーザ定義上界を用いて明示的に制御する。 いずれの問題も、連続的かつ断片的線形なグローバル最小化を許容していることが示される。
  論文  参考訳（メタデータ） (2021-12-27T07:03:43Z)
• A Discontinuity Capturing Shallow Neural Network for Elliptic Interface Problems [0.0]
  連続関数を$d$次元で近似し,楕円型インタフェース問題を解くための不連続キャプチャ・シャローニューラルネットワーク(DCSNN)を開発した。 DCSNNモデルは、トレーニングが必要なパラメータの適度な数だけのために、比較的に効率的である。
  論文  参考訳（メタデータ） (2021-06-10T08:40:30Z)
• Ridge regression with adaptive additive rectangles and other piecewise functional templates [0.0]
  関数線形回帰モデルに対する$L_2$ベースのペナル化アルゴリズムを提案する。 提案アルゴリズムは,適切なテンプレートの近似と凸リッジのような問題の解法とを交互に行う方法を示す。
  論文  参考訳（メタデータ） (2020-11-02T15:28:54Z)
• Logistic Q-Learning [87.00813469969167]
  MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。 提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
  論文  参考訳（メタデータ） (2020-10-21T17:14:31Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)
• Finite-Sample Analysis of Stochastic Approximation Using Smooth Convex Envelopes [40.31139355952393]
  一般化エンベロープを用いて滑らかなリャプノフ函数を構築し、そのリャプノフ函数に対してSAの反復体が負のドリフトを持つことを示す。 特に、政治以外のTD学習において、Vトレースアルゴリズムの最初の既知収束率を確立するためにこれを用いる。 また、TD学習を現場で研究し、既存の最先端の成果を$Q$ラーニングで回収する。
  論文  参考訳（メタデータ） (2020-02-03T16:42:01Z)
• Deep Neural Networks with Trainable Activations and Controlled Lipschitz Constant [26.22495169129119]
  本稿では,深層ニューラルネットワークの活性化関数を学習するための変分フレームワークを提案する。 我々の目的は、リプシッツ定数の上界を制御しながら、ネットワークの容量を増加させることである。 提案手法を標準ReLUネットワークとその変種であるPRELUとLeakyReLUと比較する。
  論文  参考訳（メタデータ） (2020-01-17T12:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。