論文の概要: Nonsmoothness in Machine Learning: specific structure, proximal
identification, and applications
- arxiv url: http://arxiv.org/abs/2010.00848v2
- Date: Tue, 10 Nov 2020 16:54:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 02:25:50.386586
- Title: Nonsmoothness in Machine Learning: specific structure, proximal
identification, and applications
- Title(参考訳): 機械学習における非平滑性:具体的構造、近位識別および応用
- Authors: Franck Iutzeler (DAO), J\'er\^ome Malick (DAO)
- Abstract要約: 本稿では,機械学習に現れる非滑らかな最適化問題の具体的構造について述べる。
我々は、この構造を実際にどのように活用するかを、圧縮、加速、次元縮小のために示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nonsmoothness is often a curse for optimization; but it is sometimes a
blessing, in particular for applications in machine learning. In this paper, we
present the specific structure of nonsmooth optimization problems appearing in
machine learning and illustrate how to leverage this structure in practice, for
compression, acceleration, or dimension reduction. We pay a special attention
to the presentation to make it concise and easily accessible, with both simple
examples and general results.
- Abstract(参考訳): 非滑らかさは、しばしば最適化の呪いであるが、機械学習の応用において、時には祝福である。
本稿では,機械学習に現れる非滑らかな最適化問題の具体的構造について述べるとともに,この構造を実際に活用する方法を,圧縮,加速,次元縮小のために説明する。
簡単な例と一般的な結果の両方で、簡潔で容易にアクセスできるようにするため、プレゼンテーションに特別な注意を払っています。
関連論文リスト
- Can Learned Optimization Make Reinforcement Learning Less Difficult? [70.5036361852812]
学習の最適化が強化学習の難しさを克服するのに役立つかどうかを検討する。
本稿では, 塑性, 探索および非定常性のための学習最適化手法(OPEN)を用いて, 入力特性と出力構造がこれらの困難に対して予め提案された情報によって通知される更新規則をメタラーニングする。
論文 参考訳(メタデータ) (2024-07-09T17:55:23Z) - Residual Learning for Image Point Descriptors [56.917951170421894]
本稿では,手作りの検出器とディスクリプタを用いて局所画像記述子を学習する,非常にシンプルで効果的な手法を提案する。
我々は,手書き記述子にすでに存在する知識を活用することで,最終記述子を最適化する。
本手法は,非微分関数を用いたアンサンブル学習や学習に応用できる可能性がある。
論文 参考訳(メタデータ) (2023-12-24T12:51:30Z) - Mechanic: A Learning Rate Tuner [52.4242550204696]
我々は,任意の基本最適化アルゴリズムの学習率尺度係数を調整し,自動的にスケジュールする手法を導入し,それをテクスチャメカニックと呼ぶ。
各種バッチサイズ,スケジュール,基本最適化アルゴリズムを用いて,大規模深層学習タスクにおけるテクスチャメカニックを厳格に評価する。
論文 参考訳(メタデータ) (2023-05-31T19:32:43Z) - Learning for Spatial Branching: An Algorithm Selection Approach [0.0]
本研究では,非線形最適化問題の文脈で分岐学習フレームワークを開発し,その有効性を示す。
提案した学習は、インスタンス固有の機能に基づいてオフラインで実行され、新しいインスタンスを解く際の計算オーバーヘッドがない。
異なるベンチマークインスタンスの実験では、学習ベースの分岐ルールが標準ルールを大幅に上回っていることが示されている。
論文 参考訳(メタデータ) (2022-04-22T17:23:43Z) - Nonsmooth Implicit Differentiation for Machine Learning and Optimization [0.0]
ますます複雑化する学習アーキテクチャの訓練の観点から、演算計算を用いた非滑らかな暗黙関数定理を確立する。
この結果は、古典的可逆条件の非滑らかな形式が満たされることを前提として、最も実践的な問題(すなわち、定義可能な問題)に適用できる。
例えば、クラーク・ヤコビアンによる微分式を通常の微分公式で置き換えることは完全に正当化される。
論文 参考訳(メタデータ) (2021-06-08T13:59:47Z) - Efficient and Modular Implicit Differentiation [68.74748174316989]
最適化問題の暗黙的な微分のための統一的で効率的かつモジュール化されたアプローチを提案する。
一見単純な原理は、最近提案された多くの暗黙の微分法を復元し、新しいものを簡単に作成できることを示している。
論文 参考訳(メタデータ) (2021-05-31T17:45:58Z) - Physics guided machine learning using simplified theories [0.0]
機械学習、特にディープラーニングの最近の応用は、物理科学における統計推論アプローチの汎用性に対処する必要性を動機付ける。
このようなデータ駆動予測エンジンの精度を向上させるために,モジュール型物理誘導機械学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-12-18T21:30:40Z) - Understanding Notions of Stationarity in Non-Smooth Optimization [46.79939028097824]
信号処理や機械学習における現代の多くの応用は、構造化された非滑らかな非滑らかな最適化問題を引き起こす。
このような現象を理解するための鍵の1つは、専門家にとって非常に難しい難問の1つです。
論文 参考訳(メタデータ) (2020-06-26T10:38:23Z) - Post-Estimation Smoothing: A Simple Baseline for Learning with Side
Information [102.18616819054368]
本稿では,構造指標データを予測に組み込む高速かつ効率的な手法として,後推定平滑化演算子を提案する。
滑らかなステップは元の予測器とは分離されているため、機械学習タスクの幅広いクラスに適用できる。
大規模な空間的・時間的データセットに関する実験は,実測後のスムース化の速度と正確さを浮き彫りにした。
論文 参考訳(メタデータ) (2020-03-12T18:04:20Z) - Cyclic Boosting -- an explainable supervised machine learning algorithm [0.0]
本稿では,新しい機械学習アルゴリズム"Cyclic Boosting"を提案する。
正確な回帰と分類のタスクを効率的に行うと同時に、個々の予測がどのように行われたかの詳細な理解を可能にします。
論文 参考訳(メタデータ) (2020-02-09T18:52:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。