論文の概要: Learning with Differentiable Perturbed Optimizers

• arxiv url: http://arxiv.org/abs/2002.08676v2
• Date: Tue, 9 Jun 2020 15:09:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 07:27:07.547345
• Title: Learning with Differentiable Perturbed Optimizers
• Title（参考訳）: 可変摂動オプティマイザによる学習
• Authors: Quentin Berthet, Mathieu Blondel, Olivier Teboul, Marco Cuturi, Jean-Philippe Vert, Francis Bach
• Abstract要約: 本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
• 参考スコア（独自算出の注目度）: 54.351317101356614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning pipelines often rely on optimization procedures to make discrete decisions (e.g., sorting, picking closest neighbors, or shortest paths). Although these discrete decisions are easily computed, they break the back-propagation of computational graphs. In order to expand the scope of learning problems that can be solved in an end-to-end fashion, we propose a systematic method to transform optimizers into operations that are differentiable and never locally constant. Our approach relies on stochastically perturbed optimizers, and can be used readily together with existing solvers. Their derivatives can be evaluated efficiently, and smoothness tuned via the chosen noise amplitude. We also show how this framework can be connected to a family of losses developed in structured prediction, and give theoretical guarantees for their use in learning tasks. We demonstrate experimentally the performance of our approach on various tasks.
• Abstract（参考訳）: 機械学習パイプラインは、離散的な決定(例えば、ソート、最も近い隣人の選択、最短経路)を行うための最適化手順に依存することが多い。 これらの決定は容易に計算できるが、計算グラフのバックプロパゲーションを破る。 エンド・ツー・エンドで解決可能な学習問題の範囲を広げるために,最適化器を微分可能かつ局所的に一定でない操作に変換する体系的手法を提案する。 提案手法は確率論的に摂動型最適化器に依存し,既存の解法と容易に併用できる。 それらの誘導体を効率よく評価でき、選択した雑音振幅によって滑らかさを調整できる。 また, この枠組みが, 構造化予測において発達した損失の族とどのように結びつくかを示し, 学習課題に使用する理論的保証を与える。 様々なタスクにおけるアプローチの性能を実験的に実証する。

関連論文リスト

• Mechanic: A Learning Rate Tuner [52.4242550204696]
  我々は,任意の基本最適化アルゴリズムの学習率尺度係数を調整し,自動的にスケジュールする手法を導入し,それをテクスチャメカニックと呼ぶ。 各種バッチサイズ,スケジュール,基本最適化アルゴリズムを用いて,大規模深層学習タスクにおけるテクスチャメカニックを厳格に評価する。
  論文  参考訳（メタデータ） (2023-05-31T19:32:43Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Efficient Meta-Learning for Continual Learning with Taylor Expansion Approximation [2.28438857884398]
  連続学習は、非定常分布下で連続的なタスクを処理する際の破滅的な忘れを緩和することを目的としている。 本稿では,オンライン連続学習問題を解決するためのメタ学習アルゴリズムを提案する。 提案手法は, 最先端手法と比較して, 高い性能, 高い効率を実現している。
  論文  参考訳（メタデータ） (2022-10-03T04:57:05Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)
• Predictor-corrector algorithms for stochastic optimization under gradual distribution shift [26.897316325189212]
  時間変化の最適化問題は機械学習の実践で頻繁に発生する。 我々は、時間変動最適化のための予測器相関アルゴリズムを開発することにより、この基礎となる連続性を利用する。
  論文  参考訳（メタデータ） (2022-05-26T18:33:00Z)
• Contrastive Losses and Solution Caching for Predict-and-Optimize [19.31153168397003]
  ノイズコントラスト法を用いて、サロゲート損失関数の族を動機付ける。 すべての予測と最適化アプローチのボトルネックに対処する。 非常に遅い成長率でさえ、最先端の手法の質に合わせるのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-11-10T19:09:12Z)
• Fast Rates for Contextual Linear Optimization [52.39202699484225]
  提案手法は, 下流決定性能を直接最適化する手法よりもはるかに高速な, 後悔の収束率を実現する。 予測モデルは、既存のツールを使ったトレーニングが簡単かつ高速で、解釈が簡単で、私たちが示しているように、非常にうまく機能する決定につながる。
  論文  参考訳（メタデータ） (2020-11-05T18:43:59Z)
• Stochastic Optimization Forests [60.523606291705214]
  標準的なランダムな森林アルゴリズムのように予測精度を向上させるために分割するのではなく、分割を選択した木を栽培し、下流の意思決定品質を直接最適化することで、森林決定政策の訓練方法を示す。 概略分割基準は、各候補分割に対して正確に最適化された森林アルゴリズムに近い性能を保ちながら、100倍のランニング時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2020-08-17T16:56:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。