論文の概要: Learning with Differentiable Perturbed Optimizers

• arxiv url: http://arxiv.org/abs/2002.08676v2
• Date: Tue, 9 Jun 2020 15:09:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-12-30 07:27:07.547345
• Title: Learning with Differentiable Perturbed Optimizers
• Title（参考訳）: 可変摂動オプティマイザによる学習
• Authors: Quentin Berthet, Mathieu Blondel, Olivier Teboul, Marco Cuturi, Jean-Philippe Vert, Francis Bach
• Abstract要約: 本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
• 参考スコア（独自算出の注目度）: 54.351317101356614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning pipelines often rely on optimization procedures to make discrete decisions (e.g., sorting, picking closest neighbors, or shortest paths). Although these discrete decisions are easily computed, they break the back-propagation of computational graphs. In order to expand the scope of learning problems that can be solved in an end-to-end fashion, we propose a systematic method to transform optimizers into operations that are differentiable and never locally constant. Our approach relies on stochastically perturbed optimizers, and can be used readily together with existing solvers. Their derivatives can be evaluated efficiently, and smoothness tuned via the chosen noise amplitude. We also show how this framework can be connected to a family of losses developed in structured prediction, and give theoretical guarantees for their use in learning tasks. We demonstrate experimentally the performance of our approach on various tasks.
• Abstract（参考訳）: 機械学習パイプラインは、離散的な決定(例えば、ソート、最も近い隣人の選択、最短経路)を行うための最適化手順に依存することが多い。 これらの決定は容易に計算できるが、計算グラフのバックプロパゲーションを破る。 エンド・ツー・エンドで解決可能な学習問題の範囲を広げるために,最適化器を微分可能かつ局所的に一定でない操作に変換する体系的手法を提案する。 提案手法は確率論的に摂動型最適化器に依存し,既存の解法と容易に併用できる。 それらの誘導体を効率よく評価でき、選択した雑音振幅によって滑らかさを調整できる。 また, この枠組みが, 構造化予測において発達した損失の族とどのように結びつくかを示し, 学習課題に使用する理論的保証を与える。 様々なタスクにおけるアプローチの性能を実験的に実証する。

関連論文リスト

• Self-Supervised Penalty-Based Learning for Robust Constrained Optimization [4.297070083645049]
  本稿では,自己教師付きペナルティに基づく損失関数を用いた学習に基づいて,パラメータ化制約付きロバスト最適化のための新しい手法を提案する。 我々のアプローチは、従来の解法よりも推論時間がかなり小さいニューラルネットワーク近似を効果的に学習することができる。
  論文  参考訳（メタデータ） (2025-03-07T06:42:17Z)
• Nonconvex Federated Learning on Compact Smooth Submanifolds With Heterogeneous Data [23.661713049508375]
  本稿では,クライアントの設定においてサブマニフォールド上で学習するアルゴリズムを提案する。 提案アルゴリズムは,新しい解析手法を用いて一階最適解の近傍に部分収束することを示す。
  論文  参考訳（メタデータ） (2024-06-12T17:53:28Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and Optimization [59.386153202037086]
  Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。 このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。 本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T01:32:06Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Contrastive Losses and Solution Caching for Predict-and-Optimize [19.31153168397003]
  ノイズコントラスト法を用いて、サロゲート損失関数の族を動機付ける。 すべての予測と最適化アプローチのボトルネックに対処する。 非常に遅い成長率でさえ、最先端の手法の質に合わせるのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-11-10T19:09:12Z)
• Fast Rates for Contextual Linear Optimization [52.39202699484225]
  提案手法は, 下流決定性能を直接最適化する手法よりもはるかに高速な, 後悔の収束率を実現する。 予測モデルは、既存のツールを使ったトレーニングが簡単かつ高速で、解釈が簡単で、私たちが示しているように、非常にうまく機能する決定につながる。
  論文  参考訳（メタデータ） (2020-11-05T18:43:59Z)
• Stochastic Optimization Forests [60.523606291705214]
  標準的なランダムな森林アルゴリズムのように予測精度を向上させるために分割するのではなく、分割を選択した木を栽培し、下流の意思決定品質を直接最適化することで、森林決定政策の訓練方法を示す。 概略分割基準は、各候補分割に対して正確に最適化された森林アルゴリズムに近い性能を保ちながら、100倍のランニング時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2020-08-17T16:56:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。