論文の概要: Learning with Combinatorial Optimization Layers: a Probabilistic Approach

• arxiv url: http://arxiv.org/abs/2207.13513v1
• Date: Wed, 27 Jul 2022 13:37:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-28 13:08:38.784538
• Title: Learning with Combinatorial Optimization Layers: a Probabilistic Approach
• Title（参考訳）: 組合せ最適化レイヤーによる学習:確率論的アプローチ
• Authors: Guillaume Dalle, L\'eo Baty, Louis Bouvier, Axel Parmentier
• Abstract要約: 機械学習(ML)パイプラインにおける組合せ最適化レイヤは、データ駆動決定タスクに取り組むための強力なツールである。 しかし、主な課題は2つある。 まず、CO問題の解は対象パラメータの断片的定数関数として振る舞う。 第二に、標準のML損失はエコシステム設定ではうまくいきません。
• 参考スコア（独自算出の注目度）: 2.867517731896504
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Combinatorial optimization (CO) layers in machine learning (ML) pipelines are a powerful tool to tackle data-driven decision tasks, but they come with two main challenges. First, the solution of a CO problem often behaves as a piecewise constant function of its objective parameters. Given that ML pipelines are typically trained using stochastic gradient descent, the absence of slope information is very detrimental. Second, standard ML losses do not work well in combinatorial settings. A growing body of research addresses these challenges through diverse methods. Unfortunately, the lack of well-maintained implementations slows down the adoption of CO layers. In this paper, building upon previous works, we introduce a probabilistic perspective on CO layers, which lends itself naturally to approximate differentiation and the construction of structured losses. We recover many approaches from the literature as special cases, and we also derive new ones. Based on this unifying perspective, we present InferOpt.jl, an open-source Julia package that 1) allows turning any CO oracle with a linear objective into a differentiable layer, and 2) defines adequate losses to train pipelines containing such layers. Our library works with arbitrary optimization algorithms, and it is fully compatible with Julia's ML ecosystem. We demonstrate its abilities using a pathfinding problem on video game maps.
• Abstract（参考訳）: 機械学習(ML)パイプラインにおける組合せ最適化(CO)レイヤは、データ駆動決定タスクに取り組むための強力なツールだが、大きな課題が2つある。 まず、CO問題の解は、しばしば対象パラメータの断片的定数関数として振る舞う。 MLパイプラインは通常、確率勾配降下を用いて訓練されているため、傾斜情報の欠如は非常に有害である。 第二に、MLの標準的な損失は組合せ設定ではうまく機能しない。 成長する研究機関は、様々な方法でこれらの課題に対処する。 残念ながら、十分に保守された実装がないため、CO層の採用が遅くなる。 本稿では, 従来の研究に基づいてCO層に対する確率論的視点を導入し, 微分と構造的損失の構成に自然に寄与することを示す。 特別事例として文献から多くのアプローチを回収し,新たな事例も導き出した。 この統一的な視点に基づいて、オープンソースのJuliaパッケージであるInferOpt.jlを紹介します。 1) 線形目的の任意のCOオラクルを微分可能な層に変えることができる。 2) このようなレイヤを含むトレインパイプラインに対する適切な損失を定義する。 ライブラリは任意の最適化アルゴリズムで動作し、JuliaのMLエコシステムと完全に互換性がある。 ビデオゲームマップにおけるパスフィンディング問題を用いて,その能力を示す。

関連論文リスト

• LP++: A Surprisingly Strong Linear Probe for Few-Shot CLIP [20.86307407685542]
  リニアプローブ(LP)は、数発のCLIP適応の弱いベースラインとしてしばしば報告されている。 本研究では,コンベックス最適化の観点から標準LPベースラインの一般化について検討する。 我々の画像言語目的関数は、これらの非自明な最適化の洞察や成分とともに、驚くほど、競争力の高いCLIPパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2024-04-02T20:23:10Z)
• Let the Flows Tell: Solving Graph Combinatorial Optimization Problems with GFlowNets [86.43523688236077]
  組合せ最適化(CO)問題はしばしばNPハードであり、正確なアルゴリズムには及ばない。 GFlowNetsは、複合非正規化密度を逐次サンプリングする強力な機械として登場した。 本稿では,異なる問題に対してマルコフ決定プロセス(MDP)を設計し,条件付きGFlowNetを学習して解空間からサンプルを作成することを提案する。
  論文  参考訳（メタデータ） (2023-05-26T15:13:09Z)
• Planning and Learning with Adaptive Lookahead [74.39132848733847]
  ポリシーイテレーション(PI)アルゴリズムは、欲求の一段階の改善と政策評価を交互に行う。 近年の文献では、複数段階のルックアヘッドポリシーの改善が、イテレーション毎の複雑さの増加を犠牲にして、よりコンバージェンス率の向上につながることが示されている。 本研究では,多段階の地平線を状態と推定値の関数として動的に適応する手法を初めて提案する。
  論文  参考訳（メタデータ） (2022-01-28T20:26:55Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Meta-Learning with Adjoint Methods [16.753336086160598]
  メタラーニング(MAML)は、タスクファミリーの優れた初期化を見つけるために広く使われている。 その成功にもかかわらず、MAMLにおける重要な課題は、サンプリングされたタスクに対する長いトレーニング軌跡の初期化で勾配を計算することである。 本稿では,この問題を解決するためにAdjoint MAML (A-MAML)を提案する。 人工メタ学習と実世界のメタ学習の両方において、我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2021-10-16T01:18:50Z)
• A Bi-Level Framework for Learning to Solve Combinatorial Optimization on Graphs [91.07247251502564]
  本稿では,2つの世界の長所を結合するハイブリッドな手法を提案する。この手法では,グラフを最適化する上層学習手法とバイレベルフレームワークを開発する。 このような二段階のアプローチは、元のハードCOでの学習を単純化し、モデルキャパシティの需要を効果的に軽減することができる。
  論文  参考訳（メタデータ） (2021-06-09T09:18:18Z)
• Learning to Sparsify Travelling Salesman Problem Instances [0.5985204759362747]
  プルーニングマシンラーニングを前処理のステップとして使用し、旅行セールスマンの問題をスパーシャライズするために正確なプログラミングアプローチを行います。 私たちの学習アプローチは、非常に少ないトレーニングデータを必要とし、数学的分析に適応可能です。
  論文  参考訳（メタデータ） (2021-04-19T14:35:14Z)
• Physarum Powered Differentiable Linear Programming Layers and Applications [48.77235931652611]
  一般線形プログラミング問題に対する効率的かつ微分可能な解法を提案する。 本稿では,ビデオセグメンテーションタスクとメタラーニングにおける問題解決手法について述べる。
  論文  参考訳（メタデータ） (2020-04-30T01:50:37Z)
• Learning with Differentiable Perturbed Optimizers [54.351317101356614]
  本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
  論文  参考訳（メタデータ） (2020-02-20T11:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。