論文の概要: Re-basin via implicit Sinkhorn differentiation
- arxiv url: http://arxiv.org/abs/2212.12042v1
- Date: Thu, 22 Dec 2022 21:25:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 16:43:08.844376
- Title: Re-basin via implicit Sinkhorn differentiation
- Title（参考訳）: 暗黙のシンクホーン分化によるリバジン
- Authors: Fidel A. Guerrero Pe\~na, Heitor Rapela Medeiros, Thomas Dubail, Masih
Aminbeidokhti, Eric Granger, Marco Pedersoli
- Abstract要約: 本研究では,特定の目的に適した交通計画を得る能力を備えたシンクホーン・リベースネットワークを提案する。
現在の最先端技術とは異なり、我々の手法は微分可能であり、深層学習領域内のどんなタスクにも容易に適応できる。
- 参考スコア（独自算出の注目度）: 9.827002225566073
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent emergence of new algorithms for permuting models into functionally
equivalent regions of the solution space has shed some light on the complexity
of error surfaces, and some promising properties like mode connectivity.
However, finding the right permutation is challenging, and current optimization
techniques are not differentiable, which makes it difficult to integrate into a
gradient-based optimization, and often leads to sub-optimal solutions. In this
paper, we propose a Sinkhorn re-basin network with the ability to obtain the
transportation plan that better suits a given objective. Unlike the current
state-of-art, our method is differentiable and, therefore, easy to adapt to any
task within the deep learning domain. Furthermore, we show the advantage of our
re-basin method by proposing a new cost function that allows performing
incremental learning by exploiting the linear mode connectivity property. The
benefit of our method is compared against similar approaches from the
literature, under several conditions for both optimal transport finding and
linear mode connectivity. The effectiveness of our continual learning method
based on re-basin is also shown for several common benchmark datasets,
providing experimental results that are competitive with state-of-art results
from the literature.
- Abstract（参考訳）: 関数的に等価な解空間の領域にモデルを置換する新しいアルゴリズムが最近登場し、エラー面の複雑さとモード接続のような有望な性質に光を当てた。
しかし、適切な置換を見つけることは困難であり、現在の最適化手法は微分できないため、勾配に基づく最適化に統合することは困難であり、しばしば準最適解につながる。
本稿では,所定の目的に合致する交通計画を得ることのできるシンクホーン再ベースネットワークを提案する。
現在の最先端技術とは異なり、我々の手法は微分可能であり、深層学習領域内のどんなタスクにも容易に適応できる。
さらに,リニアモード接続特性を利用したインクリメンタル学習を可能にする新しいコスト関数を提案することで,本手法の利点を示す。
本手法の利点は, 最適輸送探索と線形モード接続の両方の条件下で, 文献からの類似のアプローチと比較した。
また,再ベースに基づく連続学習手法の有効性を,いくつかの一般的なベンチマークデータセットで示し,文献の最先端結果と競合する実験結果を提供する。
関連論文リスト
- Self-Improvement for Neural Combinatorial Optimization: Sample without Replacement, but Improvement [1.1510009152620668]
建設的ニューラル最適化の現在の手法は、通常、専門家ソリューションからの行動クローニングや強化学習からのポリシー勾配手法を用いてポリシーを訓練する。
各エポックにおける現在のモデルを用いて、ランダムなインスタンスに対して複数の解をサンプリングし、その後、教師付き模倣学習のための専門家の軌跡として最適な解を選択することにより、この2つを橋渡しする。
我々は,旅行セールスマン問題とキャパシタントカールーティング問題に対する我々のアプローチを評価し,本手法で訓練したモデルは,専門家データで訓練したモデルと同等の性能と一般化を実現する。
論文 参考訳（メタデータ） (2024-03-22T13:09:10Z) - Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-10-08T23:39:38Z) - Interactive Graph Convolutional Filtering [79.34979767405979]
インタラクティブ・レコメンダ・システム(IRS)は、パーソナライズされた記事レコメンデーション、ソーシャルメディア、オンライン広告など、さまざまな領域でますます利用されている。
これらの問題は、コールドスタート問題とデータスポーサリティ問題によって悪化する。
既存のMulti-Armed Bandit手法は、慎重に設計された探査戦略にもかかわらず、しばしば初期の段階で満足な結果を提供するのに苦労する。
提案手法は,ユーザとアイテム間の協調フィルタリング性能を向上させるため,協調フィルタリングをグラフモデルに拡張する。
論文 参考訳（メタデータ） (2023-09-04T09:02:31Z) - A Game of Bundle Adjustment -- Learning Efficient Convergence [11.19540223578237]
バンドル調整の収束に達するのに必要なイテレーションの数を減らす方法を示す。
この削減は古典的なアプローチの恩恵を受けており、他のバンドル調整加速度法と統合可能であることを示す。
論文 参考訳（メタデータ） (2023-08-25T09:44:45Z) - Resource-Adaptive Newton's Method for Distributed Learning [16.588456212160928]
本稿では,Newtonの手法の限界を克服するRANLというアルゴリズムを提案する。
従来の一階法とは異なり、RANLは問題の条件数から著しく独立している。
論文 参考訳（メタデータ） (2023-08-20T04:01:30Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳（メタデータ） (2023-02-24T18:41:48Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳（メタデータ） (2023-01-28T01:50:42Z) - Batch Active Learning from the Perspective of Sparse Approximation [12.51958241746014]
アクティブな学習は、機械学習エージェントと人間のアノテーションとのインタラクションを活用することで、効率的なモデルトレーニングを可能にする。
スパース近似の観点からバッチアクティブラーニングを定式化する新しいフレームワークを提案し,提案する。
我々のアクティブラーニング手法は、ラベルのないデータプールから、対応するトレーニング損失関数が、そのフルデータプールに近似するように、情報的サブセットを見つけることを目的としている。
論文 参考訳（メタデータ） (2022-11-01T03:20:28Z) - Sample-Efficient, Exploration-Based Policy Optimisation for Routing
Problems [2.6782615615913348]
本稿では,エントロピーに基づく新しい強化学習手法を提案する。
さらに、我々は、期待したリターンを最大化する、政治以外の強化学習手法を設計する。
我々のモデルは様々な経路問題に一般化可能であることを示す。
論文 参考訳（メタデータ） (2022-05-31T09:51:48Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z) - Learning with Differentiable Perturbed Optimizers [54.351317101356614]
本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。
提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。
本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
論文 参考訳（メタデータ） (2020-02-20T11:11:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。