論文の概要: A Unified Framework for Implicit Sinkhorn Differentiation
- arxiv url: http://arxiv.org/abs/2205.06688v1
- Date: Fri, 13 May 2022 14:45:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-16 16:27:17.994646
- Title: A Unified Framework for Implicit Sinkhorn Differentiation
- Title(参考訳): インプシットシンクホーンの識別のための統一フレームワーク
- Authors: Marvin Eisenberger, Aysim Toker, Laura Leal-Taix\'e, Florian Bernard,
Daniel Cremers
- Abstract要約: 暗黙の微分によってシンクホーン層の解析勾配を求めるアルゴリズムを提案する。
特にGPUメモリなどのリソースが不足している場合には,計算効率が向上する。
- 参考スコア(独自算出の注目度): 58.56866763433335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Sinkhorn operator has recently experienced a surge of popularity in
computer vision and related fields. One major reason is its ease of integration
into deep learning frameworks. To allow for an efficient training of respective
neural networks, we propose an algorithm that obtains analytical gradients of a
Sinkhorn layer via implicit differentiation. In comparison to prior work, our
framework is based on the most general formulation of the Sinkhorn operator. It
allows for any type of loss function, while both the target capacities and cost
matrices are differentiated jointly. We further construct error bounds of the
resulting algorithm for approximate inputs. Finally, we demonstrate that for a
number of applications, simply replacing automatic differentiation with our
algorithm directly improves the stability and accuracy of the obtained
gradients. Moreover, we show that it is computationally more efficient,
particularly when resources like GPU memory are scarce.
- Abstract(参考訳): Sinkhorn演算子はコンピュータビジョンや関連分野で最近人気が高まっている。
主な理由は、ディープラーニングフレームワークへの統合が容易であることだ。
本稿では,各ニューラルネットワークの効率的な学習を可能にするために,暗黙的微分によってシンクホーン層の解析勾配を求めるアルゴリズムを提案する。
以前の作業と比較して、このフレームワークはspinhorn演算子の最も一般的な定式化に基づいている。
これはあらゆる種類の損失関数を許容するが、目標容量とコスト行列は共同で区別される。
さらに、近似入力に対する結果アルゴリズムの誤差境界を構築する。
最後に,多くのアプリケーションにおいて,自動微分をアルゴリズムに置き換えれば,得られる勾配の安定性と精度が向上することを示す。
さらに、特にGPUメモリなどのリソースが不足している場合、計算効率が向上することを示す。
関連論文リスト
- A Globally Convergent Algorithm for Neural Network Parameter
Optimization Based on Difference-of-Convex Functions [29.58728073957055]
隠れ層ネットワークのパラメータを最適化するアルゴリズムを提案する。
具体的には,ブロックワイズ(DC-of-the-art)差分関数を導出する。
論文 参考訳(メタデータ) (2024-01-15T19:53:35Z) - Ordering for Non-Replacement SGD [7.11967773739707]
我々は,アルゴリズムの非置換形式に対する収束率を改善する順序付けを求める。
我々は,強い凸関数と凸関数のステップサイズを一定かつ小さくするための最適順序付けを開発する。
さらに、注文とミニバッチを組み合わせることで、より複雑なニューラルネットワークにも適用できます。
論文 参考訳(メタデータ) (2023-06-28T00:46:58Z) - On Model Compression for Neural Networks: Framework, Algorithm, and
Convergence Guarantee [10.783153208561469]
本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。
本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-13T02:14:42Z) - Nonsmooth automatic differentiation: a cheap gradient principle and
other complexity results [0.0]
我々は,多種多様な非滑らかなプログラムに対して,アルゴリズム微分の後方モードと前方モードの計算コストを推定するモデルを提供する。
有名な例として、有名なreluと畳み込みニューラルネットワークとその標準損失関数がある。
論文 参考訳(メタデータ) (2022-06-01T08:43:35Z) - Multi-Robot Active Mapping via Neural Bipartite Graph Matching [49.72892929603187]
本稿では,最小時間ステップにおけるシーンマップ構築の完全化を目的としたマルチロボットアクティブマッピングの問題点について検討する。
この問題の鍵は、より効率的なロボットの動きを可能にするゴール位置推定にある。
本稿では,ニューラルコマッピング(NeuralCoMapping)という新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-03-30T14:03:17Z) - Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise
Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。
オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。
本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文 参考訳(メタデータ) (2021-11-23T18:10:48Z) - Dissecting Supervised Constrastive Learning [24.984074794337157]
高容量エンコーダで構成された線形マップのソフトマックススコアよりもクロスエントロピーを最小化することは、教師付き学習タスクでニューラルネットワークを訓練するための最も一般的な選択肢である。
コントラスト目的の教師付き変種を通して等しく(あるいはそれ以上)識別表現を得るために、エンコーダを直接最適化することができることを示す。
論文 参考訳(メタデータ) (2021-02-17T15:22:38Z) - GradInit: Learning to Initialize Neural Networks for Stable and
Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。
各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。
また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文 参考訳(メタデータ) (2021-02-16T11:45:35Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2020-05-05T18:08:23Z) - Variance Reduction with Sparse Gradients [82.41780420431205]
SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。
我々は、新しい空間演算子:ランダムトップk演算子を導入する。
我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
論文 参考訳(メタデータ) (2020-01-27T08:23:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。