論文の概要: A Unified Framework for Implicit Sinkhorn Differentiation

• arxiv url: http://arxiv.org/abs/2205.06688v1
• Date: Fri, 13 May 2022 14:45:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-16 16:27:17.994646
• Title: A Unified Framework for Implicit Sinkhorn Differentiation
• Title（参考訳）: インプシットシンクホーンの識別のための統一フレームワーク
• Authors: Marvin Eisenberger, Aysim Toker, Laura Leal-Taix\'e, Florian Bernard, Daniel Cremers
• Abstract要約: 暗黙の微分によってシンクホーン層の解析勾配を求めるアルゴリズムを提案する。 特にGPUメモリなどのリソースが不足している場合には,計算効率が向上する。
• 参考スコア（独自算出の注目度）: 58.56866763433335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Sinkhorn operator has recently experienced a surge of popularity in computer vision and related fields. One major reason is its ease of integration into deep learning frameworks. To allow for an efficient training of respective neural networks, we propose an algorithm that obtains analytical gradients of a Sinkhorn layer via implicit differentiation. In comparison to prior work, our framework is based on the most general formulation of the Sinkhorn operator. It allows for any type of loss function, while both the target capacities and cost matrices are differentiated jointly. We further construct error bounds of the resulting algorithm for approximate inputs. Finally, we demonstrate that for a number of applications, simply replacing automatic differentiation with our algorithm directly improves the stability and accuracy of the obtained gradients. Moreover, we show that it is computationally more efficient, particularly when resources like GPU memory are scarce.
• Abstract（参考訳）: Sinkhorn演算子はコンピュータビジョンや関連分野で最近人気が高まっている。 主な理由は、ディープラーニングフレームワークへの統合が容易であることだ。 本稿では,各ニューラルネットワークの効率的な学習を可能にするために,暗黙的微分によってシンクホーン層の解析勾配を求めるアルゴリズムを提案する。 以前の作業と比較して、このフレームワークはspinhorn演算子の最も一般的な定式化に基づいている。 これはあらゆる種類の損失関数を許容するが、目標容量とコスト行列は共同で区別される。 さらに、近似入力に対する結果アルゴリズムの誤差境界を構築する。 最後に,多くのアプリケーションにおいて,自動微分をアルゴリズムに置き換えれば,得られる勾配の安定性と精度が向上することを示す。 さらに、特にGPUメモリなどのリソースが不足している場合、計算効率が向上することを示す。

関連論文リスト

• Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
  カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。 我々はその2次情報を経験的フィッシャー行列を通して活用する。 ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
  論文  参考訳（メタデータ） (2024-10-24T18:02:11Z)
• Optimizing Tensor Computation Graphs with Equality Saturation and Monte Carlo Tree Search [0.0]
  モンテカルロ木探索を用いて優れた表現を構築するテンソルグラフ書き換え手法を提案する。 提案手法は,既存の手法と比較して,ニューラルネットワークの推論速度を最大11%向上させる。
  論文  参考訳（メタデータ） (2024-10-07T22:22:02Z)
• A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
  本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。 汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。 MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
  論文  参考訳（メタデータ） (2024-07-19T08:29:12Z)
• A Globally Convergent Algorithm for Neural Network Parameter Optimization Based on Difference-of-Convex Functions [29.58728073957055]
  隠れ層ネットワークのパラメータを最適化するアルゴリズムを提案する。 具体的には,ブロックワイズ(DC-of-the-art)差分関数を導出する。
  論文  参考訳（メタデータ） (2024-01-15T19:53:35Z)
• Ordering for Non-Replacement SGD [7.11967773739707]
  我々は,アルゴリズムの非置換形式に対する収束率を改善する順序付けを求める。 我々は,強い凸関数と凸関数のステップサイズを一定かつ小さくするための最適順序付けを開発する。 さらに、注文とミニバッチを組み合わせることで、より複雑なニューラルネットワークにも適用できます。
  論文  参考訳（メタデータ） (2023-06-28T00:46:58Z)
• On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee [21.818773423324235]
  本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。 本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-13T02:14:42Z)
• Nonsmooth automatic differentiation: a cheap gradient principle and other complexity results [0.0]
  我々は,多種多様な非滑らかなプログラムに対して,アルゴリズム微分の後方モードと前方モードの計算コストを推定するモデルを提供する。 有名な例として、有名なreluと畳み込みニューラルネットワークとその標準損失関数がある。
  論文  参考訳（メタデータ） (2022-06-01T08:43:35Z)
• Multi-Robot Active Mapping via Neural Bipartite Graph Matching [49.72892929603187]
  本稿では,最小時間ステップにおけるシーンマップ構築の完全化を目的としたマルチロボットアクティブマッピングの問題点について検討する。 この問題の鍵は、より効率的なロボットの動きを可能にするゴール位置推定にある。 本稿では,ニューラルコマッピング(NeuralCoMapping)という新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-30T14:03:17Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Variance Reduction with Sparse Gradients [82.41780420431205]
  SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。 我々は、新しい空間演算子:ランダムトップk演算子を導入する。 我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
  論文  参考訳（メタデータ） (2020-01-27T08:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。