論文の概要: Object Representations as Fixed Points: Training Iterative Refinement
Algorithms with Implicit Differentiation
- arxiv url: http://arxiv.org/abs/2207.00787v1
- Date: Sat, 2 Jul 2022 10:00:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-05 12:06:15.942365
- Title: Object Representations as Fixed Points: Training Iterative Refinement
Algorithms with Implicit Differentiation
- Title（参考訳）: 固定点としてのオブジェクト表現:暗黙的微分による反復的改良アルゴリズムの訓練
- Authors: Michael Chang, Thomas L. Griffiths, Sergey Levine
- Abstract要約: 反復的洗練は表現学習に有用なパラダイムである。
トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
- 参考スコア（独自算出の注目度）: 88.14365009076907
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Iterative refinement -- start with a random guess, then iteratively improve
the guess -- is a useful paradigm for representation learning because it offers
a way to break symmetries among equally plausible explanations for the data.
This property enables the application of such methods to infer representations
of sets of entities, such as objects in physical scenes, structurally
resembling clustering algorithms in latent space. However, most prior works
differentiate through the unrolled refinement process, which can make
optimization challenging. We observe that such methods can be made
differentiable by means of the implicit function theorem, and develop an
implicit differentiation approach that improves the stability and tractability
of training by decoupling the forward and backward passes. This connection
enables us to apply advances in optimizing implicit layers to not only improve
the optimization of the slot attention module in SLATE, a state-of-the-art
method for learning entity representations, but do so with constant space and
time complexity in backpropagation and only one additional line of code.
- Abstract（参考訳）: 反復的な洗練 -- ランダムな推測から始めて、推測を反復的に改善する -- は表現学習にとって有用なパラダイムである。
この特性により、そのような手法の応用により、物理的シーンのオブジェクトのような、潜在空間におけるクラスタリングアルゴリズムに構造的に類似したエンティティの集合の表現を推論することができる。
しかし、ほとんどの先行する作業は、最適化を難しくするアンロールされた洗練プロセスを通じて区別される。
このような手法は暗黙の関数定理によって微分可能であることを観察し、前方と後方のパスを分離することでトレーニングの安定性とトラクタビリティを向上させる暗黙の微分アプローチを開発する。
この接続により、暗黙のレイヤを最適化することで、slateのスロットアテンションモジュールの最適化を改善することができるだけでなく、エンティティ表現を学習する最先端の方法であるだけでなく、バックプロパゲーションにおける一定のスペースと時間的複雑さと追加コードの行数を1行だけ増やすことができる。
関連論文リスト
- Efficient Fairness-Performance Pareto Front Computation [51.558848491038916]
最適公正表現はいくつかの有用な構造特性を持つことを示す。
そこで,これらの近似問題は,凹凸プログラミング法により効率的に解けることを示す。
論文 参考訳（メタデータ） (2024-09-26T08:46:48Z) - Semantics-Aware Dynamic Localization and Refinement for Referring Image
Segmentation [102.25240608024063]
画像の参照は、言語表現からのイメージセグメントを参照する。
そこで我々は,局所化中心からセグメンテーション言語へ移行するアルゴリズムを開発した。
比較すると,本手法はより汎用的で有効である。
論文 参考訳（メタデータ） (2023-03-11T08:42:40Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳（メタデータ） (2023-02-24T18:41:48Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳（メタデータ） (2023-01-28T01:50:42Z) - Differentiable Spline Approximations [48.10988598845873]
微分プログラミングは機械学習のスコープを大幅に強化した。
標準的な微分可能なプログラミング手法(autodiffなど)は、通常、機械学習モデルが微分可能であることを要求する。
この再設計されたヤコビアンを予測モデルにおける微分可能な「層」の形で活用することで、多様なアプリケーションの性能が向上することを示す。
論文 参考訳（メタデータ） (2021-10-04T16:04:46Z) - Randomized Block-Diagonal Preconditioning for Parallel Learning [0.0]
本研究では,プレコンディショニング行列がブロック対角形を持つ事前条件付き勾配に基づく最適化手法について検討する。
本研究の主な貢献は,これらの手法の収束性がランダム化手法によって著しく向上できることを実証することである。
論文 参考訳（メタデータ） (2020-06-24T10:12:36Z) - MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。
形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
論文 参考訳（メタデータ） (2020-06-17T05:14:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。