論文の概要: Theseus: A Library for Differentiable Nonlinear Optimization

• arxiv url: http://arxiv.org/abs/2207.09442v1
• Date: Tue, 19 Jul 2022 17:57:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 13:38:29.750484
• Title: Theseus: A Library for Differentiable Nonlinear Optimization
• Title（参考訳）: 微分可能非線形最適化のためのライブラリthetheus
• Authors: Luis Pineda, Taosha Fan, Maurizio Monge, Shobha Venkataraman, Paloma Sodhi, Ricky Chen, Joseph Ortiz, Daniel DeTone, Austin Wang, Stuart Anderson, Jing Dong, Brandon Amos, Mustafa Mukadam
• Abstract要約: Theseusは、PyTorch上に構築された微分可能な非線形最小二乗(DNLS)最適化のための効率的なアプリケーション依存ライブラリである。 Theseusは、ロボット工学とビジョンにおけるエンドツーエンドの構造化学習のための共通のフレームワークを提供する。
• 参考スコア（独自算出の注目度）: 21.993680737841476
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Theseus, an efficient application-agnostic open source library for differentiable nonlinear least squares (DNLS) optimization built on PyTorch, providing a common framework for end-to-end structured learning in robotics and vision. Existing DNLS implementations are application specific and do not always incorporate many ingredients important for efficiency. Theseus is application-agnostic, as we illustrate with several example applications that are built using the same underlying differentiable components, such as second-order optimizers, standard costs functions, and Lie groups. For efficiency, Theseus incorporates support for sparse solvers, automatic vectorization, batching, GPU acceleration, and gradient computation with implicit differentiation and direct loss minimization. We do extensive performance evaluation in a set of applications, demonstrating significant efficiency gains and better scalability when these features are incorporated. Project page: https://sites.google.com/view/theseus-ai
• Abstract（参考訳）: 我々はPyTorch上に構築された微分可能非線形最小二乗最適化(DNLS)のための効率的なアプリケーションに依存しないオープンソースライブラリであるSoseusについて述べる。 既存のDNLS実装はアプリケーション固有のものであり、効率的のために重要な多くの材料を常に組み込んでいるわけではない。 Theseusはアプリケーションに依存しないので、二階最適化、標準コスト関数、リー群など、同じ基盤となる差別化可能なコンポーネントを使って構築されたいくつかの例を示す。 効率性のために、Seesusはスパースソルバ、自動ベクトル化、バッチ化、GPUアクセラレーション、および暗黙の微分と直接損失最小化による勾配計算をサポートする。 一連のアプリケーションで広範なパフォーマンス評価を行い、これらの機能が組み込まれれば、大幅な効率向上とスケーラビリティが向上します。 プロジェクトページ: https://sites.google.com/view/theseus-ai

関連論文リスト

• Scalable Nested Optimization for Deep Learning [1.6317061277457001]
  そこでは、パラメータのサブセットがそれぞれの内部にネストされた異なる目的に対して更新される2レベルまたはネストされた最適化があります。 この論文では、ディープラーニングのセットアップにスケールするネスト最適化のためのツールを構築します。
  論文  参考訳（メタデータ） (2024-07-01T17:59:41Z)
• PLiNIO: A User-Friendly Library of Gradient-based Methods for Complexity-aware DNN Optimization [3.460496851517031]
  PLiNIOは、最先端のDNN設計自動化技術を包括的に実装したオープンソースライブラリである。 PLiNIOは、ベースラインアーキテクチャと比較して最大94.34%のメモリ削減を実現し、1%の精度低下を実現している。
  論文  参考訳（メタデータ） (2023-07-18T07:11:14Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• Geometric Optimisation on Manifolds with Applications to Deep Learning [6.85316573653194]
  これらの強力なツールをすべて使用して、非専門家を支援するために、Pythonライブラリを設計、実装しています。 このライブラリに実装されたアルゴリズムは、ユーザビリティとGPU効率を念頭に設計されている。
  論文  参考訳（メタデータ） (2022-03-09T15:20:07Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Efficient and Modular Implicit Differentiation [68.74748174316989]
  最適化問題の暗黙的な微分のための統一的で効率的かつモジュール化されたアプローチを提案する。 一見単純な原理は、最近提案された多くの暗黙の微分法を復元し、新しいものを簡単に作成できることを示している。
  論文  参考訳（メタデータ） (2021-05-31T17:45:58Z)
• Efficient and Scalable Structure Learning for Bayesian Networks: Algorithms and Applications [33.8980356362084]
  事業要件を総合的に満たす新しい構造学習アルゴリズム「LEAST」を提案します。 LEASTはデプロイされ、毎日数千の実行で20以上のアプリケーションに対応します。 大規模遺伝子発現データ解析や説明可能なレコメンデーションシステムなど,新しい領域におけるbn構造学習の適用可能性の最小化が期待できることを示す。
  論文  参考訳（メタデータ） (2020-12-07T09:11:08Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• NOVAS: Non-convex Optimization via Adaptive Stochastic Search for End-to-End Learning and Control [22.120942106939122]
  本稿では,一般のニューラルネットワーク最適化操作において,適応探索をビルディングブロックとして用いることを提案する。 我々は、合成エネルギーベースの構造化タスクにおける既存の2つの代替案に対してベンチマークを行い、最適制御アプリケーションでの使用例を示す。
  論文  参考訳（メタデータ） (2020-06-22T03:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。