論文の概要: SynJax: Structured Probability Distributions for JAX

• arxiv url: http://arxiv.org/abs/2308.03291v3
• Date: Sun, 15 Oct 2023 23:51:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 22:57:15.770564
• Title: SynJax: Structured Probability Distributions for JAX
• Title（参考訳）: SynJax: JAX の構造化確率分布
• Authors: Milo\v{s} Stanojevi\'c and Laurent Sartran
• Abstract要約: SynJaxは、構造化分布に対する推論アルゴリズムの効率的なベクトル化実装を提供する。 データの構造を明示的にモデル化する大規模な微分可能なモデルを構築することができます。
• 参考スコア（独自算出の注目度）: 3.4447129363520337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The development of deep learning software libraries enabled significant progress in the field by allowing users to focus on modeling, while letting the library to take care of the tedious and time-consuming task of optimizing execution for modern hardware accelerators. However, this has benefited only particular types of deep learning models, such as Transformers, whose primitives map easily to the vectorized computation. The models that explicitly account for structured objects, such as trees and segmentations, did not benefit equally because they require custom algorithms that are difficult to implement in a vectorized form. SynJax directly addresses this problem by providing an efficient vectorized implementation of inference algorithms for structured distributions covering alignment, tagging, segmentation, constituency trees and spanning trees. This is done by exploiting the connection between algorithms for automatic differentiation and probabilistic inference. With SynJax we can build large-scale differentiable models that explicitly model structure in the data. The code is available at https://github.com/google-deepmind/synjax
• Abstract（参考訳）: ディープラーニングソフトウェアライブラリの開発は、ユーザがモデリングに集中できると同時に、現代的なハードウェアアクセラレータの実行を最適化する退屈で時間のかかるタスクをライブラリに任せることで、この分野の大きな進歩をもたらした。 しかし、これは、プリミティブがベクトル化された計算に容易にマッピングするトランスフォーマーのような、特定のタイプのディープラーニングモデルにのみ恩恵がある。 木やセグメンテーションなどの構造化オブジェクトを明示的に説明するモデルは、ベクトル化形式で実装が難しいカスタムアルゴリズムを必要とするため、等しく利益を得られなかった。 SynJaxは、アライメント、タグ付け、セグメンテーション、選挙区木、スパンニングツリーを含む構造化分布のための効率的なベクトル化推論アルゴリズムを提供することで、この問題に対処する。 これはアルゴリズム間の関係を利用して自動微分と確率的推論を行う。 SynJaxを使えば、データ構造を明示的にモデル化する大規模な微分可能なモデルを構築することができます。 コードはhttps://github.com/google-deepmind/synjaxで入手できる。

関連論文リスト

• Show and Grasp: Few-shot Semantic Segmentation for Robot Grasping through Zero-shot Foundation Models [5.792788640304759]
  ロボットが物体をつかむ能力は、いくつかの応用に欠かせない。 このようなタスクでは、選択する適切なターゲットを選択することは、グリップの正しい構成を推測するのと同じくらい重要である。 この問題に対する一般的な解決策はセマンティックセグメンテーションモデルに依存しており、しばしば目に見えない対象への一般化が不十分である。
  論文  参考訳（メタデータ） (2024-04-19T08:58:52Z)
• CORE: Common Random Reconstruction for Distributed Optimization with Provable Low Communication Complexity [110.50364486645852]
  コミュニケーションの複雑さは、トレーニングをスピードアップし、マシン番号をスケールアップする上で、大きなボトルネックになっています。 本稿では,機械間で送信される情報を圧縮するための共通Om REOmを提案する。
  論文  参考訳（メタデータ） (2023-09-23T08:45:27Z)
• Hexatagging: Projective Dependency Parsing as Tagging [63.5392760743851]
  文中の単語を有限個の可能なタグの要素でタグ付けすることで、依存関係木を構成する新しい依存性であるヘキサトガーを導入する。 私たちのアプローチは、トレーニング時に完全に並列化可能です。すなわち、依存関係のパースを構築するのに必要な構造構築アクションは、互いに並列に予測できます。 我々はPenn Treebankテストセット上で96.4 LASと97.4 UASの最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-08T18:02:07Z)
• pyGSL: A Graph Structure Learning Toolkit [14.000763778781547]
  pyGSLは、最先端のグラフ構造学習モデルの効率的な実装を提供するPythonライブラリである。 pyGSLはGPUフレンドリーな方法で書かれており、より大きなネットワークタスクにスケールすることができる。
  論文  参考訳（メタデータ） (2022-11-07T14:23:10Z)
• Machine Learning Techniques to Construct Patched Analog Ensembles for Data Assimilation [0.0]
  本稿では,cAnEnOIの機械学習コンポーネントに対する一般および変分オートエンコーダについて検討する。 グローバル空間領域を消化可能なチャンクに分割するパッチ法を提案する。 この新しいアルゴリズムを1Dトイモデルでテストすると、より大きなパッチサイズにより、正確な生成モデルのトレーニングが困難になることがわかります。
  論文  参考訳（メタデータ） (2021-02-27T20:47:27Z)
• Captum: A unified and generic model interpretability library for PyTorch [49.72749684393332]
  我々は,PyTorch用の新しい,統一されたオープンソースモデル解釈可能性ライブラリを紹介する。 このライブラリには、多くの勾配と摂動に基づく属性アルゴリズムの汎用的な実装が含まれている。 分類モデルと非分類モデルの両方に使用できる。
  論文  参考訳（メタデータ） (2020-09-16T18:57:57Z)
• PolyDL: Polyhedral Optimizations for Creation of High Performance DL primitives [55.79741270235602]
  本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。 我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。 また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-06-02T06:44:09Z)
• Efficient Second-Order TreeCRF for Neural Dependency Parsing [23.426500262860777]
  ディープラーニング(DL)時代には、構文解析モデルは極めて単純化され、性能にほとんど影響を与えない。 本稿では,2階目のTreeCRF拡張について述べる。 本研究では,内部とビタビアルゴリズムをバッチ化して直接大行列演算を行う手法を提案する。
  論文  参考訳（メタデータ） (2020-05-03T03:18:59Z)
• Learning Autoencoders with Relational Regularization [89.53065887608088]
  データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。 エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする 我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
  論文  参考訳（メタデータ） (2020-02-07T17:27:30Z)
• Torch-Struct: Deep Structured Prediction Library [138.5262350501951]
  本稿では,構造化予測ライブラリTorch-Structを紹介する。 Torch-Structには,シンプルで柔軟な分散ベースのAPIを通じてアクセスされる,確率的構造の広範なコレクションが含まれている。
  論文  参考訳（メタデータ） (2020-02-03T16:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。