論文の概要: SoftJAX & SoftTorch: Empowering Automatic Differentiation Libraries with Informative Gradients
- arxiv url: http://arxiv.org/abs/2603.08824v1
- Date: Mon, 09 Mar 2026 18:35:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-11 15:25:23.756803
- Title: SoftJAX & SoftTorch: Empowering Automatic Differentiation Libraries with Informative Gradients
- Title（参考訳）: SoftJAX & SoftTorch: インフォーマティブなグラディエントによる自動微分ライブラリの強化
- Authors: Anselm Paulus, A. René Geist, Vít Musil, Sebastian Hoffmann, Onur Beker, Georg Martius,
- Abstract要約: この記事では、SoftJAXとSoftTorchを紹介します。
これらのライブラリは、ハードなJAXとPyTorchの代替として、様々なソフト機能を提供します。
全体として、SoftJAXとSoftTorchは、ソフト緩和のツールボックスを差別化可能なプログラミングに容易にアクセスできるようにする。
- 参考スコア（独自算出の注目度）: 27.151039291881677
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic differentiation (AD) frameworks such as JAX and PyTorch have enabled gradient-based optimization for a wide range of scientific fields. Yet, many "hard" primitives in these libraries such as thresholding, Boolean logic, discrete indexing, and sorting operations yield zero or undefined gradients that are not useful for optimization. While numerous "soft" relaxations have been proposed that provide informative gradients, the respective implementations are fragmented across projects, making them difficult to combine and compare. This work introduces SoftJAX and SoftTorch, open-source, feature-complete libraries for soft differentiable programming. These libraries provide a variety of soft functions as drop-in replacements for their hard JAX and PyTorch counterparts. This includes (i) elementwise operators such as clip or abs, (ii) utility methods for manipulating Booleans and indices via fuzzy logic, (iii) axiswise operators such as sort or rank -- based on optimal transport or permutahedron projections, and (iv) offer full support for straight-through gradient estimation. Overall, SoftJAX and SoftTorch make the toolbox of soft relaxations easily accessible to differentiable programming, as demonstrated through benchmarking and a practical case study. Code is available at github.com/a-paulus/softjax and github.com/a-paulus/softtorch.
- Abstract（参考訳）: JAXやPyTorchのような自動微分(AD)フレームワークは、幅広い科学分野の勾配に基づく最適化を可能にしている。
しかし、これらのライブラリの「ハード」プリミティブ(しきい値、ブール論理、離散インデックス化、ソート操作など)の多くは、最適化には役に立たないゼロあるいは未定義の勾配をもたらす。
情報的な勾配を提供する多くの「ソフト」緩和が提案されているが、それぞれの実装はプロジェクト間で断片化されており、組み合わせや比較が困難である。
この記事では、SoftJAXとSoftTorchを紹介します。
これらのライブラリは、ハードなJAXとPyTorchの代替として、様々なソフト機能を提供します。
これには
(i)クリップやアブのような要素演算子
二 ファジィ論理によるブール及び指標を操作するための実用方法
三 ソート又はランクのような軸方向の演算子 --最適輸送又はペルムタヘドロン射影に基づく
(iv)ストレートスルー勾配推定を完全にサポートする。
全体として、SoftJAXとSoftTorchは、ベンチマークや実践的なケーススタディを通じて実証されたように、ソフト緩和のツールボックスを差別化可能なプログラミングに容易にアクセスできるようにする。
コードはgithub.com/a-paulus/softjaxとgithub.com/a-paulus/softtorchで入手できる。
関連論文リスト
- Beyond Softmax: A Natural Parameterization for Categorical Random Variables [61.709831225296305]
階層的なバイナリ分割のシーケンスで構成される関数である$textitcatnat$関数を紹介します。
実験により,提案した関数は学習効率を向上し,一貫した試験性能を特徴とするモデルが得られることを示した。
論文 参考訳（メタデータ） (2025-09-29T12:55:50Z) - A projection-based framework for gradient-free and parallel learning [50.96641619247761]
私たちはこのパラダイムを実現するJAXベースのソフトウェアフレームワークであるPJAXを紹介します。
PJAXは基本演算に対する射影演算子を構成し、実現可能性問題に対する解演算子を自動的に導出する。
各種アーキテクチャ(MLP、CNN、RNN)を標準ベンチマークでPJAXを用いてトレーニングし、その汎用性を実証する。
論文 参考訳（メタデータ） (2025-06-06T08:44:56Z) - Geometric-Averaged Preference Optimization for Soft Preference Labels [78.2746007085333]
LLMを人間の嗜好と整合させる多くのアルゴリズムは、人間の嗜好は二進的かつ決定論的であると仮定する。
本研究では,分散ソフトな選好ラベルを導入し,損失関数におけるLLM出力確率の重み付き幾何平均を用いて直接選好最適化(DPO)を改善する。
論文 参考訳（メタデータ） (2024-09-10T17:54:28Z) - QDax: A Library for Quality-Diversity and Population-based Algorithms
with Hardware Acceleration [3.8494302715990845]
QDaxはオープンソースのライブラリで、JaxのQuality-Diversity (QD)最適化アルゴリズムの合理化とモジュラーAPIを備えている。
このライブラリは、ブラックボックス最適化から継続的制御まで、最適化目的の汎用ツールとして機能する。
論文 参考訳（メタデータ） (2023-08-07T15:29:44Z) - SynJax: Structured Probability Distributions for JAX [3.4447129363520337]
SynJaxは、構造化分布に対する推論アルゴリズムの効率的なベクトル化実装を提供する。
データの構造を明示的にモデル化する大規模な微分可能なモデルを構築することができます。
論文 参考訳（メタデータ） (2023-08-07T04:20:38Z) - Learning to Rasterize Differentiably [10.790255179159459]
微分可能化は、画素から下層の三角形へのフローを可能にすることにより、プリミティブ化の標準的な定式化を変える。
これまでの研究は、軟化のいくつかの組み合わせを分析し、比較してきた。
本研究では, ソフト化操作を選択する代わりに, 一般的なソフト化操作の連続空間をパラメータ化する。
論文 参考訳（メタデータ） (2022-11-23T22:28:29Z) - Theseus: A Library for Differentiable Nonlinear Optimization [21.993680737841476]
Theseusは、PyTorch上に構築された微分可能な非線形最小二乗(DNLS)最適化のための効率的なアプリケーション依存ライブラリである。
Theseusは、ロボット工学とビジョンにおけるエンドツーエンドの構造化学習のための共通のフレームワークを提供する。
論文 参考訳（メタデータ） (2022-07-19T17:57:40Z) - Gradient Estimation with Stochastic Softmax Tricks [84.68686389163153]
Gumbel-Softmax のトリックを空間に一般化するソフトマックスのトリックを導入する。
ソフトマックスのトリックは、より優れた性能を示す潜在変数モデルを訓練し、より潜時構造を発見するのに利用できる。
論文 参考訳（メタデータ） (2020-06-15T00:43:44Z) - Torch-Struct: Deep Structured Prediction Library [138.5262350501951]
本稿では,構造化予測ライブラリTorch-Structを紹介する。
Torch-Structには,シンプルで柔軟な分散ベースのAPIを通じてアクセスされる,確率的構造の広範なコレクションが含まれている。
論文 参考訳（メタデータ） (2020-02-03T16:43:02Z) - Variance Reduction with Sparse Gradients [82.41780420431205]
SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。
我々は、新しい空間演算子:ランダムトップk演算子を導入する。
我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
論文 参考訳（メタデータ） (2020-01-27T08:23:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。