論文の概要: DanLing NestedTensor: Composable Multi-Ragged Tensors for Deep Learning

• arxiv url: http://arxiv.org/abs/2609.30379v1
• Date: Thu, 24 Sep 2026 18:00:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.080635
• Title: DanLing NestedTensor: Composable Multi-Ragged Tensors for Deep Learning
• Title（参考訳）: DanLing NestedTensor: ディープラーニングのための構成可能なマルチタグテンソル
• Abstract要約: 我々は、PyTorchテンソル抽象化であるDanLing NestedTensorを紹介し、マルチラグ構造をテンソル自体の特性とする。 A100では、同じモードのパディング上の次元平均スピードアップは、2.74$times$ eagerと3.39$times$4つのBERTスケールでコンパイルされ、1.97$times$4つのFCNバックボーンでコンパイルされる。
• 参考スコア（独自算出の注目度）: 5.580799248701251
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Variable-size inputs are common in deep learning, but dense batching allocates a shared envelope and spends computation on padding. The cost multiplies across varying axes: an explicit pair state allocates $BN_{\max}^2$ positions instead of $\sum_i N_i^2$. Packing removes that waste, but composing packed operations still requires the logical axes and sample boundaries a flat buffer no longer exposes. We present DanLing NestedTensor, a PyTorch tensor abstraction that makes multi-ragged structure a property of the tensor itself. Packed values carry tensor-backed partitions and logical dimension order, so broadcasting creates ragged axes, feature transformations retain them, and reductions consume them. The same representation carries through autograd and both eager and compiled execution. On an A100, the geometric-mean speedup over same-mode padding is 2.74$\times$ eager and 3.39$\times$ compiled across four BERT scales, and 1.97$\times$ eager across four FCN backbones. A four-block Pairformer-style workload runs 2.40-4.32$\times$ faster than a padded reference using native PyTorch kernels across square length regimes in eager execution, with peak allocation falling from 38.08 to 5.41 GiB on its high-variation batch. The tensor interface lets model code built from its supported operators compose efficient variable-size computation without managing offsets at any call site. Code will be released publicly upon publication.
• Abstract（参考訳）: 可変サイズの入力はディープラーニングでは一般的だが、密集したバッチリングは共有エンベロープを割り当て、パディングに計算を費やす。 明示的なペア状態は$\sum_i N_i^2$の代わりに$BN_{\max}^2$の位置を割り当てる。 パッケージングはムダを取り除くが、満員の操作を構成するには論理軸とサンプルバウンダリが必要である。 我々は、PyTorchテンソル抽象化であるDanLing NestedTensorを紹介し、マルチラグ構造をテンソル自体の特性とする。 パッケージされた値はテンソルバックのパーティションと論理次元の順序を持ち、ブロードキャストはラッジ軸を生成し、特徴変換はそれらを保持し、還元はそれらを消費する。 同じ表現は、autogradと、熱心な実行とコンパイルされた実行の両方を経由する。 A100では、4つのBERTスケールでコンパイルされた2.74$\times$ eagerと3.39$\times$、FCNバックボーンで1.97$\times$ eagerである。 4ブロックのPairformerスタイルのワークロードは、2.40-4.32$\times$で2.40-4.32$\timesで動作する。 テンソルインターフェースにより、サポート対象の演算子から構築されたモデルコードは、任意の呼び出しサイトでオフセットを管理することなく、効率的な可変サイズ計算を構成することができる。 コードは公開時に公開される。

関連論文リスト

• SSTQ:Privacy-Preserving Vector Quantization via Subsampled Stochastic TurboQuant [79.24089819400126]
  Subsampled TurboQuant (SSTQ) は、オーバーコンプリートな等幅のタイトフレーム、座標サブサンプリング、プライバシ対応量子化を組み合わせたフレームワークである。 SSTQは平均2乗誤差スケーリングを実現し、クライアントあたり$lceil log N il + b$ bitsを使用する。 また、コードブックに依存したMSEスケーリングを$O(4b)$から$O(2b)$に削減する、プライバシを意識したコードブックの目的も導出します。
  論文  参考訳（メタデータ） (2026-08-05T17:51:25Z)
• Differentiable Packing of Irregular 3D Objects with Adaptive Container Estimation [9.846019918325357]
  6Nオブジェクトのポーズパラメータと,1つの勾配に基づくループ内の3つのコンテナ側の長さを共同で最適化する,微分可能なパッキングフレームワークを提案する。 パイプラインはPythonとPyTorchで実装されており、物理エンジン、FFTライブラリ、凸分解はない。 複数のオブジェクトカテゴリに対して、単一のコンシューマGPU上でインスタンス毎に4分未満で実行しながら、タイムマッチングDBLFよりも11～32%小さく、N=100でベースラインをシミュレート・アニールするコンテナを生成する。
  論文  参考訳（メタデータ） (2026-06-15T07:36:51Z)
• LBI: Parallel Scan Backpropagation via Latent Bounded Interfaces [1.8179911892344436]
  本稿では,スキャンベースのバックプロパゲーションをトラクタブルにするアルゴリズム式であるLatent Bounded Interfaces (LBI)を紹介する。 LBIは接尾辞再帰を$r倍r$ヤコビアンに還元し、コンビネーション当たりのコストを$O(d3)$から$O(r3)$に削減する。 47-61Mブロックパラメータにおいて,LBIはモデル品質を4つのアーキテクチャ(Mamba-2,Mamba-3,Transformer,Mamba-Transformerハイブリッド)で維持することを示した。
  論文  参考訳（メタデータ） (2026-05-09T22:46:46Z)
• Tensor Decomposition Networks for Fast Machine Learning Interatomic Potential Computations [48.46721044282335]
  テンソル分解ネットワーク(TDN)は、計算処理の劇的な高速化と競合する性能を実現する。 1億5500万のDFT計算スナップショットを含む分子緩和データセットPubChemQCRのTDNを評価した。 その結果,TDNは計算処理の劇的な高速化と競合する性能を示した。
  論文  参考訳（メタデータ） (2025-07-01T18:46:27Z)
• Near-Linear Time and Fixed-Parameter Tractable Algorithms for Tensor Decompositions [51.19236668224547]
  テンソルの低階近似について検討し,テンソルトレインとタッカー分解に着目した。 テンソル列車の分解には、小さなビクリテリアランクを持つビクリテリア$(1 + eps)$-approximationアルゴリズムと、O(q cdot nnz(A))$ランニングタイムを与える。 さらに、任意のグラフを持つテンソルネットワークにアルゴリズムを拡張します。
  論文  参考訳（メタデータ） (2022-07-15T11:55:09Z)
• Deep Learning Meets Projective Clustering [66.726500395069]
  NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。 計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
  論文  参考訳（メタデータ） (2020-10-08T22:47:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。