論文の概要: Efficient Poincaré Convolutions through Patch-Statistics Factorization
- arxiv url: http://arxiv.org/abs/2611.18125v1
- Date: Fri, 13 Nov 2026 12:53:45 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:23:38.077155
- Title: Efficient Poincaré Convolutions through Patch-Statistics Factorization
- Title(参考訳): Patch-Statistics Factorizationによる効率的なポアンカレの畳み込み
- Abstract要約: カットされたスコアは,2つの統計量,すなわち正方形ノルムとその内部積とフィルタによってのみ異なることを示す。
そこで, 分解層は, ボール値のパッチを作らずに, 所定のスコアを正確に評価することを示した。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Published implementations of the Poincaré convolution in Hyperbolic Neural Networks++ (HNN++) map every overlapping image patch to the Poincaré ball before evaluating its score. We show that the clipped score depends on each patch only through two statistics, its squared norm and its inner products with the filters, which a native convolution and a single-channel box filter compute directly. The factorized layer therefore evaluates the specified score exactly, without constructing ball-valued patches, and its single-precision outputs and gradients agree with double-precision evaluations at least as closely as those of the explicit reference. On an RTX A6000 under two versions of JAX, complete training updates of a Poincaré U-Net and a Poincaré ResNet-20 are 1.5 to 1.8 times faster than the faster of two explicit implementations that map patches to the ball (1.2 to 1.4 times against an explicit implementation that skips this mapping); on a V100, the gain over the gather-based one persists as the ResNet-20 is widened eightfold. In 15 paired training runs per task, updates are 2.0 and 1.8 times faster than a reference that follows the published execution order, with no consistent change in final segmentation or classification quality, and peak memory falls by 38 to 55% in a U-Net scaling study. Replacing the convolutions of the official PyTorch Hyperbolic U-Net makes its training step 1.4 times faster with half the memory. Evaluating an existing layer from its patch statistics thus makes Poincaré convolutional networks cheaper to train in the tested models and software stacks.
- Abstract(参考訳): Hyperbolic Neural Networks++ (HNN++) における Poincaré convolution の実装が公開された。
カットされたスコアは、その正方形ノルムと、ネイティブ畳み込みとシングルチャネルボックスフィルタが直接計算する内部積の2つの統計量にのみ依存することを示す。
したがって、分解層は、ボール値のパッチを構築することなく、指定されたスコアを正確に評価し、その単一精度の出力と勾配は、少なくとも明示的な基準のものと同等に近い倍精度の評価と一致する。
2つのバージョンのJAXのRTX A6000では、Poincaré U-NetとPoincaré ResNet-20の完全なトレーニング更新は、パッチをボールにマッピングする2つの明示的な実装(このマッピングをスキップする明示的な実装に対して1.2から1.4倍)よりも1.5から1.8倍高速である。
タスク毎の15のペアトレーニング実行では、更新は公開実行順序に従っているリファレンスよりも2.0倍から1.8倍速く、最終セグメンテーションや分類品質が一貫した変更はなく、ピークメモリはU-Netスケーリング調査で38~55%減少する。
公式のPyTorch Hyperbolic U-Netの畳み込みを置き換えると、トレーニングステップはメモリの半分で1.4倍高速になる。
既存のレイヤをパッチ統計から評価することで、Poincaréの畳み込みネットワークは、テストされたモデルやソフトウェアスタックでトレーニングするよりも安価になる。
関連論文リスト
- ParaTTT: Parallelizing Test-Time Training Layers with Deep Memories [95.16199009506573]
テストタイムトレーニングレイヤは、現代的なリカレントアーキテクチャの線形高速メモリを、勾配降下によってオンラインにトレーニングされた小さなニューラルネットワークに置き換える。
TTT-MLPのような既存の実装は、チャンクワイズ並列線形リカレンスよりも数倍遅いシーケンシャルでブロックワイトな更新に依存している。
インナーループ勾配軌道の推定を反復的に精算することにより、任意の深い非線形メモリを並列化するアルゴリズムであるParaTTTを導入する。
論文 参考訳(メタデータ) (2026-10-28T04:08:50Z) - LUT-KAN: Segment-wise LUT Quantization for Fast KAN Inference [20.271194684947282]
本稿では,PyKanスタイルのkan層に対するLUTコンパイルおよび量子化手法であるLUT-KANを紹介する。
LUT-KANは、各エッジ関数をアフィンInt8/uint8量子化および線形化したセグメントごとのLUTに変換する。
複数の種にまたがる平均および標準偏差による精度,速度,メモリ計測値について報告する。
論文 参考訳(メタデータ) (2026-01-06T18:00:45Z) - Temporal Zoom Networks: Distance Regression and Continuous Depth for Efficient Action Localization [6.908972852063454]
時間的行動の局所化は、正確な境界検出と計算効率の両方を必要とする。
我々は、境界距離回帰(BDR)と適応時間制限(ATR)という2つの補完的なイノベーションを通じてこの問題に対処する。
THUMOS14では、ActionFormer++ (55.7% mAP@0.7 at 235G) よりも36%少ないFLOPを用いて、151GのFLOPで56.5% mAP@0.7を達成する。
論文 参考訳(メタデータ) (2025-11-06T00:41:54Z) - Learning Adaptive Parallel Reasoning with Language Models [70.1745752819628]
本稿では,適応並列推論(Adaptive Parallel Reasoning, APR)を提案する。
APRは、spawn()とjoin()操作を使用して適応的なマルチスレッド推論を可能にすることで、既存の推論メソッドを一般化する。
鍵となる革新は、親と子の両方の推論スレッドを最適化して、事前に定義された推論構造を必要とせずにタスクの成功率を高める、エンドツーエンドの強化学習戦略である。
論文 参考訳(メタデータ) (2025-04-21T22:29:02Z) - PaPr: Training-Free One-Step Patch Pruning with Lightweight ConvNets for Faster Inference [11.112356346406365]
PaPrは、軽量なConvNetを使用して、最小限の精度で冗長なパッチを実質的に刈り取る方法である。
FLOPカウントの低減に類似した、最先端のパッチリダクション法よりもはるかに高い精度を実現している。
論文 参考訳(メタデータ) (2024-03-24T05:50:00Z) - CFDP: Common Frequency Domain Pruning [0.3021678014343889]
本稿では,周波数領域を経由したモデルプルーニングのための新しいエンドツーエンドパイプラインを提案する。
我々はCIFAR-10で、GoogLeNetが95.25%、すなわちオリジナルのモデルから+0.2%の精度で達成した。
特筆すべきパフォーマンスに加えて、CFDPによって生成されたモデルは、様々な構成に対して堅牢性を示す。
論文 参考訳(メタデータ) (2023-06-07T04:49:26Z) - Learning Tracking Representations via Dual-Branch Fully Transformer
Networks [82.21771581817937]
追従のためのトランスフォーマーのみをベースとした,シームズ型デュアルブランチネットワークを提案する。
注目ウィンドウ内の他のパッチとのマッチング結果に基づいて,各パッチの特徴ベクトルを抽出する。
この手法は、最高の性能の方法として、より良い結果または同等の結果を得る。
論文 参考訳(メタデータ) (2021-12-05T13:44:33Z) - Accelerating Training and Inference of Graph Neural Networks with Fast
Sampling and Pipelining [58.10436813430554]
グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。
我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。
本稿では,これらのボトルネックを緩和する一連の改良点について述べる。
また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
論文 参考訳(メタデータ) (2021-10-16T02:41:35Z) - R-FCN: Object Detection via Region-based Fully Convolutional Networks [87.62557357527861]
我々は,高精度かつ効率的な物体検出のための領域ベースの完全畳み込みネットワークを提案する。
我々の結果は、Faster R-CNNよりも2.5-20倍高速で、1画像あたり170msのテストタイムで達成される。
論文 参考訳(メタデータ) (2016-05-20T15:50:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。