論文の概要: Fast Tree-Field Integrators: From Low Displacement Rank to Topological Transformers

• arxiv url: http://arxiv.org/abs/2406.15881v1
• Date: Sat, 22 Jun 2024 16:05:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 20:03:15.667805
• Title: Fast Tree-Field Integrators: From Low Displacement Rank to Topological Transformers
• Title（参考訳）: 低変位ランクからトポロジカルトランスへの高速木場積分器
• Authors: Krzysztof Choromanski, Arijit Sehanobish, Somnath Basu Roy Chowdhury, Han Lin, Avinava Dubey, Tamas Sarlos, Snigdha Chaturvedi,
• Abstract要約: 重み付き木に定義されたテンソル場を統合するための高速多言語線形アルゴリズムのクラスを提案する。 結果の高速木野グラフ(FTFI)の応用として,グラフメトリクスと木メトリクスの近似,グラフ分類,メッシュ上のモデリングなどがある。 トポロジカルトランスフォーマーでは、トランスフォーマー層毎に3つの余分な学習可能なパラメータを持つ新しい相対位置符号化(RPE)マスキング機構を提案し、1.0-1.5%以上の精度向上を実現した。
• 参考スコア（独自算出の注目度）: 34.54336861144293
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a new class of fast polylog-linear algorithms based on the theory of structured matrices (in particular low displacement rank) for integrating tensor fields defined on weighted trees. Several applications of the resulting fast tree-field integrators (FTFIs) are presented, including (a) approximation of graph metrics with tree metrics, (b) graph classification, (c) modeling on meshes, and finally (d) Topological Transformers (TTs) (Choromanski et al., 2022) for images. For Topological Transformers, we propose new relative position encoding (RPE) masking mechanisms with as few as three extra learnable parameters per Transformer layer, leading to 1.0-1.5%+ accuracy gains. Importantly, most of FTFIs are exact methods, thus numerically equivalent to their brute-force counterparts. When applied to graphs with thousands of nodes, those exact algorithms provide 5.7-13x speedups. We also provide an extensive theoretical analysis of our methods.
• Abstract（参考訳）: 本稿では,重み付き木に定義されたテンソル場を統合するために,構造行列(特に低位階)の理論に基づく高速多元線形アルゴリズムを提案する。 結果の高速木体積分器(FTFI)のいくつかの応用について述べる。 (a)木メトリクスによるグラフメトリクスの近似 b) グラフ分類 (c)メッシュ上でのモデリング、そして最後に (d)画像用トポロジカルトランスフォーマー(Choromanski et al ,2022) トポロジカルトランスフォーマーでは、トランスフォーマー層ごとに3つの余分な学習可能なパラメータを持つ新しい相対位置符号化(RPE)マスキング機構を提案し、1.0-1.5%以上の精度向上を実現した。 重要なことに、ほとんどのFTFIは正確な方法であり、したがって数値的にはそのブルートフォースと等価である。 何千ものノードを持つグラフに適用すると、それらの正確なアルゴリズムは5.7-13倍のスピードアップを提供する。 また,本手法の広範な理論的解析も行う。

関連論文リスト

• Variable-size Symmetry-based Graph Fourier Transforms for image compression [65.7352685872625]
  可変サイズのグラフフーリエ変換を符号化フレームワークに導入する。 提案アルゴリズムは,ノード間の特定の対称接続を追加することにより,グリッド上の対称グラフを生成する。 実験により、SBGFTは、明示的な多重変換選択に統合された一次変換よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-24T13:00:44Z)
• Interpretable Lightweight Transformer via Unrolling of Learned Graph Smoothness Priors [16.04850782310842]
  我々は反復最適化アルゴリズムをアンロールすることで、解釈可能で軽量なトランスフォーマーのようなニューラルネットワークを構築する。 正規化信号依存グラフ学習モジュールは、従来の変圧器の基本自己保持機構の変種に相当する。
  論文  参考訳（メタデータ） (2024-06-06T14:01:28Z)
• Graph as Point Set [31.448841287258116]
  本稿では,相互接続ノードを独立点の集合に変換するグラフ・ツー・セット変換法を提案する。 これにより、セットエンコーダを使用してグラフから学習することが可能になり、グラフニューラルネットワークの設計空間が大幅に拡張される。 提案手法の有効性を示すために,グラフから変換された点集合を入力として受け入れる変換器アーキテクチャであるPoint Set Transformer (PST)を導入する。
  論文  参考訳（メタデータ） (2024-05-05T02:29:41Z)
• Learning a Fourier Transform for Linear Relative Positional Encodings in Transformers [71.32827362323205]
  我々はLearner-Transformer (Learners)と呼ばれる線形変換器の新しいクラスを提案する。 様々な相対的位置エンコーディング機構(RPE)を組み込んでいる。 これらには、シーケンシャルデータに適用される正規の RPE 技術や、高次元ユークリッド空間に埋め込まれた幾何学的データを操作する新しい RPE などが含まれる。
  論文  参考訳（メタデータ） (2023-02-03T18:57:17Z)
• Efficient Graph Field Integrators Meet Point Clouds [59.27295475120132]
  点雲を符号化するグラフ上での効率的な場積分のためのアルゴリズムを2種類提案する。 第1のクラスであるSeparatorFactorization(SF)は、ポイントメッシュグラフの有界属を利用するが、第2のクラスであるRFDiffusion(RFD)は、ポイントクラウドの一般的なepsilon-nearest-neighborグラフ表現を使用する。
  論文  参考訳（メタデータ） (2023-02-02T08:33:36Z)
• FC2T2: The Fast Continuous Convolutional Taylor Transform with Applications in Vision and Graphics [8.629912408966145]
  現代の機械学習の観点から、Taylorシリーズの拡張を再考する。 連続空間における低次元畳み込み作用素の効率的な近似を可能にする高速多重極法(FMM)の変種である高速連続畳み込みテイラー変換(FC2T2)を導入する。
  論文  参考訳（メタデータ） (2021-10-29T22:58:42Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• From block-Toeplitz matrices to differential equations on graphs: towards a general theory for scalable masked Transformers [44.074479731587786]
  線形因果的注意に関する最近の結果は、この一般的なメカニズムの特別な事例であることを示す。 この問題を無作為な注意のトポロジカルな(グラフに基づく)変調としてキャストすることで、以前にも知られていなかったいくつかの結果が得られる。
  論文  参考訳（メタデータ） (2021-07-16T16:39:10Z)
• Scalable Optimal Transport in High Dimensions for Graph Distances, Embedding Alignment, and More [7.484063729015126]
  最適輸送のためのコスト行列の2つの効率的な対数線形時間近似を提案する。 これらの近似は、複雑な高次元空間に対してもよく機能するエントロピー規則化OTに対する一般的な対数線形時間アルゴリズムを可能にする。 グラフ距離回帰のために,グラフニューラルネットワーク(GNN)と拡張シンクホーンを組み合わせたグラフトランスポートネットワーク(GTN)を提案する。
  論文  参考訳（メタデータ） (2021-07-14T17:40:08Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。