論文の概要: Interpretable Lightweight Transformer via Unrolling of Learned Graph Smoothness Priors

• arxiv url: http://arxiv.org/abs/2406.04090v2
• Date: Tue, 05 Nov 2024 20:51:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:21:04.172913
• Title: Interpretable Lightweight Transformer via Unrolling of Learned Graph Smoothness Priors
• Title（参考訳）: 学習したグラフの平滑化前処理による解釈可能な軽量変圧器
• Authors: Tam Thuc Do, Parham Eftekhar, Seyed Alireza Hosseini, Gene Cheung, Philip Chou,
• Abstract要約: 我々は反復最適化アルゴリズムをアンロールすることで、解釈可能で軽量なトランスフォーマーのようなニューラルネットワークを構築する。 正規化信号依存グラフ学習モジュールは、従来の変圧器の基本自己保持機構の変種に相当する。
• 参考スコア（独自算出の注目度）: 16.04850782310842
• License:
• Abstract: We build interpretable and lightweight transformer-like neural networks by unrolling iterative optimization algorithms that minimize graph smoothness priors -- the quadratic graph Laplacian regularizer (GLR) and the $\ell_1$-norm graph total variation (GTV) -- subject to an interpolation constraint. The crucial insight is that a normalized signal-dependent graph learning module amounts to a variant of the basic self-attention mechanism in conventional transformers. Unlike "black-box" transformers that require learning of large key, query and value matrices to compute scaled dot products as affinities and subsequent output embeddings, resulting in huge parameter sets, our unrolled networks employ shallow CNNs to learn low-dimensional features per node to establish pairwise Mahalanobis distances and construct sparse similarity graphs. At each layer, given a learned graph, the target interpolated signal is simply a low-pass filtered output derived from the minimization of an assumed graph smoothness prior, leading to a dramatic reduction in parameter count. Experiments for two image interpolation applications verify the restoration performance, parameter efficiency and robustness to covariate shift of our graph-based unrolled networks compared to conventional transformers.
• Abstract（参考訳）: 本研究では,2次グラフラプラシアン正規化器 (GLR) と$\ell_1$-norm graph total variation (GTV) を補間制約の下で,グラフの滑らかさを最小化する反復最適化アルゴリズムをアンロールすることによって,解釈可能で軽量なトランスフォーマー型ニューラルネットワークを構築する。 重要な洞察は、正規化された信号依存グラフ学習モジュールは、従来の変圧器の基本的な自己保持機構の変種に相当することである。 大規模ドット積を親和性や出力埋め込みとして計算するために、大きなキー、クエリ、値行列の学習を必要とする「ブラックボックス」変換器とは異なり、我々の未学習ネットワークは、浅いCNNを用いてノード毎の低次元の特徴を学習し、ペアワイズマハラノビス距離を確立し、スパース類似性グラフを構築する。 各層において、学習グラフが与えられた場合、ターゲット補間信号は、仮定されたグラフの滑らかさの最小化から得られる、単なる低パスフィルタ出力であり、パラメータ数を大幅に減少させる。 2つの画像補間アプリケーションの実験は、従来の変圧器と比較して、グラフベースの非ローリングネットワークの共変量シフトに対する復元性能、パラメータ効率、ロバスト性を検証する。

関連論文リスト

• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• Graph as Point Set [31.448841287258116]
  本稿では,相互接続ノードを独立点の集合に変換するグラフ・ツー・セット変換法を提案する。 これにより、セットエンコーダを使用してグラフから学習することが可能になり、グラフニューラルネットワークの設計空間が大幅に拡張される。 提案手法の有効性を示すために,グラフから変換された点集合を入力として受け入れる変換器アーキテクチャであるPoint Set Transformer (PST)を導入する。
  論文  参考訳（メタデータ） (2024-05-05T02:29:41Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• Entropy Transformer Networks: A Learning Approach via Tangent Bundle Data Manifold [8.893886200299228]
  本稿では,CNNアーキテクチャの設計における画像変換の高精度かつ高速なアプローチについて述べる。 データ多様体分布を補間する新しいエントロピーSTN(ESTN)を提案する。 挑戦的なベンチマークの実験は、提案されたESTNがコンピュータビジョンタスクの範囲で予測精度を向上させることを示している。
  論文  参考訳（メタデータ） (2023-07-24T04:21:51Z)
• Stable and Transferable Hyper-Graph Neural Networks [95.07035704188984]
  グラフニューラルネットワーク(GNN)を用いたハイパーグラフでサポートする信号処理アーキテクチャを提案する。 スペクトル類似性により任意のグラフにまたがってGNNの安定性と転送可能性の誤差をバウンドするフレームワークを提供する。
  論文  参考訳（メタデータ） (2022-11-11T23:44:20Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Deformable Graph Transformer [31.254872949603982]
  本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。 実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-29T00:23:25Z)
• Gransformer: Transformer-based Graph Generation [14.161975556325796]
  Gransformerは、グラフを生成するためのTransformerに基づくアルゴリズムである。 我々は、与えられたグラフの構造情報を利用するためにTransformerエンコーダを変更する。 また、ノードペア間のグラフベースの親しみ度尺度も導入する。
  論文  参考訳（メタデータ） (2022-03-25T14:05:12Z)
• Hybrid Model-based / Data-driven Graph Transform for Image Coding [54.31406300524195]
  予測内残差ブロックを符号化するハイブリッドモデルベース/データ駆動方式を提案する。 変換行列の最初の$K$固有ベクトルは、安定性のための非対称離散正弦変換(ADST)のような統計モデルから導かれる。 WebPをベースライン画像として使用することにより、我々のハイブリッドグラフ変換は、デフォルトの離散コサイン変換(DCT)よりもエネルギーの圧縮が良く、KLTよりも安定性がよいことを示す。
  論文  参考訳（メタデータ） (2022-03-02T15:36:44Z)
• A Generalization of Transformer Networks to Graphs [5.736353542430439]
  標準モデルと比較して4つの新しい特性を持つグラフトランスを紹介します。 アーキテクチャはエッジ特徴表現に拡張され、化学(結合型)やリンク予測(知識グラフにおけるエンタリティ関係)といったタスクに重要なものとなる。
  論文  参考訳（メタデータ） (2020-12-17T16:11:47Z)
• Unrolling of Deep Graph Total Variation for Image Denoising [106.93258903150702]
  本稿では,従来のグラフ信号フィルタリングと深い特徴学習を併用して,競合するハイブリッド設計を提案する。 解釈可能な低パスグラフフィルタを用い、最先端のDL復調方式DnCNNよりも80%少ないネットワークパラメータを用いる。
  論文  参考訳（メタデータ） (2020-10-21T20:04:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。