論文の概要: Lossless Compression of Structured Convolutional Models via Lifting

• arxiv url: http://arxiv.org/abs/2007.06567v2
• Date: Mon, 18 Jan 2021 12:49:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 22:46:47.910776
• Title: Lossless Compression of Structured Convolutional Models via Lifting
• Title（参考訳）: 構造畳み込みモデルの昇降によるロスレス圧縮
• Authors: Gustav Sourek, Filip Zelezny, Ondrej Kuzelka
• Abstract要約: 我々は, 情報を失うことなく, 対称性を検出し, ニューラルネットワークを圧縮する, シンプルで効率的な手法を提案する。 このような圧縮が構造的畳み込みモデルの大幅な高速化につながることを実験を通じて実証する。
• 参考スコア（独自算出の注目度）: 14.63152363481139
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lifting is an efficient technique to scale up graphical models generalized to relational domains by exploiting the underlying symmetries. Concurrently, neural models are continuously expanding from grid-like tensor data into structured representations, such as various attributed graphs and relational databases. To address the irregular structure of the data, the models typically extrapolate on the idea of convolution, effectively introducing parameter sharing in their, dynamically unfolded, computation graphs. The computation graphs themselves then reflect the symmetries of the underlying data, similarly to the lifted graphical models. Inspired by lifting, we introduce a simple and efficient technique to detect the symmetries and compress the neural models without loss of any information. We demonstrate through experiments that such compression can lead to significant speedups of structured convolutional models, such as various Graph Neural Networks, across various tasks, such as molecule classification and knowledge-base completion.
• Abstract（参考訳）: 持ち上げは、基礎となる対称性を利用して、関係ドメインに一般化されたグラフィカルなモデルをスケールアップする効率的なテクニックである。 同時に、ニューラルネットワークはグリッドのようなテンソルデータから様々な属性グラフやリレーショナルデータベースなどの構造化表現へと継続的に拡張されている。 データの不規則構造に対処するため、モデルは通常、畳み込みの概念を外挿し、パラメータ共有を動的に展開された計算グラフに効果的に導入する。 計算グラフ自体は、持ち上げられたグラフィカルモデルと同様に、基礎となるデータの対称性を反映する。 昇降に触発されて,対称性を検知し,情報を失うことなく神経モデルを圧縮する簡易かつ効率的な手法を提案する。 このような圧縮が、分子分類や知識ベース補完といった様々なタスクにおいて、様々なグラフニューラルネットワークのような構造化畳み込みモデルの大幅な高速化につながることを示す。

関連論文リスト

• Graph-Dictionary Signal Model for Sparse Representations of Multivariate Data [49.77103348208835]
  グラフの有限集合がラプラシアンの重み付き和を通してデータ分布の関係を特徴付けるグラフ辞書信号モデルを定義する。 本稿では,観測データからグラフ辞書表現を推論するフレームワークを提案する。 我々は,脳活動データに基づく運動画像復号作業におけるグラフ辞書表現を利用して,従来の手法よりも想像的な動きをよりよく分類する。
  論文  参考訳（メタデータ） (2024-11-08T17:40:43Z)
• Provable Tensor Completion with Graph Information [49.08648842312456]
  本稿では,動的グラフ正規化テンソル完備問題の解法として,新しいモデル,理論,アルゴリズムを提案する。 我々はテンソルの低ランクおよび類似度構造を同時に捉える包括的モデルを開発する。 理論の観点からは、提案したグラフの滑らか度正規化と重み付きテンソル核ノルムとの整合性を示す。
  論文  参考訳（メタデータ） (2023-10-04T02:55:10Z)
• Interpretable and Scalable Graphical Models for Complex Spatio-temporal Processes [3.469001874498102]
  論文は、複雑な時間構造を持つデータと、解釈可能かつ解釈可能な方法で構造を学ぶ確率的グラフィカルモデルに焦点を当てている。 この方法論の実践的応用は、実際のデータセットを用いて検討される。 これには、データを用いた脳接続分析、太陽画像データを用いた宇宙天気予報、Twitterデータを用いた世論の縦断的分析、TalkLifeデータを用いたメンタルヘルス関連の問題のマイニングが含まれる。
  論文  参考訳（メタデータ） (2023-01-15T05:39:30Z)
• GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
  本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。 提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。 第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
  論文  参考訳（メタデータ） (2022-12-01T11:49:07Z)
• Latent Graph Inference using Product Manifolds [0.0]
  遅延グラフ学習のための離散微分可能グラフモジュール(dDGM)を一般化する。 我々の新しいアプローチは、幅広いデータセットでテストされ、元のdDGMモデルよりも優れています。
  論文  参考訳（メタデータ） (2022-11-26T22:13:06Z)
• Towards a mathematical understanding of learning from few examples with nonlinear feature maps [68.8204255655161]
  トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。 我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
  論文  参考訳（メタデータ） (2022-11-07T14:52:58Z)
• T-LoHo: A Bayesian Regularization Model for Structured Sparsity and Smoothness on Graphs [0.0]
  グラフ構造化データでは、構造化されたスパーシリティと滑らかさが団結する傾向にある。 グラフィカルな関係を持つ高次元パラメータに先立って提案する。 構造された空間と滑らかさを同時に検出するために使用します。
  論文  参考訳（メタデータ） (2021-07-06T10:10:03Z)
• Self-Supervised Graph Representation Learning via Topology Transformations [61.870882736758624]
  本稿では,グラフデータのノード表現のための自己教師型学習の一般的なパラダイムであるトポロジー変換同変表現学習について述べる。 実験では,提案手法を下流ノードおよびグラフ分類タスクに適用し,提案手法が最先端の教師なし手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-25T06:11:03Z)
• Parameterized Hypercomplex Graph Neural Networks for Graph Classification [1.1852406625172216]
  我々は超複雑特徴変換の特性を利用するグラフニューラルネットワークを開発した。 特に、提案したモデルのクラスでは、代数自身を特定する乗法則は、トレーニング中にデータから推測される。 提案するハイパーコンプレックスgnnをいくつかのオープングラフベンチマークデータセット上でテストし,そのモデルが最先端の性能に達することを示す。
  論文  参考訳（メタデータ） (2021-03-30T18:01:06Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。