論文の概要: Graph Structure Inference with BAM: Introducing the Bilinear Attention Mechanism

• arxiv url: http://arxiv.org/abs/2402.07735v2
• Date: Tue, 13 Feb 2024 09:48:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 11:53:35.228249
• Title: Graph Structure Inference with BAM: Introducing the Bilinear Attention Mechanism
• Title（参考訳）: BAMを用いたグラフ構造推定:双線形注意機構の導入
• Authors: Philipp Froehlich and Heinz Koeppl
• Abstract要約: 本稿では,教師付きグラフ構造学習のためのニューラルネットワークモデルを提案する。 モデルは可変形状および結合された入力データで訓練される。 本手法は, 線形および多種多様な非線形依存関係に対して, 堅牢な一般化性を示す。
• 参考スコア（独自算出の注目度）: 31.99564199048314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In statistics and machine learning, detecting dependencies in datasets is a central challenge. We propose a novel neural network model for supervised graph structure learning, i.e., the process of learning a mapping between observational data and their underlying dependence structure. The model is trained with variably shaped and coupled simulated input data and requires only a single forward pass through the trained network for inference. By leveraging structural equation models and employing randomly generated multivariate Chebyshev polynomials for the simulation of training data, our method demonstrates robust generalizability across both linear and various types of non-linear dependencies. We introduce a novel bilinear attention mechanism (BAM) for explicit processing of dependency information, which operates on the level of covariance matrices of transformed data and respects the geometry of the manifold of symmetric positive definite matrices. Empirical evaluation demonstrates the robustness of our method in detecting a wide range of dependencies, excelling in undirected graph estimation and proving competitive in completed partially directed acyclic graph estimation through a novel two-step approach.
• Abstract（参考訳）: 統計学と機械学習では、データセットの依存関係を検出することが中心的な課題である。 本稿では,教師付きグラフ構造学習のための新しいニューラルネットワークモデル,すなわち観測データとその基礎となる依存構造間のマッピングを学習するプロセスを提案する。 モデルは可変な形状と結合した入力データで訓練され、推論のために訓練されたネットワークを通る単一のフォワードパスのみを必要とする。 構造方程式モデルを活用し, ランダムに生成した多変量チェビシェフ多項式をトレーニングデータのシミュレーションに利用することにより, 線形および多種類の非線形依存関係にまたがるロバストな一般化性を実証する。 本稿では,変換データの共分散行列のレベルで動作し,対称正定値行列多様体の幾何学を尊重する,従属情報の明示的処理のための新しい双線型注意機構(bam)を提案する。 経験的評価は, 広範囲な依存性の検出, 非有向グラフ推定に優れ, 完備部分有向非巡回グラフ推定における競争力を, 新たな二段階アプローチにより証明する手法の頑健性を示す。

関連論文リスト

• Cyclic Directed Probabilistic Graphical Model: A Proposal Based on Structured Outcomes [0.0]
  本稿では,指向性周期依存を直接キャプチャ可能な確率的グラフィカルモデル(確率的関係ネットワーク)について述べる。 このモデルは確率公理に違反せず、観測データからの学習をサポートする。 特に、確率的推論をサポートし、データ分析やエキスパートおよび設計アプリケーションにおいて、将来的なツールとなる。
  論文  参考訳（メタデータ） (2023-10-25T10:19:03Z)
• Representation Transfer Learning via Multiple Pre-trained models for Linear Regression [3.5788754401889014]
  サンプルが少ないデータ領域(ターゲット)で線形回帰モデルを学習する問題を考察する。 学習を支援するために、私たちは、潜在的に異なるデータドメインでトレーニングされた事前訓練された回帰モデルセットを提供しています。 対象モデルを構築するための表現伝達に基づく学習手法を提案する。
  論文  参考訳（メタデータ） (2023-05-25T19:35:24Z)
• Towards a mathematical understanding of learning from few examples with nonlinear feature maps [68.8204255655161]
  トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。 我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
  論文  参考訳（メタデータ） (2022-11-07T14:52:58Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Amortised Inference in Structured Generative Models with Explaining Away [16.92791301062903]
  我々は、複数の変数に対して構造化因子を組み込むために、償却変分推論の出力を拡張した。 パラメータ化された因子は、複雑な図形構造における変分メッセージパッシングと効率的に結合可能であることを示す。 次に、構造化されたモデルと、自由に動くげっ歯類の海馬からの高次元神経スパイク時系列を適合させる。
  論文  参考訳（メタデータ） (2022-09-12T12:52:15Z)
• Score-based Generative Modeling of Graphs via the System of Stochastic Differential Equations [57.15855198512551]
  本稿では,連続時間フレームワークを用いたグラフのスコアベース生成モデルを提案する。 本手法は, トレーニング分布に近い分子を生成できるが, 化学価数則に違反しないことを示す。
  論文  参考訳（メタデータ） (2022-02-05T08:21:04Z)
• Row-clustering of a Point Process-valued Matrix [2.0391237204597363]
  本稿では,このような行列の対数ガウスコックス過程とクラスタ列をマークした行列について検討する。 点過程の関数主成分分析(FPCA)と組み合わせた半パラメトリック期待解(ES)アルゴリズムをモデル推定のために提案する。 提案手法の有効性をシミュレーション研究と実データ解析により実証した。
  論文  参考訳（メタデータ） (2021-10-04T06:27:26Z)
• Regularization of Mixture Models for Robust Principal Graph Learning [0.0]
  D$次元データポイントの分布から主グラフを学習するために,Mixture Modelsの正規化バージョンを提案する。 モデルのパラメータは期待最大化手順によって反復的に推定される。
  論文  参考訳（メタデータ） (2021-06-16T18:00:02Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Learned Factor Graphs for Inference from Stationary Time Sequences [107.63351413549992]
  定常時間列のためのモデルベースアルゴリズムとデータ駆動型MLツールを組み合わせたフレームワークを提案する。 ニューラルネットワークは、時系列の分布を記述する因子グラフの特定のコンポーネントを別々に学習するために開発された。 本稿では,学習された定常因子グラフに基づく推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-05T07:06:19Z)
• Meta-learning framework with applications to zero-shot time-series forecasting [82.61728230984099]
  この研究は幅広いメタラーニングフレームワークを使って肯定的な証拠を提供する。 残余接続はメタラーニング適応機構として機能する。 我々は、ソースTSデータセット上でニューラルネットワークをトレーニングし、異なるターゲットTSデータセット上で再トレーニングすることなくデプロイできることを示します。
  論文  参考訳（メタデータ） (2020-02-07T16:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。