論文の概要: Graph-based Neural Modules to Inspect Attention-based Architectures: A Position Paper

• arxiv url: http://arxiv.org/abs/2210.07117v1
• Date: Thu, 13 Oct 2022 15:52:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 17:10:51.679483
• Title: Graph-based Neural Modules to Inspect Attention-based Architectures: A Position Paper
• Title（参考訳）: 注意に基づくアーキテクチャを検査するためのグラフベースニューラルネットワーク
• Authors: Breno W. Carvalho, Artur D'Avilla Garcez, Luis C. Lamb
• Abstract要約: encoder-decoderモデルは、モデルウェイトに暗黙的に表される知識の人間による可視化と編集のためのエキサイティングな機会を提供する。 本研究では,ネットワークセグメントを双方向グラフベース表現として抽象化する方法を探究する。 このような双方向グラフ表現は、エンコーダデコーダのパターン認識機能と、グラフ上で実行されるシンボリック推論を活用することにより、新しいニューロシンボリックシステムを実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Encoder-decoder architectures are prominent building blocks of state-of-the-art solutions for tasks across multiple fields where deep learning (DL) or foundation models play a key role. Although there is a growing community working on the provision of interpretation for DL models as well as considerable work in the neuro-symbolic community seeking to integrate symbolic representations and DL, many open questions remain around the need for better tools for visualization of the inner workings of DL architectures. In particular, encoder-decoder models offer an exciting opportunity for visualization and editing by humans of the knowledge implicitly represented in model weights. In this work, we explore ways to create an abstraction for segments of the network as a two-way graph-based representation. Changes to this graph structure should be reflected directly in the underlying tensor representations. Such two-way graph representation enables new neuro-symbolic systems by leveraging the pattern recognition capabilities of the encoder-decoder along with symbolic reasoning carried out on the graphs. The approach is expected to produce new ways of interacting with DL models but also to improve performance as a result of the combination of learning and reasoning capabilities.
• Abstract（参考訳）: エンコーダ・デコーダアーキテクチャは、ディープラーニング(DL)や基礎モデルが重要な役割を果たす複数の分野にわたるタスクのための最先端ソリューションのビルディングブロックである。 dlモデルの解釈の提供や、シンボリック表現とdlの統合を目指すニューロシンボリックコミュニティでのかなりの作業に取り組んでいるコミュニティが増えているが、dlアーキテクチャの内部動作を可視化するためのより良いツールの必要性に関して、多くの疑問が残っている。 特に、エンコーダ・デコーダモデルは、モデル重みで暗黙的に表現された知識の可視化と編集を行うエキサイティングな機会を提供する。 本研究では,ネットワークセグメントを双方向グラフベース表現として抽象化する方法を探究する。 このグラフ構造の変更は、下層のテンソル表現に直接反映されるべきである。 このような双方向グラフ表現は、エンコーダ・デコーダのパターン認識能力とグラフ上で実行される記号推論を活用し、新しいニューロシンボリックシステムを可能にする。 このアプローチは、DLモデルと対話する新しい方法を生成すると同時に、学習能力と推論能力の組み合わせによるパフォーマンスの向上も期待されている。

関連論文リスト

• Towards Graph Foundation Models: A Survey and Beyond [66.37994863159861]
  ファンデーションモデルは、さまざまな人工知能アプリケーションにおいて重要なコンポーネントとして現れてきた。 基礎モデルがグラフ機械学習研究者を一般化し、適応させる能力は、新しいグラフ学習パラダイムを開発する可能性について議論する。 本稿では,グラフ基礎モデル(GFM)の概念を紹介し,その重要な特徴と基礎技術について概説する。
  論文  参考訳（メタデータ） (2023-10-18T09:31:21Z)
• Serving Deep Learning Model in Relational Databases [70.53282490832189]
  リレーショナルデータ上での深層学習(DL)モデルの実現は、様々な商業分野や科学分野において重要な要件となっている。 最先端のDL中心アーキテクチャは、DL計算を専用のDLフレームワークにオフロードします。 UDF中心アーキテクチャの可能性は、リレーショナルデータベース管理システム(RDBMS)内の1つ以上のテンソル計算をユーザ定義関数(UDF)にカプセル化する。
  論文  参考訳（メタデータ） (2023-10-07T06:01:35Z)
• Weisfeiler and Leman Go Relational [4.29881872550313]
  本稿では,よく知られたGCNおよびコンポジションGCNアーキテクチャの表現力の限界について検討する。 上記の2つのアーキテクチャの制限を確実に克服する$k$-RNアーキテクチャを導入します。
  論文  参考訳（メタデータ） (2022-11-30T15:56:46Z)
• KGLM: Integrating Knowledge Graph Structure in Language Models for Link Prediction [0.0]
  我々は、異なるエンティティと関係型を区別することを学ぶ新しいエンティティ/リレーション埋め込み層を導入する。 知識グラフから抽出したトリプルを用いて、この追加埋め込み層を用いて言語モデルをさらに事前学習し、続いて標準微調整フェーズにより、ベンチマークデータセット上のリンク予測タスクに対して、新しい最先端のパフォーマンスが設定されることを示す。
  論文  参考訳（メタデータ） (2022-11-04T20:38:12Z)
• Motif-based Graph Representation Learning with Application to Chemical Molecules [11.257235936629689]
  既存のグラフニューラルネットワークは、局所的な構造的コンテキスト内で複雑な相互作用をキャプチャする限られた能力を提供する。 局所構造情報をよりよく活用するためのモチーフに基づくグラフ表現学習手法を提案する。 MCMは、教師なしの方法でモチーフ語彙を構築し、新しいモチーフ畳み込み操作を展開し、局所構造コンテキストを抽出する。
  論文  参考訳（メタデータ） (2022-08-09T03:37:37Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning [87.38675639186405]
  我々は,動的に進化するグラフを連続的に扱う,TCLと呼ばれる新しいグラフニューラルネットワークアプローチを提案する。 我々の知る限りでは、これは動的グラフ上の表現学習にコントラスト学習を適用する最初の試みである。
  論文  参考訳（メタデータ） (2021-05-17T15:33:25Z)
• Structural Landmarking and Interaction Modelling: on Resolution Dilemmas in Graph Classification [50.83222170524406]
  解法ジレンマの統一概念に基づくグラフ分類における本質的難易度の研究」 構造ランドマークと相互作用モデリングのためのインダクティブニューラルネットワークモデルSLIM'を提案する。
  論文  参考訳（メタデータ） (2020-06-29T01:01:42Z)
• Graph-based Visual-Semantic Entanglement Network for Zero-shot Image Recognition [17.622748458955595]
  視覚特徴のグラフモデリングを行うためのグラフベースビジュアルセマンティックエンタングルメントネットワークを提案する。 提案手法は,複数の代表的ZSLデータセットに対する最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2020-06-08T14:54:08Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。