論文の概要: Anticipating Technical Expertise and Capability Evolution in Research
Communities using Dynamic Graph Transformers
- arxiv url: http://arxiv.org/abs/2307.09665v1
- Date: Tue, 18 Jul 2023 22:17:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-20 15:55:21.198566
- Title: Anticipating Technical Expertise and Capability Evolution in Research
Communities using Dynamic Graph Transformers
- Title(参考訳): 動的グラフ変換器を用いた研究コミュニティの技術的専門性と能力進化の予測
- Authors: Sameera Horawalavithana, Ellyn Ayton, Anastasiya Usenko, Robin Cosbey,
Svitlana Volkova
- Abstract要約: 我々は、コラボレーションパターン、著者の行動、そして異なる粒度の技術的能力進化を予測する新しい能力を開発する。
我々は動的グラフ変換器(DGT)ニューラルアーキテクチャを実装し、最先端のグラフニューラルネットワークモデルをプッシュする。
我々は、我々のDGTモデルがAIの0.26、0.73、0.53の平均相互ランク値、NNドメインの0.48、0.93、0.22のコラボレーション、パートナーシップ、専門パターンを予測することを実証した。
- 参考スコア(独自算出の注目度): 4.282091426377837
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ability to anticipate technical expertise and capability evolution trends
globally is essential for national and global security, especially in
safety-critical domains like nuclear nonproliferation (NN) and rapidly emerging
fields like artificial intelligence (AI). In this work, we extend traditional
statistical relational learning approaches (e.g., link prediction in
collaboration networks) and formulate a problem of anticipating technical
expertise and capability evolution using dynamic heterogeneous graph
representations. We develop novel capabilities to forecast collaboration
patterns, authorship behavior, and technical capability evolution at different
granularities (e.g., scientist and institution levels) in two distinct research
fields. We implement a dynamic graph transformer (DGT) neural architecture,
which pushes the state-of-the-art graph neural network models by (a)
forecasting heterogeneous (rather than homogeneous) nodes and edges, and (b)
relying on both discrete -- and continuous -- time inputs. We demonstrate that
our DGT models predict collaboration, partnership, and expertise patterns with
0.26, 0.73, and 0.53 mean reciprocal rank values for AI and 0.48, 0.93, and
0.22 for NN domains. DGT model performance exceeds the best-performing static
graph baseline models by 30-80% across AI and NN domains. Our findings
demonstrate that DGT models boost inductive task performance, when previously
unseen nodes appear in the test data, for the domains with emerging
collaboration patterns (e.g., AI). Specifically, models accurately predict
which established scientists will collaborate with early career scientists and
vice-versa in the AI domain.
- Abstract(参考訳): 技術的専門知識と能力進化のトレンドをグローバルに予測する能力は、特に核拡散防止(NN)や人工知能(AI)のような急激な新興分野において、国家的およびグローバルなセキュリティにとって不可欠である。
本研究では,従来の統計的関係性学習手法(例えば,協調ネットワークにおけるリンク予測)を拡張し,動的不均一グラフ表現を用いた技術知識と能力進化の予測問題を定式化する。
我々は、2つの異なる研究分野において、異なる粒度(科学者レベル、機関レベルなど)でコラボレーションパターン、著者行動、技術能力の進化を予測する新しい能力を開発する。
我々は動的グラフ変換器(DGT)ニューラルアーキテクチャを実装し、最先端のグラフニューラルネットワークモデルを推し進める。
(a)異質な(均質でない)ノードやエッジを予測すること、及び
(b)離散時間入力と連続時間入力の両方に依存する。
我々は、我々のDGTモデルがAIの0.26、0.73、0.53の平均相互ランク値、NNドメインの0.48、0.93、0.22のコラボレーション、パートナーシップ、専門パターンを予測することを実証した。
DGTモデルのパフォーマンスは、AIとNNドメイン間で、最高のパフォーマンスの静的グラフベースラインモデルよりも30~80%高い。
我々の研究結果は、DGTモデルが、新しいコラボレーションパターン(AIなど)を持つドメインに対して、これまで見つからなかったノードがテストデータに現れると、帰納的タスクパフォーマンスが向上することを示した。
特にモデルでは、確立された科学者が初期のキャリア科学者やai分野の逆者と協力するかを正確に予測する。
関連論文リスト
- A survey of dynamic graph neural networks [26.162035361191805]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから効果的にマイニングし学習するための強力なツールとして登場した。
本稿では,基本的な概念,鍵となる技術,そして最先端の動的GNNモデルについて概観する。
論文 参考訳(メタデータ) (2024-04-28T15:07:48Z) - NeuroLGP-SM: A Surrogate-assisted Neuroevolution Approach using Linear Genetic Programming [0.19116784879310028]
我々はNeuroLGP-Surrogate Model(NeuroLGP-SM)と呼ばれるディープニューラルネットワーク(DNN)のトレーニング手法を提案する。
論文 参考訳(メタデータ) (2024-03-28T14:31:01Z) - Causal Graph ODE: Continuous Treatment Effect Modeling in Multi-agent
Dynamical Systems [70.84976977950075]
実世界のマルチエージェントシステムは、しばしば動的で連続的であり、エージェントは時間とともにその軌道や相互作用を共進化させ、変化させる。
本稿では,グラフニューラルネットワーク(GNN)をODE関数として,エージェント間の連続的な相互作用をキャプチャする新しいモデルを提案する。
我々のモデルの主な革新は、治療の時間依存表現を学習し、ODE関数にそれらを組み込むことで、潜在的な結果の正確な予測を可能にすることである。
論文 参考訳(メタデータ) (2024-02-29T23:07:07Z) - Equivariant Graph Neural Operator for Modeling 3D Dynamics [153.9455825436751]
Equivariant Graph Neural Operator (EGNO) は,次のステップの予測に代えて,ダイナミックスを直接トラジェクトリとしてモデル化する,斬新で原理的な手法である。
EGNOは3次元力学の時間的進化を明示的に学習し、時間とともに関数として力学を定式化し、それを近似するためにニューラル演算子を学習する。
粒子シミュレーション、人間のモーションキャプチャー、分子動力学を含む複数の領域における総合的な実験は、既存の手法と比較して、EGNOの極めて優れた性能を示す。
論文 参考訳(メタデータ) (2024-01-19T21:50:32Z) - Predicting Infant Brain Connectivity with Federated Multi-Trajectory
GNNs using Scarce Data [54.55126643084341]
既存のディープラーニングソリューションには,3つの大きな制限がある。
我々はフェデレートグラフベースの多軌道進化ネットワークであるFedGmTE-Net++を紹介する。
フェデレーションの力を利用して、限られたデータセットを持つ多種多様な病院の地域学習を集約する。
論文 参考訳(メタデータ) (2024-01-01T10:20:01Z) - Towards Graph Foundation Models: A Survey and Beyond [68.35562541338865]
ファンデーションモデルは、さまざまな人工知能アプリケーションにおいて重要なコンポーネントとして現れてきた。
基礎モデルがグラフ機械学習研究者を一般化し、適応させる能力は、新しいグラフ学習パラダイムを開発する可能性について議論する。
本稿では,グラフ基礎モデル(GFM)の概念を紹介し,その重要な特徴と基礎技術について概説する。
論文 参考訳(メタデータ) (2023-10-18T09:31:21Z) - Temporal Domain Generalization with Drift-Aware Dynamic Neural Network [12.483886657900525]
ドリフト対応動的ニューラルネットワーク(DRAIN)フレームワークを用いた時間領域一般化を提案する。
具体的には、この問題を、データとモデル力学の関係を共同でモデル化するベイズ的枠組みに定式化する。
モデルパラメータとデータ分布の時間的ドリフトをキャプチャし、将来のデータなしで将来モデルを予測することができる。
論文 参考訳(メタデータ) (2022-05-21T20:01:31Z) - EXPERT: Public Benchmarks for Dynamic Heterogeneous Academic Graphs [5.4744970832051445]
グラフ予測タスクのために開発されたモデルの有効性を検証するために,大規模で動的に異種な学術グラフを提案する。
我々の新しいデータセットは、人工知能(AI)と核拡散(NN)の2つのコミュニティにわたる科学出版物から抽出された文脈情報と内容情報の両方をカバーしている。
論文 参考訳(メタデータ) (2022-04-14T19:43:34Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳(メタデータ) (2022-02-21T18:59:03Z) - Handling Distribution Shifts on Graphs: An Invariance Perspective [77.14319095965058]
グラフ上のノードレベルの予測にOOD問題を定式化する。
そこで我々は,探索から抽出までのリスク最小化という新たなドメイン不変学習手法を開発した。
理論的に有効なOOD解の保証を示すことによって,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2022-02-05T02:31:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。