論文の概要: Riemannian Graph Tokenizer for Structural Knowledge Transfer
- arxiv url: http://arxiv.org/abs/2610.15427v1
- Date: Sun, 11 Oct 2026 08:03:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 01:09:41.501597
- Title: Riemannian Graph Tokenizer for Structural Knowledge Transfer
- Title(参考訳): 構造的知識伝達のためのリーマングラフトケナイザ
- Abstract要約: トークン化器は、生の入力をモデルが理解できる離散表現に変換することで、基礎モデルの成功に重要な役割を果たす。
本稿では,構造知識と量子化表現をブリッジして,ドメイン間構造知識伝達を支援するグラフトークン化手法を提案する。
多様なデータセットにわたる実験により、RGTはグラフ領域間の構造的知識伝達可能性を大幅に向上させることが示された。
- 参考スコア(独自算出の注目度): 21.6707969666607
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Foundation models are at the forefront of artificial intelligence. A tokenizer, converting the raw input into discrete representations that the model can understand, plays an important role to the success of foundation models. Unlike the text tokenizer that is well studied in large language models, graph tokenizer is still at its early stage, facing the challenges of tackling the non-Euclidean structures and capturing the structural semantics. How to design a graph tokenizer for structural knowledge transfer? To this end, we propose a Riemannian Graph Tokenizer (RGT) that bridges the structural knowledge and quantized representations to support cross-domain structural knowledge transfer. The connection is established by Riemannian geometry. Specifically, we first define the geometric vocabulary (trees, cycles and sequences), which captures fundamental structural patterns and reflects the intrinsic geometry of graph. Second, we construct a Riemannian quantizer with Riemannian Straight-Through Estimator to tokenise graph structures across multiple domains into discrete tokens. To ensure consistency and transferability across diverse geometric spaces, RGT further incorporates a geometry-aligned decoder that projects manifold-specific tokens into a unified tangent space. The theoretical analysis and geometric interpretations are provided to support the effectiveness of our proposed method. Extensive experiments across diverse datasets demonstrate that RGT significantly enhances structural knowledge transferability across graph domains.
- Abstract(参考訳): ファンデーションモデルは人工知能の最前線にある。
トークン化器は、生の入力をモデルが理解できる離散表現に変換することで、基礎モデルの成功に重要な役割を果たす。
大規模な言語モデルでよく研究されているテキスト・トークンーザとは異なり、グラフ・トークンーザはまだ初期段階にあり、非ユークリッド構造への取り組みと構造的意味論の獲得という課題に直面している。
構造的知識伝達のためのグラフトークン化器の設計法
この目的のために、構造知識と量子化表現を橋渡ししてドメイン間構造知識伝達を支援するリーマングラフトケナイザ(RGT)を提案する。
この接続はリーマン幾何学によって確立される。
具体的には、まず、基本的な構造パターンを捉え、グラフの内在幾何学を反映する幾何学的語彙(木、サイクル、シーケンス)を定義する。
第二に、複数の領域にまたがるグラフ構造を離散トークンにトークン化するために、リーマン曲線推定器を用いてリーマン量子化器を構築する。
多様な幾何学空間における整合性と伝達性を確保するため、RGTはさらに、多様体固有のトークンを統一接空間に射影する幾何整列デコーダを組み込んでいる。
提案手法の有効性を裏付ける理論的解析と幾何学的解釈を行う。
多様なデータセットにわたる大規模な実験により、RGTはグラフ領域間の構造的知識伝達可能性を大幅に向上することが示された。
関連論文リスト
- Are Common Substructures Transferable? Riemannian Graph Foundation Model with Neural Vector Bundles [53.65187206795911]
我々はニューラルベクトルバンドルと呼ばれるグラフ固有の幾何学学習フレームワークを開発した。
GAUGEは,ベクトルバンドルを構築し,幾何学的に整合した局所座標を平坦化する,事前学習可能なニューラルネットワークアーキテクチャである。
ゼロショットリンク予測やグラフ同型を含む課題タスクにおいて,その優れた表現性を実証的に検証する。
論文 参考訳(メタデータ) (2026-06-02T07:35:42Z) - Riemannian Geometry Speaks Louder Than Words: From Graph Foundation Model to Next-Generation Graph Intelligence [51.30336200738606]
グラフ基礎モデル(GFM)がグラフ学習に不可欠であるという強い合意がある。
LLM(Large Language Models)に類似した強力で汎用的なGFMを構築する方法については、かなりの意見の相違が続いている。
論文 参考訳(メタデータ) (2026-03-23T05:49:19Z) - Multi-Domain Riemannian Graph Gluing for Building Graph Foundation Models [43.64910777659052]
マルチドメイングラフ事前学習は、様々なドメインからの知識を統合し、ターゲットドメインのパフォーマンスを向上させる。
既存のソリューションは、ドメイン間の知識の統合や伝達の方法という、基本的な質問に答えるには足りません。
本稿では,EMAプロトタイピングによるバッチ事前学習をサポートするGraphGlueフレームワークについて述べる。
論文 参考訳(メタデータ) (2026-02-28T12:22:19Z) - GeoGNN: Quantifying and Mitigating Semantic Drift in Text-Attributed Graphs [59.61242815508687]
テキスト分散グラフ(TAG)上のグラフニューラルネットワーク(GNN)は、事前訓練された言語モデル(PLM)を使用してノードテキストを符号化し、これらの埋め込みを線形近傍アグリゲーションを通じて伝播する。
本研究は,意味的ドリフトの度合いを計測する局所PCAベースの計量を導入し,異なる凝集機構が多様体構造にどのように影響するかを解析するための最初の定量的枠組みを提供する。
論文 参考訳(メタデータ) (2025-11-12T06:48:43Z) - RiemannGFM: Learning a Graph Foundation Model from Riemannian Geometry [19.299795173943476]
グラフニューラルネットワークは、非ユークリッド構造であるグラフデータの学習に優れるが、一般化能力に欠けることが多い。
近年,大規模言語モデルの活用が試みられている。
鍵となる革新は、木やサイクルの単純で効果的な構造語彙の発見である。
論文 参考訳(メタデータ) (2025-02-05T15:06:09Z) - Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。
提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。
これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
論文 参考訳(メタデータ) (2024-09-09T12:56:02Z) - Improving embedding of graphs with missing data by soft manifolds [51.425411400683565]
グラフ埋め込みの信頼性は、連続空間の幾何がグラフ構造とどの程度一致しているかに依存する。
我々は、この問題を解決することができる、ソフト多様体と呼ばれる新しい多様体のクラスを導入する。
グラフ埋め込みにソフト多様体を用いることで、複雑なデータセット上のデータ解析における任意のタスクを追求するための連続空間を提供できる。
論文 参考訳(メタデータ) (2023-11-29T12:48:33Z) - Self-organization Preserved Graph Structure Learning with Principle of
Relevant Information [72.83485174169027]
PRI-GSLは、自己組織化を特定し、隠された構造を明らかにするグラフ構造学習フレームワークである。
PRI-GSLは、フォン・ノイマンエントロピーと量子ジェンセン=シャノンの発散によって定量化された最も関連性が最も低い冗長な情報を含む構造を学ぶ。
論文 参考訳(メタデータ) (2022-12-30T16:02:02Z) - Motif Learning in Knowledge Graphs Using Trajectories Of Differential
Equations [14.279419014064047]
知識グラフ埋め込み(KGE)は、リンク予測タスクで有望なパフォーマンスを示している。
多くのKGEは平坦な幾何学を使い、複雑な構造を保存することができない。
正規微分方程式(ODE)の軌道上にKGのノードを埋め込む神経微分KGEを提案する。
論文 参考訳(メタデータ) (2020-10-13T20:53:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。