論文の概要: Odin: Oriented Dual-module Integration for Text-rich Network Representation Learning

• arxiv url: http://arxiv.org/abs/2511.21416v2
• Date: Thu, 27 Nov 2025 09:19:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 13:46:31.815057
• Title: Odin: Oriented Dual-module Integration for Text-rich Network Representation Learning
• Title（参考訳）: Odin: テキストリッチネットワーク表現学習のためのオブジェクト指向デュアルモジュール統合
• Authors: Kaifeng Hong, Yinglong Zhang, Xiaoying Hong, Xuewen Xia, Xing Xu,
• Abstract要約: Odinは、オブジェクト指向のデュアルモジュール機構を通じて、選択した深さでトランスフォーマーにグラフ構造を注入する新しいアーキテクチャである。 メッセージパッシングGNNとは異なり、Odinはマルチホップ拡散に頼るのではなく、特定のトランスフォーマー層にマルチホップ構造を統合する。 テキストリッチグラフベンチマークの実験では、Odinは最先端の精度を示し、Light Odinは計算コストを大幅に削減して競合性能を提供する。
• 参考スコア（独自算出の注目度）: 8.462209415744098
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Text-attributed graphs require models to effectively combine strong textual understanding with structurally informed reasoning. Existing approaches either rely on GNNs--limited by over-smoothing and hop-dependent diffusion--or employ Transformers that overlook graph topology and treat nodes as isolated sequences. We propose Odin (Oriented Dual-module INtegration), a new architecture that injects graph structure into Transformers at selected depths through an oriented dual-module mechanism. Unlike message-passing GNNs, Odin does not rely on multi-hop diffusion; instead, multi-hop structures are integrated at specific Transformer layers, yielding low-, mid-, and high-level structural abstraction aligned with the model's semantic hierarchy. Because aggregation operates on the global [CLS] representation, Odin fundamentally avoids over-smoothing and decouples structural abstraction from neighborhood size or graph topology. We further establish that Odin's expressive power strictly contains that of both pure Transformers and GNNs. To make the design efficient in large-scale or low-resource settings, we introduce Light Odin, a lightweight variant that preserves the same layer-aligned structural abstraction for faster training and inference. Experiments on multiple text-rich graph benchmarks show that Odin achieves state-of-the-art accuracy, while Light Odin delivers competitive performance with significantly reduced computational cost. Together, Odin and Light Odin form a unified, hop-free framework for principled structure-text integration. The source code of this model has been released at https://github.com/hongkaifeng/Odin.
• Abstract（参考訳）: テキスト分散グラフは、強力なテキスト理解と構造的情報に基づく推論を効果的に組み合わせるモデルを必要とする。 既存のアプローチでは、過剰な平滑化とホップ依存の拡散によって制限されたGNNに依存するか、あるいはグラフトポロジを見下ろすトランスフォーマーを使用して、ノードを独立したシーケンスとして扱う。 Odin (Oriented Dual-module Integration) は、オブジェクト指向のデュアルモジュール機構によって選択された深さでトランスフォーマーにグラフ構造を注入する新しいアーキテクチャである。 メッセージパッシングのGNNとは異なり、Odinはマルチホップ拡散に依存しない。代わりに、マルチホップ構造は特定のトランスフォーマー層に統合され、低レベル、中級、高レベルの構造抽象化がモデルのセマンティック階層と整合している。 集約はグローバルな[CLS]表現で動作するため、Odinは基本的にオーバー・スムーシングを回避し、近隣のサイズやグラフトポロジーから構造的抽象化を分離する。 さらに、Odinの表現力は、純粋なトランスフォーマーとGNNの両方を厳密に含んでいることを確認します。 大規模あるいは低リソースの環境で設計を効率化するために、私たちはLight Odinを紹介します。 複数のテキストリッチグラフベンチマークの実験では、Odinは最先端の精度を達成し、Light Odinは計算コストを大幅に削減した競争性能を提供する。 OdinとLight Odinは共に、原則付き構造テキスト統合のための統合されたホップフリーのフレームワークを形成している。 このモデルのソースコードはhttps://github.com/hongkaifeng/Odin.comで公開されている。

関連論文リスト

• IAR2: Improving Autoregressive Visual Generation with Semantic-Detail Associated Token Prediction [77.06211178777939]
  IAR2は、階層的なセマンティックディーテール合成プロセスを可能にする高度な自己回帰フレームワークである。 我々は、IAR2が自動回帰画像生成のための新しい最先端技術を設定し、ImageNet上で1.50のFIDを達成することを示す。
  論文  参考訳（メタデータ） (2025-10-08T12:08:21Z)
• Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate [1.0152838128195467]
  大規模言語モデル(LLM)をスケールするための一般的なパラダイムは、モノリシックなエンドツーエンドのトレーニングである。 本稿では,トランスフォーマーにおける創発的意味論の原理によって実現された,代替的,建設的なスケーリングパラダイムについて考察する。 私たちはこれを、初期段階の厳密な層凍結とモデルスタック全体の効率的で総合的な微調整を組み合わせた、階層的に構築的な手法で運用します。
  論文  参考訳（メタデータ） (2025-07-08T20:01:15Z)
• Implicit U-KAN2.0: Dynamic, Efficient and Interpretable Medical Image Segmentation [9.901684172184858]
  Implicit U-KAN 2.0は、MultiKANと2階のNODEを組み込んだ暗黙のディープニューラルネットワークであり、解釈性と性能を改善している。 我々は、様々な2Dと1つの3Dデータセットに関する広範な実験を行い、我々のモデルは既存のセグメンテーションネットワークより一貫して優れていることを示した。
  論文  参考訳（メタデータ） (2025-03-05T03:31:05Z)
• Self-Contrastive Graph Diffusion Network [1.14219428942199]
  我々は、自己コントラストグラフ拡散ネットワーク(SCGDN)と呼ばれる新しいフレームワークを提案する。 私たちのフレームワークは、注意モジュール(AttM)と拡散モジュール(DiFM)の2つの主要コンポーネントで構成されています。 既存の方法論とは異なり、SCGDNは「サンプリングバイアス」や意味的ドリフトを避ける拡張自由なアプローチである。
  論文  参考訳（メタデータ） (2023-07-27T04:00:23Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Weisfeiler and Lehman Go Cellular: CW Networks [3.0017241250121383]
  グラフニューラルネットワーク(GNN)は、表現力に制限があり、長距離相互作用に苦慮し、高次構造をモデル化する原則的な方法が欠けている。 SC の最近の理論的結果は、SC とグラフを柔軟にサブスムする位相対象である正則なセルコンプレックスに拡張する。 この一般化は、グラフリフトの変換の強力なセットを提供し、それぞれがユニークなメッセージパッシング手順につながることを示す。
  論文  参考訳（メタデータ） (2021-06-23T17:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。