論文の概要: Domain-Agnostic Neural Topic Modeling with Contextual Token-Level Semantic Graph Representation
- arxiv url: http://arxiv.org/abs/2608.16269v1
- Date: Mon, 17 Aug 2026 08:43:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.594984
- Title: Domain-Agnostic Neural Topic Modeling with Contextual Token-Level Semantic Graph Representation
- Title（参考訳）: 文脈的トーケンレベル意味グラフ表現を用いたドメインに依存しないニューラルトピックモデリング
- Abstract要約: DARTopicは、凍結されたPLM埋め込みからトークンレベルのセマンティックグラフを構築し、トピック推論でGNNエンコーダを共同で訓練するフレームワークである。
DARTopicは、エンコーダの微調整なしに、トピックコヒーレンスや文書のclus-teringにおいて、強いベースラインを一貫して上回ることを示す。
- 参考スコア（独自算出の注目度）: 5.677982677132719
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in neural topic models with pre-trained language models (PLMs) have achieved strong performance by leveraging general-domain pre-training, yet their topic interpretability often degrades on specialized corpora. This limitation primarily stems from the geometry of the embedding space, where domain-specific terms unseen during pre-training collapse into an indistinguishable region, and neither domain-specific re-training, word-level graph enrichment, nor parameter-efficient fine-tuning can restructure this space without inheriting the capacity ceiling of the underlying encoder. Our key insight is that a learnable graph layer operating on token-level PLM embeddings can acquire corpus-specific semantic structure that the frozen encoder lacks, because token-level graphs preserve document-local context that word-level representations discard and joint optimization with the topic objective reshapes embedding geometry directly from target-domain evidence. We instantiate this insight as DARTopic, a domain-agnostic framework that constructs token-level semantic graphs from frozen PLM embeddings and jointly trains a GNN encoder with topic inference. Across three benchmarks spanning general, biomedical, and legal domains, DARTopic consistently outperforms strong baselines in topic coherence and document clus- tering without any encoder fine-tuning, while demonstrating robustness to PLM choice and favorable runtime efficiency over fine-tuning based alternatives.
- Abstract（参考訳）: プレトレーニング言語モデル(PLM)を用いたニューラルトピックモデルの最近の進歩は、汎用ドメイン事前学習を活用して、高いパフォーマンスを実現しているが、それらのトピック解釈性は、特殊コーパスで劣化することが多い。
この制限は主に埋め込み空間の幾何学に起因しており、事前学習中にドメイン固有の用語は区別できない領域に陥り、ドメイン固有の再訓練、単語レベルのグラフのリッチ化、パラメータ効率の良い微調整は、基礎となるエンコーダの容量天井を継承することなく、この空間を再構成することができない。
我々の重要な洞察は、トークンレベルのPLM埋め込みで動作する学習可能なグラフ層が、凍結エンコーダが欠落しているコーパス固有の意味構造を取得できるということである。
DARTopicは,凍結したPLM埋め込みからトークンレベルのセマンティックグラフを構築し,トピック推論でGNNエンコーダを共同で訓練するドメインに依存しないフレームワークである。
一般、バイオメディカル、法的な領域にまたがる3つのベンチマークにおいて、DARTopicは、エンコーダの微調整なしにトピックコヒーレンスとドキュメントのクロース・テリングにおいて、強力なベースラインを一貫して上回り、PLMの選択に対する堅牢性や、微調整ベースの代替よりも好適な実行効率を実証している。
関連論文リスト
- Modality-free Graph In-context Alignment [14.497854061852292]
Modality-Free Graph In-Context Alignment (MF-GIA) は、不均質ドメイン間の数ショットの予測を迅速に行うための事前訓練されたグラフエンコーダを実現するフレームワークである。
MF-GIAは、光変換をパラメータ化する勾配指紋によってドメイン特性をキャプチャする。
実験により,MF-GIAは多種多様なグラフ領域にまたがって優れた撮影性能を発揮することが示された。
論文 参考訳（メタデータ） (2026-03-13T07:45:34Z) - Rethinking Federated Graph Foundation Models: A Graph-Language Alignment-based Approach [8.517604507672262]
フェデレーショングラフ基礎モデル(FedGFMs)の最近の研究は、グラフ基礎モデルを訓練するために集中的なデータストレージを持つという理想的かつ持続不可能な仮定を破っている。
ベクトル量子化されたバックボーンを経由した離散トークン空間上の一般化可能な知識が、量子化過程中に不可逆的な知識損失に悩まされるという研究は、現存する。
論文 参考訳（メタデータ） (2026-01-29T07:50:00Z) - Contrastive Graph Modeling for Cross-Domain Few-Shot Medical Image Segmentation [58.41482540044918]
クロスドメイン少ショット医療画像セグメンテーション(CD-FSMIS)は医療応用に有望でデータ効率のよいソリューションを提供する。
本稿では,医用画像の構造的整合性を利用したコントラストグラフモデリング(C-Graph)を提案する。
論文 参考訳（メタデータ） (2025-12-25T14:00:17Z) - Enhancing Graph Representations with Neighborhood-Contextualized Message-Passing [0.0]
本稿では,注目変数の重要な性質に根ざした近傍文脈化の概念を定式化する。
NCMPのパラメトリゼーションと運用のための簡易で実用的で効率的な方法を提案する。
合成二分ノード分類問題に関する予備的解析は、提案したGNNアーキテクチャの表現性と効率性の両方を強調している。
論文 参考訳（メタデータ） (2025-11-14T08:00:19Z) - GeoGNN: Quantifying and Mitigating Semantic Drift in Text-Attributed Graphs [59.61242815508687]
テキスト分散グラフ(TAG)上のグラフニューラルネットワーク(GNN)は、事前訓練された言語モデル(PLM)を使用してノードテキストを符号化し、これらの埋め込みを線形近傍アグリゲーションを通じて伝播する。
本研究は,意味的ドリフトの度合いを計測する局所PCAベースの計量を導入し,異なる凝集機構が多様体構造にどのように影響するかを解析するための最初の定量的枠組みを提供する。
論文 参考訳（メタデータ） (2025-11-12T06:48:43Z) - GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning [50.40400074353263]
グラフニューラルネットワーク(GNN)は、リレーショナルデータを先行する強力なツールであるが、しばしば目に見えないグラフに一般化するのに苦労する。
textbfGraph textbfIn-context textbfL textbfTransformer (GILT)を導入する。
論文 参考訳（メタデータ） (2025-10-06T08:09:15Z) - Predict, Cluster, Refine: A Joint Embedding Predictive Self-Supervised Framework for Graph Representation Learning [0.0]
グラフ表現学習は、ノード分類やリンク予測といったタスクの基盤として登場した。
現在の自己教師付き学習(SSL)手法は、計算の非効率性、対照的な目的への依存、表現の崩壊といった課題に直面している。
本稿では,意味情報と構造情報を保存しながら,対照的な目的と負のサンプリングを排除したグラフSSLのための新しい結合埋め込み予測フレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-02T07:42:45Z) - Degree-Conscious Spiking Graph for Cross-Domain Adaptation [51.58506501415558]
Spiking Graph Networks (SGNs) はグラフ分類において大きな可能性を証明している。
DeSGraDA(Degree-Consicious Spiking Graph for Cross-Domain Adaptation)という新しいフレームワークを紹介する。
DeSGraDAは3つのキーコンポーネントを持つドメイン間の一般化を強化する。
論文 参考訳（メタデータ） (2024-10-09T13:45:54Z) - A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。
我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。
GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文 参考訳（メタデータ） (2024-06-19T22:30:08Z) - Graph Adaptive Semantic Transfer for Cross-domain Sentiment
Classification [68.06496970320595]
クロスドメイン感情分類(CDSC)は、ソースドメインから学んだ伝達可能なセマンティクスを使用して、ラベルなしのターゲットドメインにおけるレビューの感情を予測することを目的としている。
本稿では、単語列と構文グラフの両方からドメイン不変セマンティクスを学習できる適応型構文グラフ埋め込み法であるグラフ適応意味伝達(GAST)モデルを提案する。
論文 参考訳（メタデータ） (2022-05-18T07:47:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。