論文の概要: Dynamic Topic Modeling with a Higher-Order Hypergraphical Representation

• arxiv url: http://arxiv.org/abs/2605.28269v1
• Date: Wed, 27 May 2026 10:16:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.96213
• Title: Dynamic Topic Modeling with a Higher-Order Hypergraphical Representation
• Title（参考訳）: 高次ハイパーグラフィック表現を用いた動的トピックモデリング
• Authors: Hanjia Gao, Hanwen Ye, Qing Nie, Annie Qu,
• Abstract要約: 動的トピックモデリングは、科学文献、医療記録、ソーシャルメディアの進化傾向を分析するために広く用いられている。 テキストのハイパーグラフ表現では、各文書をすべての共起語を接続するハイパーエッジとしてモデル化し、繰り返しインテンシティをノード重みとして符号化する。 この表現は、繰り返しから単語の発生を分離し、各文書の単語集合に応じて正規化された新しいハイパーグラフベースの多項分布を誘導する。
• 参考スコア（独自算出の注目度）: 1.963427290721673
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamic topic modeling is widely used to analyze evolving trends in scientific literature, medical records, and social media. Traditional topic models represent each topic through a single probability vector on the multinomial simplex and implicitly couple word occurrence and repetition within one probabilistic mechanism. However, this formulation restricts the dependence structure among words and overlooks informative higher-order interactions, particularly in dynamic corpora with overlapping semantics. To address these limitations, we introduce a hypergraph representation of text where each document is modeled as a hyperedge connecting all co-occurring words, with repetition intensities encoded as node weights. This representation naturally separates word occurrence from repetition and induces a novel hypergraph-based multinomial distribution with a nonlinear normalization depending on the observed word set of each document. Building on this likelihood, we develop a dynamic topic modeling framework via structured low-rank factorizations with explicit temporal regularization on topic-word profiles. Moreover, we establish local convergence guarantees and derive non-asymptotic error bounds despite the intrinsic nonconvexity induced by bilinear factorization and document-specific nonlinear normalization. Numerical experiments on synthetic data and an application to the International Conference on Learning Representations (ICLR) corpus demonstrate consistent improvements over existing multinomial-based topic models.
• Abstract（参考訳）: 動的トピックモデリングは、科学文献、医療記録、ソーシャルメディアの進化傾向を分析するために広く用いられている。 従来のトピックモデルは、多項的単純度上の1つの確率ベクトルを通して各トピックを表現し、暗黙的に2つの単語の発生と1つの確率的メカニズム内での繰り返しを表現している。 しかし、この定式化は単語間の依存構造を制限し、特に重なり合う意味を持つ動的コーパスにおいて、情報的高次相互作用を無視する。 これらの制約に対処するために、各文書をすべての共起語を接続するハイパーエッジとしてモデル化し、繰り返しインテンシティをノード重みとして符号化したテキストのハイパーグラフ表現を導入する。 この表現は、繰り返しからの単語発生を自然に分離し、各文書の観察された単語集合に依存する非線形正規化を伴う、新しいハイパーグラフベースの多項分布を誘導する。 この可能性に基づいて、話題語プロファイルの時間的規則化を明示した構造化された低ランク因数分解による動的トピックモデリングフレームワークを開発する。 さらに、双線形因子化と文書特異的非線形正規化によって誘導される内在的非凸性にも拘わらず、局所収束保証を確立し、非漸近誤差境界を導出する。 合成データに関する数値実験と国際学習表現会議(ICLR)コーパスへの応用により,既存の多項型トピックモデルよりも一貫した改善が示された。

関連論文リスト

• Topology Identification and Inference over Graphs [61.06365536861156]
  グラフ上で進化するプロセスのトポロジの同定と推論は、脳、輸送、金融、電力、および社会的および情報ネットワークを含むタイムリーな応用に現れる。 本章では,多次元データに対するグラフトポロジ同定と統計的推測手法の概要について述べる。
  論文  参考訳（メタデータ） (2025-12-11T00:47:09Z)
• Geometry of Semantics in Next-Token Prediction: How Optimization Implicitly Organizes Linguistic Representations [34.88156871518115]
  Next-token Prediction (NTP) 最適化により、言語モデルがテキストから意味構造を抽出し、整理する。 我々は、より大きな特異値に対応する概念が訓練中に学習され、自然な意味階層が生成されることを示した。 この洞察は、解釈可能なセマンティックカテゴリを識別するための概念記号を組み合わせる方法である、オーサントベースのクラスタリングを動機付けている。
  論文  参考訳（メタデータ） (2025-05-13T08:46:04Z)
• An Information-Theoretic Approach to Identifying Formulaic Clusters in Textual Data [2.977406733413627]
  フォーミュラテキストは繰り返しと制約された表現によって特徴づけられ、自己情報の変動性が低い傾向にある。 本研究の目的は,反復句,構文構造,スタイルマーカーを解析することにより,定式的クラスタを同定することである。 重み付き自己情報分布を利用してテキスト中の構造化パターンを検出する情報理論アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-03-10T13:24:46Z)
• How Compositional Generalization and Creativity Improve as Diffusion Models are Trained [82.08869888944324]
  構成規則を学習するために生成モデルに必要なサンプルはいくつあるか? ルールを学習するために、データのどのシグナルが利用されるのか? ここで紹介する階層的クラスタリング機構と物理における再正規化群との関係について論じる。
  論文  参考訳（メタデータ） (2025-02-17T18:06:33Z)
• Expressive Symbolic Regression for Interpretable Models of Discrete-Time Dynamical Systems [0.0]
  このタスクのためのシンボリックニューラルネットワーク訓練表現(SymANNTEx)アーキテクチャ 修正したSymanNTExモデルでは,単一状態のマップを適切に識別し,二状態のアトラクタの近似に適度に成功していることを示す。
  論文  参考訳（メタデータ） (2024-06-05T05:05:29Z)
• Neural Dynamic Focused Topic Model [2.9005223064604078]
  ニューラル変動推論の最近の進歩を活用し、ダイナミックフォーカストピックモデルに代替的なニューラルアプローチを提案する。 本稿では,Bernoulli確率変数の列を利用してトピックの出現を追跡するトピック進化のためのニューラルモデルを開発する。
  論文  参考訳（メタデータ） (2023-01-26T08:37:34Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。