論文の概要: Dynamic Topic Evolution with Temporal Decay and Attention in Large Language Models

• arxiv url: http://arxiv.org/abs/2510.10613v1
• Date: Sun, 12 Oct 2025 13:50:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.032305
• Title: Dynamic Topic Evolution with Temporal Decay and Attention in Large Language Models
• Title（参考訳）: 時相劣化と注意を伴う大規模言語モデルにおける動的トピック進化
• Authors: Di Wu abd Shuaidong Pan,
• Abstract要約: 本稿では,時間的大言語モデルに基づく動的トピック進化のためのモデリングフレームワークを提案する。 提案手法は,大規模テキストにおける動的セマンティックパターンを理解するための体系的なソリューションを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a modeling framework for dynamic topic evolution based on temporal large language models. The method first uses a large language model to obtain contextual embeddings of text and then introduces a temporal decay function and an attention mechanism. These components allow the model to adjust the importance of semantic units according to time intervals and capture topic variations across different periods. The temporal representations are then mapped into a latent topic space, where a state transition matrix is applied to describe the dynamic evolution of topics. A joint optimization objective constrains both semantic modeling and temporal consistency, ensuring diversity and smoothness in topic generation. The design emphasizes the unified modeling of semantic representation and temporal evolution, which improves topic coherence and diversity while enhancing stability and interpretability over time. Experiments on real-world corpora show that the framework effectively captures the generation, expansion, and decline of topics and outperforms existing models across multiple metrics. Overall, the proposed method provides a systematic solution for understanding dynamic semantic patterns in large-scale text, enriches the research paradigm of topic modeling, and supports complex text analysis tasks in multiple domains.
• Abstract（参考訳）: 本稿では,時間的大言語モデルに基づく動的トピック進化のためのモデリングフレームワークを提案する。 提案手法はまず,大規模言語モデルを用いてテキストの文脈埋め込みを取得し,時間的減衰関数と注意機構を導入する。 これらのコンポーネントにより、モデルは時間間隔に応じて意味単位の重要性を調整し、異なる期間にわたってトピックのバリエーションをキャプチャできる。 その後、時間的表現を潜在トピック空間にマッピングし、状態遷移行列を適用してトピックの動的進化を記述する。 共同最適化の目的は、セマンティックモデリングと時間的一貫性の両方を制約し、トピック生成における多様性と滑らかさを確保することである。 この設計は意味表現と時間進化の統一的モデリングを強調しており、時間とともに安定性と解釈可能性を高めながらトピックの一貫性と多様性を改善している。 実世界のコーパスの実験は、このフレームワークがトピックの生成、拡張、減少を効果的に捉え、既存のモデルを複数のメトリクスで上回ることを示した。 提案手法は,大規模テキストにおける動的セマンティック・パターンの理解,トピック・モデリングの研究パラダイムの充実,複数の領域における複雑なテキスト解析タスクのサポートなどを実現する。

関連論文リスト

• UniAlignment: Semantic Alignment for Unified Image Generation, Understanding, Manipulation and Perception [54.53657134205492]
  UniAlignmentは単一の拡散変換器内での統一されたマルチモーダル生成フレームワークである。 固有モード意味アライメントとクロスモーダル意味アライメントの両方を組み込むことで、モデルのクロスモーダル一貫性と命令追従ロバスト性を高める。 本稿では、複雑なテキスト命令下でのマルチモーダルなセマンティック一貫性を評価するために設計された新しいベンチマークであるSemGen-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T09:11:30Z)
• Learning Time-Aware Causal Representation for Model Generalization in Evolving Domains [50.66049136093248]
  動的因果要因と因果機構のドリフトを組み込んだ時間認識型構造因果モデル(SCM)を開発した。 本研究では,時間領域毎に最適な因果予測値が得られることを示す。 合成と実世界の両方のデータセットの結果から,SynCは時間的一般化性能に優れることが示された。
  論文  参考訳（メタデータ） (2025-06-21T14:05:37Z)
• Visualizing Temporal Topic Embeddings with a Compass [1.5184974790808403]
  本稿では,コンパス整列時相Word2Vec手法を動的トピックモデリングに拡張することを提案する。 このような手法により、動的トピックにおける時間にわたって単語と文書の埋め込みを直接比較することができる。
  論文  参考訳（メタデータ） (2024-09-16T18:29:19Z)
• A Large Language Model Guided Topic Refinement Mechanism for Short Text Modeling [10.589126787499973]
  既存のトピックモデルは、しばしば短いテキストの根底にあるセマンティックなパターンを正確に捉えるのに苦労する。 本稿では,トピックリファインメント(Topic Refinement)と呼ばれる新しいモデル非依存機構を提案する。 トピックリファインメントによりトピックの品質が向上し、トピック関連テキスト分類タスクのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-03-26T13:50:34Z)
• ANTM: An Aligned Neural Topic Model for Exploring Evolving Topics [1.854328133293073]
  本稿では、アラインドニューラルトピックモデル(ANTM)と呼ばれる動的トピックモデルのアルゴリズム系を提案する。 ANTMは、新しいデータマイニングアルゴリズムを組み合わせて、進化するトピックを発見するためのモジュラーフレームワークを提供する。 Pythonパッケージは、大規模テキストデータにおけるトピックのトレンドと進化パターンを研究したい研究者や科学者のために開発されている。
  論文  参考訳（メタデータ） (2023-02-03T02:31:12Z)
• Learning to Model Multimodal Semantic Alignment for Story Visualization [58.16484259508973]
  ストーリービジュアライゼーションは、複数文のストーリーで各文をナレーションする一連の画像を生成することを目的としている。 現在の作業は、その固定されたアーキテクチャと入力モダリティの多様性のため、セマンティックなミスアライメントの問題に直面している。 GANに基づく生成モデルにおいて,テキストと画像表現のセマンティックアライメントを学習し,それらのセマンティックレベルを一致させる方法について検討する。
  論文  参考訳（メタデータ） (2022-11-14T11:41:44Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• How Far are We from Effective Context Modeling? An Exploratory Study on Semantic Parsing in Context [59.13515950353125]
  文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。 我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
  論文  参考訳（メタデータ） (2020-02-03T11:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。