論文の概要: When Lexical Change Misleads: Rethinking Dynamic Topic Model Evaluation with Traditional and LLM-Based Metrics

• arxiv url: http://arxiv.org/abs/2608.13835v1
• Date: Thu, 13 Aug 2026 23:54:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.225838
• Title: When Lexical Change Misleads: Rethinking Dynamic Topic Model Evaluation with Traditional and LLM-Based Metrics
• Title（参考訳）: レキシカルチェンジが過ちをきたす時--従来のLCM基準による動的トピックモデル評価の再考
• Abstract要約: CoNTMおよびDLDAからNYT,DBLP,arXivの120のトピックを評価した。 伝統的な時間的一貫性は、人間の判断と非常に異なる一致を示している。 語彙変化の成層化は、集合評価によって隠された変動を示す。
• 参考スコア（独自算出の注目度）: 0.12691047660244334
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Dynamic topic models capture evolving word distributions, but traditional coherence metrics may fail when vocabulary changes while semantic meaning persists. We evaluate 120 topics from CoNTM and DLDA across NYT, DBLP, and arXiv, using three human annotators and Low, Medium, and High lexical-change categories. Traditional temporal coherence shows highly variable agreement with human judgments ($ρ$=-0.256 to 0.614). In contrast, LLM-based semantic similarity agrees strongly with human semantic judgments for CoNTM on NYT ($ρ$=0.609), DBLP ($ρ$=0.721), and arXiv ($ρ$=0.502), but is less consistent for DLDA. Lexical-change stratification reveals variation hidden by aggregate evaluation. We therefore advocate lexical-change-aware evaluation, jointly reporting traditional coherence and LLM-based semantic measures as complementary rather than interchangeable signals.
• Abstract（参考訳）: 動的トピックモデルは、進化する単語の分布をキャプチャするが、従来のコヒーレンスメトリクスは、意味的意味が持続する間に語彙が変化すると失敗する可能性がある。 我々は,3つのアノテータとLow,Medium,High Lexical-changeカテゴリを用いて,NYT,DBLP,arXivにまたがるCoNTMおよびDLDAの120のトピックを評価した。 伝統的な時間的コヒーレンス(英語版)は、人間の判断(ρ$=-0.256 - 0.614)と非常に異なる一致を示している。 対照的に、LLMに基づく意味的類似性は、NYT(ρ$=0.609)、DBLP(ρ$=0.721)、arXiv(ρ$=0.502)の人間の意味的判断と強く一致するが、DLDAでは一致しない。 語彙変化の成層化は、集合評価によって隠された変動を示す。 そこで我々は,従来のコヒーレンスとLLMに基づくセマンティック尺度を相互交換可能な信号ではなく相補的なものとして共同で報告し,語彙変化認識評価を提唱する。

関連論文リスト

• Semantic Needles in Document Haystacks: Sensitivity Testing of LLM-as-a-Judge Similarity Scoring [39.19569497931068]
  文書比較の微妙な意味変化に対してLLM感度を探索するスケーラブルな多要素実験フレームワークを提案する。 LLMは文書内位置バイアスを呈するなど,いくつかの顕著な知見が得られた。 提案フレームワークは,現在および将来のモデル間でのスコアリング動作の監査と比較を行うための,実用的でLCMに依存しないツールキットを提供する。
  論文  参考訳（メタデータ） (2026-04-20T20:59:25Z)
• Semantic Delta: An Interpretable Signal Differentiating Human and LLMs Dialogue [3.9431873099460826]
  意味圏分布から導出した軽量な計量法を提案する。 セマンティックデルタを対話における2つの最も支配的なカテゴリ強度の差として定義する。 結果は、AI生成したテキストが人間のテキストよりも高いデルタを生成することを示す。
  論文  参考訳（メタデータ） (2026-03-20T11:01:47Z)
• Semantic-KG: Using Knowledge Graphs to Construct Benchmarks for Measuring Semantic Similarity [42.873412319680035]
  本稿では,大規模言語モデルの出力に対する意味的類似性を評価するために,ベンチマークを生成する新しい手法を提案する。 我々は4つの異なる領域(一般知識、バイオメディシン、ファイナンス、生物学)でベンチマークデータセットを生成する。 セマンティックな変化のサブタイプとベンチマークの領域がセマンティックな類似性手法の性能に与える影響を観察する。
  論文  参考訳（メタデータ） (2025-11-25T05:07:08Z)
• SMILE: A Composite Lexical-Semantic Metric for Question-Answering Evaluation [55.26111461168754]
  本稿では,文レベルの意味理解とキーワードレベルの意味理解と簡単なキーワードマッチングを組み合わせた新しいアプローチであるSemantic Metric Integrating Lexical Exactnessを紹介する。 人間の判断と計算学的に軽量であり、語彙的評価と意味的評価のギャップを埋める。
  論文  参考訳（メタデータ） (2025-11-21T17:30:18Z)
• Tomato, Tomahto, Tomate: Measuring the Role of Shared Semantics among Subwords in Multilingual Language Models [88.07940818022468]
  エンコーダのみの多言語言語モデル(mLM)におけるサブワード間の共有セマンティクスの役割を測る第一歩を踏み出した。 意味的に類似したサブワードとその埋め込みをマージして「意味トークン」を形成する。 グループ化されたサブワードの検査では 様々な意味的類似性を示します
  論文  参考訳（メタデータ） (2024-11-07T08:38:32Z)
• Not All Metrics Are Guilty: Improving NLG Evaluation by Diversifying References [123.39034752499076]
  Div-Refは、参照数を増やして評価ベンチマークを強化する方法である。 本研究では,参照表現の多様化が自動評価と人的評価の相関性を大幅に向上させることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-05-24T11:53:29Z)
• Always Keep your Target in Mind: Studying Semantics and Improving Performance of Neural Lexical Substitution [124.99894592871385]
  本稿では,従来の言語モデルと最近の言語モデルの両方を用いた語彙置換手法の大規模比較研究を行う。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによるすでに競合する結果がさらに大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-07T16:16:19Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• A Comparative Study of Lexical Substitution Approaches based on Neural Language Models [117.96628873753123]
  本稿では,一般的なニューラル言語とマスキング言語モデルの大規模比較研究について述べる。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによって達成された既に競合する結果をさらに改善できることを示す。
  論文  参考訳（メタデータ） (2020-05-29T18:43:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。