論文の概要: Beyond frequency measures: Can contextual embeddings capture meaning change in scientific texts?

• arxiv url: http://arxiv.org/abs/2609.18804v1
• Date: Wed, 16 Sep 2026 15:18:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.86566
• Title: Beyond frequency measures: Can contextual embeddings capture meaning change in scientific texts?
• Title（参考訳）: 周波数測定を超えて、文脈埋め込みは科学的テキストの変化を捉えることができるか?
• Abstract要約: 天体物理学とNLPコーパスの周波数および埋め込みに基づくアプローチを2010年から2024年にかけて比較した。 意味的ドリフトを定量化するために、各項の2つの個別期間からの文脈的埋め込み「雲」を比較する。 その結果、周波数に基づく手法は、意味的指標よりも「トレンド関連用語」の人間の判断とわずかによく一致していることが示唆された。
• 参考スコア（独自算出の注目度）: 0.9176056742068813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Identifying technological trends is a core scientometric task, yet traditional frequency-based approaches struggle to capture substantial meaning shifts of domain-specific terms. We hypothesise that contextual embeddings can complement frequency dynamics to effectively track diachronic semantic change. We compare frequency and embedding-based approaches across Astrophysics and NLP corpora spanning from 2010 to 2024. Candidate terms are extracted using KeyBERT (utilizing SciBERT as its underlying language model) and filtered for significant frequency increases using Fisher's exact test. These terms are then evaluated for genuine semantic shift by domain experts to establish ground-truth labels. To quantify semantic drift, each term's contextual embedding ''clouds'' from the two discrete periods are compared using multiple metrics: cosine distance, average pairwise distance, Hotelling-type T 2 , and maximum mean discrepancy. Results indicate that frequency-based methods align slightly better with human judgments of ''trend-related terms'' than semantic metrics (Precision@50 of 0.62 vs 0.60 in Astrophysics). The two signals show a correlation of around 0.6. Several terms identified exclusively by embedding metrics (e.g., ''primordial black holes'') represent critical conceptual developments invisible to pure frequency analysis. These findings indicate that semantic metrics may capture complementary information, highlighting the value of integrating contextual embeddings into scientometric trend analysis.
• Abstract（参考訳）: 技術的なトレンドを特定することは、中核的なサイエントメトリックなタスクであるが、伝統的な周波数ベースのアプローチは、ドメイン固有の用語の実質的な意味の変化を捉えるのに苦労している。 我々は、文脈埋め込みが周波数力学を補完し、ダイアクロニックな意味変化を効果的に追跡できると仮定する。 天体物理学とNLPコーパスの周波数および埋め込みに基づくアプローチを2010年から2024年にかけて比較した。 KeyBERT (SciBERTを基本言語モデルとして使用) を用いて候補語を抽出し、Fisherの正確なテストでかなりの頻度の増加をフィルタする。 これらの用語は、ドメインの専門家によって真に意味的なシフトとして評価され、基底真実のラベルが確立される。 意味的ドリフトを定量化するために、2つの離散的な期間からそれぞれの用語の文脈的埋め込み ''クラウド' を、余弦距離、平均対距離、ホテルリング型T2、最大平均差の3つの指標を用いて比較する。 その結果、周波数に基づく手法は、意味的指標(天体物理学ではPrecision@50 対 0.62 対 0.60 対 0.60 )よりも、人間による「トレンド関連用語」の判断とわずかによく一致していることが示唆された。 2つの信号は、約0.6の相関を示す。 いくつかの用語(例えば「原始ブラックホール」)は、純粋な周波数分析には見えない重要な概念的発展を表す。 これらの結果は,意味的指標が相補的な情報を捉え,文脈埋め込みを科学的傾向分析に組み込むことの価値を強調していることを示している。

関連論文リスト

• Dynamics of meaning: Towards the Evaluation of Diachronic Semantic Change in Sinhala [1.256381443503838]
  本研究では,13世紀から20世紀にかけてのシンハラ語の年代変化を多段階計算フレームワークを用いて検討した。 我々はまず、SMA(Simisity Matrix Based Alignment)とOP(Orthogonal Procrustes)技術を用いて、世紀固有のWord2VecとFastTextの埋め込みを調整する。 本研究では, 微調整したLlama-3.1-8Bの組込みによる双方向セマンティック・インパクト・プルーニング手法を提案する。
  論文  参考訳（メタデータ） (2026-09-08T11:43:50Z)
• Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
  本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。 本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T08:45:35Z)
• Investigating the Frequency Distortion of Word Embeddings and Its Impact on Bias Metrics [2.1374208474242815]
  いくつかの静的単語埋め込みにおける周波数と意味的類似性の関係を体系的に研究する。 Skip-gram、GloVe、FastTextの埋め込みは、他の周波数の組み合わせよりも高周波ワード間の意味的類似性が高い傾向にある。
  論文  参考訳（メタデータ） (2022-11-15T15:11:06Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Frequency-based Distortions in Contextualized Word Embeddings [29.88883761339757]
  本研究は,文脈化単語埋め込みの幾何学的特徴を2つの新しいツールを用いて探究する。 高頻度と低頻度の単語は、その表現幾何学に関して大きく異なる。 BERT-Baseは、北米やヨーロッパ諸国よりも南アメリカとアフリカ諸国の差別化が難しい。
  論文  参考訳（メタデータ） (2021-04-17T06:35:48Z)
• Generalized Word Shift Graphs: A Method for Visualizing and Explaining Pairwise Comparisons Between Texts [0.15833270109954134]
  計算テキスト分析における一般的な課題は、2つのコーパスが単語頻度、感情、情報内容などの測定によってどのように異なるかを定量化することである。 一般化された単語シフトグラフを導入し、個々の単語が2つのテキスト間の変動にどのように貢献するかを意味的かつ解釈可能な要約を生成する。 このフレームワークは、相対周波数、辞書スコア、Kulback-LeiblerやJensen-Shannonの発散といったエントロピーに基づく測度など、テキストの比較によく使われる多くのアプローチを自然に含んでいることを示す。
  論文  参考訳（メタデータ） (2020-08-05T17:27:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。