論文の概要: Achieving Semantic Consistency: Contextualized Word Representations for Political Text Analysis

• arxiv url: http://arxiv.org/abs/2412.04505v2
• Date: Sun, 19 Jan 2025 06:54:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:15:31.720854
• Title: Achieving Semantic Consistency: Contextualized Word Representations for Political Text Analysis
• Title（参考訳）: 意味的一貫性の達成:政治的テキスト分析のための文脈的単語表現
• Authors: Ruiyu Zhang, Lin Nie, Ce Zhao, Qingyang Chen,
• Abstract要約: 本研究では,Word2Vec と BERT を比較し,異なる時間枠における意味表現の性能を評価する。 その結果,BERTはWord2Vecよりもセマンティック安定性を保ちつつも微妙なセマンティックなバリエーションを認識していることがわかった。
• 参考スコア（独自算出の注目度）: 0.9249657468385781
• License:
• Abstract: Accurately interpreting words is vital in political science text analysis; some tasks require assuming semantic stability, while others aim to trace semantic shifts. Traditional static embeddings, like Word2Vec effectively capture long-term semantic changes but often lack stability in short-term contexts due to embedding fluctuations caused by unbalanced training data. BERT, which features transformer-based architecture and contextual embeddings, offers greater semantic consistency, making it suitable for analyses in which stability is crucial. This study compares Word2Vec and BERT using 20 years of People's Daily articles to evaluate their performance in semantic representations across different timeframes. The results indicate that BERT outperforms Word2Vec in maintaining semantic stability and still recognizes subtle semantic variations. These findings support BERT's use in text analysis tasks that require stability, where semantic changes are not assumed, offering a more reliable foundation than static alternatives.
• Abstract（参考訳）: 正確な単語の解釈は、政治科学のテキスト分析において不可欠であり、意味的安定性を仮定するタスクもあれば、意味的変化の追跡を狙うタスクもある。 Word2Vecのような従来の静的な埋め込みは、長期のセマンティックな変更を効果的にキャプチャするが、アンバランスなトレーニングデータによる埋め込みの変動により、短期的なコンテキストでは安定性が欠如することが多い。 BERTは、トランスフォーマーベースのアーキテクチャとコンテキスト埋め込みを特徴とするもので、よりセマンティックな一貫性を提供し、安定性が不可欠である分析に適している。 本研究では,Word2Vec と BERT を20年間の人事誌記事を用いて比較し,異なる時間枠における意味表現の性能を評価する。 その結果,BERTはWord2Vecよりもセマンティック安定性を保ちつつも微妙なセマンティックなバリエーションを認識していることがわかった。 これらの発見は、セマンティックな変更が想定されない安定性を必要とするテキスト解析タスクにおけるBERTの使用をサポートし、静的な代替よりも信頼性の高い基盤を提供する。

関連論文リスト

• Deep End-to-End Survival Analysis with Temporal Consistency [49.77103348208835]
  本稿では,大規模長手データの処理を効率的に行うために,Survival Analysisアルゴリズムを提案する。 我々の手法における中心的な考え方は、時間とともにデータにおける過去と将来の成果が円滑に進化するという仮説である時間的一貫性である。 我々のフレームワークは、安定したトレーニング信号を提供することで、時間的一貫性を大きなデータセットに独自に組み込む。
  論文  参考訳（メタデータ） (2024-10-09T11:37:09Z)
• A Systematic Analysis on the Temporal Generalization of Language Models in Social Media [12.035331011654078]
  本稿では,ソーシャルメディア,特にTwitterの時間的変化に注目した。 本研究では,言語モデル(LM)の性能を時間的シフトで評価するための統一評価手法を提案する。
  論文  参考訳（メタデータ） (2024-05-15T05:41:06Z)
• A Survey on Contextualised Semantic Shift Detection [0.0]
  セマンティックシフト検出(セマンティックシフト検出、Semantic Shift Detection、SSD)は、ターゲット語の意味における時間的変化を識別し、解釈し、評価するタスクである。 本稿では,意味表現,時間認識,学習モダリティ次元を特徴とする分類フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-04T09:50:19Z)
• Interpreting BERT-based Text Similarity via Activation and Saliency Maps [26.279593839644836]
  本稿では,事前学習したBERTモデルから推定される段落類似性を説明するための教師なし手法を提案する。 一対の段落を見ると,各段落の意味を規定する重要な単語を識別し,各段落間の単語の一致を判定し,両者の類似性を説明する最も重要なペアを検索する。
  論文  参考訳（メタデータ） (2022-08-13T10:06:24Z)
• Incorporating Dynamic Semantics into Pre-Trained Language Model for Aspect-based Sentiment Analysis [67.41078214475341]
  ABSAの動的アスペクト指向セマンティクスを学ぶために,DR-BERT(Dynamic Re-weighting BERT)を提案する。 具体的には、まずStack-BERT層を主エンコーダとして、文の全体的な意味を理解する。 次に、軽量な動的再重み付けアダプタ(DRA)を導入して微調整する。
  論文  参考訳（メタデータ） (2022-03-30T14:48:46Z)
• HistBERT: A Pre-trained Language Model for Diachronic Lexical Semantic Analysis [3.2851864672627618]
  本稿では,英語のバランスを保ったコーパスに基づいて,事前学習したBERTベースの言語モデルHistBERTを提案する。 単語類似性および意味変化解析における有望な結果を報告する。
  論文  参考訳（メタデータ） (2022-02-08T02:53:48Z)
• WMDecompose: A Framework for Leveraging the Interpretable Properties of Word Mover's Distance in Sociocultural Analysis [0.0]
  妥当性と解釈可能性のバランスをとる一般的なモデルは、Word Mover's Distance (WMD)である。 WMDecomposeは、文書レベル距離を構成語レベル距離に分解し、その後、単語をクラスタ化してテーマ要素を誘導するモデルおよびPythonライブラリである。
  論文  参考訳（メタデータ） (2021-10-14T13:04:38Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)
• Interpretable Time-series Representation Learning With Multi-Level Disentanglement [56.38489708031278]
  Disentangle Time Series (DTS)は、シーケンシャルデータのための新しいDisentanglement Enhanceingフレームワークである。 DTSは時系列の解釈可能な表現として階層的意味概念を生成する。 DTSは、セマンティック概念の解釈性が高く、下流アプリケーションで優れたパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-05-17T22:02:24Z)
• Introducing Syntactic Structures into Target Opinion Word Extraction with Deep Learning [89.64620296557177]
  目的語抽出のためのディープラーニングモデルに文の構文構造を組み込むことを提案する。 また,ディープラーニングモデルの性能向上のために,新たな正規化手法を導入する。 提案モデルは,4つのベンチマークデータセット上での最先端性能を広範囲に解析し,達成する。
  論文  参考訳（メタデータ） (2020-10-26T07:13:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。