論文の概要: Substitution-based Semantic Change Detection using Contextual Embeddings

• arxiv url: http://arxiv.org/abs/2309.02403v1
• Date: Tue, 5 Sep 2023 17:33:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 13:42:12.872792
• Title: Substitution-based Semantic Change Detection using Contextual Embeddings
• Title（参考訳）: 文脈埋め込みを用いた置換に基づく意味変化検出
• Authors: Dallas Card
• Abstract要約: 文脈埋め込みを用いて意味変化を測定するための簡易なアプローチを提案する。 このアプローチは直接解釈可能であるだけでなく、ストレージの観点からもはるかに効率的である。
• 参考スコア（独自算出の注目度）: 15.227236863109766
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Measuring semantic change has thus far remained a task where methods using contextual embeddings have struggled to improve upon simpler techniques relying only on static word vectors. Moreover, many of the previously proposed approaches suffer from downsides related to scalability and ease of interpretation. We present a simplified approach to measuring semantic change using contextual embeddings, relying only on the most probable substitutes for masked terms. Not only is this approach directly interpretable, it is also far more efficient in terms of storage, achieves superior average performance across the most frequently cited datasets for this task, and allows for more nuanced investigation of change than is possible with static word vectors.
• Abstract（参考訳）: セマンティックな変化の測定は、静的な単語ベクトルのみに依存する単純な手法によって、コンテキスト埋め込みを用いた手法の改善に苦慮している。 さらに、以前に提案されたアプローチの多くは、スケーラビリティと解釈の容易さに関するマイナス面に苦しめられている。 本稿では,文脈埋め込みを用いた意味的変化を測定するための簡易な手法を提案する。 このアプローチは直接解釈可能であるだけでなく、ストレージの観点からもはるかに効率的であり、このタスクで最も頻繁に引用されるデータセット全体で優れた平均性能を達成し、静的ワードベクターよりも変更の微妙な調査を可能にする。

関連論文リスト

• Semantic Text Compression for Classification [17.259824817932294]
  本研究では,テキストに含まれる意味をソースデコーダに伝達するテキストのセマンティック圧縮について検討する。 そこで,文の埋め込みと意味的歪み量を用いて意味を保存したテキストに対する意味量化と圧縮手法を提案する。
  論文  参考訳（メタデータ） (2023-09-19T17:50:57Z)
• Learning Context-aware Classifier for Semantic Segmentation [88.88198210948426]
  本稿では,文脈認識型分類器の学習を通じて文脈ヒントを利用する。 本手法はモデルに依存しないため,ジェネリックセグメンテーションモデルにも容易に適用できる。 無視できる追加パラメータと+2%の推論時間だけで、小型モデルと大型モデルの両方で十分な性能向上が達成されている。
  論文  参考訳（メタデータ） (2023-03-21T07:00:35Z)
• ESCL: Equivariant Self-Contrastive Learning for Sentence Representations [16.601370864663213]
  感性変換をフル活用するために,同変自己比較学習(ESCL)手法を提案する。 提案手法は,従来の手法に比べて学習パラメータを少なくしながら,より良い結果が得られる。
  論文  参考訳（メタデータ） (2023-03-09T09:52:28Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)
• Obtaining Better Static Word Embeddings Using Contextual Embedding Models [53.86080627007695]
  提案手法はCBOWをベースとした簡易な蒸留法である。 副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
  論文  参考訳（メタデータ） (2021-06-08T12:59:32Z)
• Denoising Word Embeddings by Averaging in a Shared Space [34.175826109538676]
  単語埋め込みの品質を円滑にし,改善するための新しい手法を提案する。 一般化プロクリスト解析(GPA)手法の効率的な実装を用いて,すべてのモデルを共有ベクトル空間に投影する。 新しい表現はより安定し信頼性が高いため、稀な単語評価において顕著な改善がある。
  論文  参考訳（メタデータ） (2021-06-05T19:49:02Z)
• Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks [58.87961226278285]
  語彙意味変化をモデル化するための自己教師付きアプローチを提案する。 本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。 3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
  論文  参考訳（メタデータ） (2021-01-30T18:59:43Z)
• Meta Transition Adaptation for Robust Deep Learning with Noisy Labels [61.8970957519509]
  本研究では,新しいメタ遷移学習戦略を提案する。 具体的には、クリーンなラベル付きメタデータの小さなセットのサウンドガイダンスにより、ノイズ遷移行列と分類器パラメータを相互に改善することができる。 本手法は, 従来技術よりも頑健な性能で, 遷移行列をより正確に抽出することができる。
  論文  参考訳（メタデータ） (2020-06-10T07:27:25Z)
• A Practical Framework for Relation Extraction with Noisy Labels Based on Doubly Transitional Loss [14.121872633596452]
  自動ラベリングのための実践的なエンドツーエンドのディープラーニングフレームワークを提案する。 1つの遷移は、隠れた層間の非線形変換によってパラメータ化される。 もう1つは、ラベル間の直接変換をキャプチャする明示的な確率遷移行列である。
  論文  参考訳（メタデータ） (2020-04-28T19:38:20Z)
• FDA: Fourier Domain Adaptation for Semantic Segmentation [82.4963423086097]
  本稿では,教師なし領域適応の簡易な手法について述べる。一方の低周波スペクトルを他方と交換することにより,音源と対象分布の相違を低減できる。 本手法を意味的セグメンテーション(semantic segmentation, 意味的セグメンテーション, 意味的セグメンテーション)で説明する。 以上の結果から,より高度な手法が学習に苦しむデータにおいて,単純な手順であってもニュアンス変動を低減できる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-04-11T22:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。