論文の概要: A Cluster-based Approach for Improving Isotropy in Contextual Embedding
Space
- arxiv url: http://arxiv.org/abs/2106.01183v1
- Date: Wed, 2 Jun 2021 14:26:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-03 14:31:35.694324
- Title: A Cluster-based Approach for Improving Isotropy in Contextual Embedding
Space
- Title(参考訳): コンテキスト埋め込み空間における等方性改善のためのクラスタベースアプローチ
- Authors: Sara Rajaee and Mohammad Taher Pilehvar
- Abstract要約: 文脈的単語表現(CWR)における表現退化問題は、埋め込み空間の表現性を損なう。
本研究では,文脈埋め込み空間における縮退問題に対処する局所クラスタベースの手法を提案する。
動詞表現の主流方向を除去することで,空間をセマンティックな応用に適合させることが可能であることを示す。
- 参考スコア(独自算出の注目度): 18.490856440975996
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The representation degeneration problem in Contextual Word Representations
(CWRs) hurts the expressiveness of the embedding space by forming an
anisotropic cone where even unrelated words have excessively positive
correlations. Existing techniques for tackling this issue require a learning
process to re-train models with additional objectives and mostly employ a
global assessment to study isotropy. Our quantitative analysis over isotropy
shows that a local assessment could be more accurate due to the clustered
structure of CWRs. Based on this observation, we propose a local cluster-based
method to address the degeneration issue in contextual embedding spaces. We
show that in clusters including punctuations and stop words, local dominant
directions encode structural information, removing which can improve CWRs
performance on semantic tasks. Moreover, we find that tense information in verb
representations dominates sense semantics. We show that removing dominant
directions of verb representations can transform the space to better suit
semantic applications. Our experiments demonstrate that the proposed
cluster-based method can mitigate the degeneration problem on multiple tasks.
- Abstract(参考訳): 文脈表現(cwrs)における表現変性問題は、無関係な単語が過度に正の相関を持つ異方性円錐を形成することにより、埋め込み空間の表現性が損なわれる。
この問題に対処する既存の技術は、追加の目的を持つモデルを再訓練する学習プロセスを必要とし、主に等方性を研究するためにグローバルアセスメントを採用する。
等方性に関する定量的解析から,CWRのクラスター構造により局所的な評価がより正確である可能性が示唆された。
この観察に基づいて,コンテキスト埋め込み空間におけるデジェネレーション問題に対処するローカルクラスタベース手法を提案する。
句読点や停止語を含むクラスタでは、局所的な支配方向が構造情報を符号化し、セマンティックタスクにおけるCWRのパフォーマンスを改善することができることを示す。
さらに,動詞表現における時制情報は意味論的に支配的であることがわかった。
動詞表現の主流方向を除去することで,空間をセマンティックな応用に適合させることができることを示す。
提案するクラスタベース手法は,複数のタスクにおけるデジェネレーション問題を軽減できることを実証する。
関連論文リスト
- Distributional Reduction: Unifying Dimensionality Reduction and
Clustering with Gromov-Wasserstein Projection [50.51460159104604]
教師なし学習は、潜在的に大きな高次元データセットの基盤構造を捉えることを目的としている。
伝統的に、これは次元還元法を用いて解釈可能な空間にデータを投影したり、意味のあるクラスタにポイントを整理する。
私たちは新しい視点 – 流通の視点 – を提供しています。
我々はクラスタリングと次元還元を分散還元と呼ばれる単一のフレームワークに統合する。
論文 参考訳(メタデータ) (2024-02-03T19:00:19Z) - CPR++: Object Localization via Single Coarse Point Supervision [55.8671776333499]
粗い点修正(CPR)は、アルゴリズムの観点からの意味的分散を緩和する最初の試みである。
CPRは、アノテートされた最初のポイントを置き換えるために、近隣地域のセマンティックセンターポイントを選択することで意味のばらつきを減らす。
CPR++は、スケール情報を取得し、グローバル領域における意味的分散をさらに低減することができる。
論文 参考訳(メタデータ) (2024-01-30T17:38:48Z) - Open-Vocabulary Segmentation with Semantic-Assisted Calibration [73.39366775301382]
オープンボキャブラリセグメンテーション(OVS)は,CLIPの文脈に先行して,語彙内およびドメインバイアスの埋め込み空間を校正することで研究される。
オープン語彙セグメンテーションベンチマークにおける最先端性能を実現するために,セマンティック・アシブ・キャリブレーション・ネットワーク(SCAN)を提案する。
論文 参考訳(メタデータ) (2023-12-07T07:00:09Z) - Learning Disentangled Semantic Spaces of Explanations via Invertible
Neural Networks [1.412592032367082]
切り離された潜在空間は、通常、より良い意味分離性と幾何学的性質を持ち、より良い解釈可能性とより制御可能なデータ生成をもたらす。
本研究では,より一般的な文意味的特徴の局所的な修正と制御を目的とした,文の絡み合いのより一般的な形態に着目した。
本稿では,トランスフォーマベース言語であるオートエンコーダ(AE)と統合されたフローベース可逆ニューラルネットワーク(INN)機構を導入し,より分離性に優れた潜在空間を実現する。
論文 参考訳(メタデータ) (2023-05-02T18:27:13Z) - Discovering Class-Specific GAN Controls for Semantic Image Synthesis [73.91655061467988]
本稿では,事前訓練されたSISモデルの潜在空間において,空間的に不整合なクラス固有方向を求める新しい手法を提案する。
提案手法によって検出される潜在方向は,セマンティッククラスの局所的な外観を効果的に制御できることを示す。
論文 参考訳(メタデータ) (2022-12-02T21:39:26Z) - Entity-enhanced Adaptive Reconstruction Network for Weakly Supervised
Referring Expression Grounding [214.8003571700285]
Referring Expression Grounding (REG) は、言語表現によって記述されたイメージにおいて特定のターゲットをグラウンドすることを目的としている。
我々は、エンティティ強化適応再構築ネットワーク(EARN)を設計する。
EARNには、エンティティの強化、適応的な接地、協調的な再構築の3つのモジュールが含まれている。
論文 参考訳(メタデータ) (2022-07-18T05:30:45Z) - Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。
本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。
本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。
セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文 参考訳(メタデータ) (2021-10-04T03:59:15Z) - Unsupervised Word Translation Pairing using Refinement based Point Set
Registration [8.568050813210823]
単語埋め込みの言語間アライメントは、言語間の知識伝達において重要な役割を果たす。
現在の教師なしのアプローチは、言語にまたがる単語埋め込み空間の幾何学的構造における類似性に依存している。
本稿では,バイリンガル単語の共有ベクトル空間への埋め込みを教師なしでマッピングするBioSpereを提案する。
論文 参考訳(メタデータ) (2020-11-26T09:51:29Z) - Contextual-Relation Consistent Domain Adaptation for Semantic
Segmentation [44.19436340246248]
本稿では,革新的局所文脈相関整合ドメイン適応手法を提案する。
グローバルレベルのアライメントにおいて、地域レベルのコンピテンシーを達成することを目的としている。
実験では, 最先端手法と比較して, セグメンテーション性能が優れていることを示した。
論文 参考訳(メタデータ) (2020-07-05T19:00:46Z) - Focus on Semantic Consistency for Cross-domain Crowd Understanding [34.560447389853614]
いくつかのドメイン適応アルゴリズムは、合成データでモデルをトレーニングすることでそれを解放しようとする。
その結果,背景領域における推定誤差が既存手法の性能を阻害していることが判明した。
本稿では,ドメイン適応手法を提案する。
論文 参考訳(メタデータ) (2020-02-20T08:51:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。