論文の概要: A Cluster-based Approach for Improving Isotropy in Contextual Embedding Space

• arxiv url: http://arxiv.org/abs/2106.01183v1
• Date: Wed, 2 Jun 2021 14:26:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-03 14:31:35.694324
• Title: A Cluster-based Approach for Improving Isotropy in Contextual Embedding Space
• Title（参考訳）: コンテキスト埋め込み空間における等方性改善のためのクラスタベースアプローチ
• Authors: Sara Rajaee and Mohammad Taher Pilehvar
• Abstract要約: 文脈的単語表現(CWR)における表現退化問題は、埋め込み空間の表現性を損なう。 本研究では,文脈埋め込み空間における縮退問題に対処する局所クラスタベースの手法を提案する。 動詞表現の主流方向を除去することで,空間をセマンティックな応用に適合させることが可能であることを示す。
• 参考スコア（独自算出の注目度）: 18.490856440975996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The representation degeneration problem in Contextual Word Representations (CWRs) hurts the expressiveness of the embedding space by forming an anisotropic cone where even unrelated words have excessively positive correlations. Existing techniques for tackling this issue require a learning process to re-train models with additional objectives and mostly employ a global assessment to study isotropy. Our quantitative analysis over isotropy shows that a local assessment could be more accurate due to the clustered structure of CWRs. Based on this observation, we propose a local cluster-based method to address the degeneration issue in contextual embedding spaces. We show that in clusters including punctuations and stop words, local dominant directions encode structural information, removing which can improve CWRs performance on semantic tasks. Moreover, we find that tense information in verb representations dominates sense semantics. We show that removing dominant directions of verb representations can transform the space to better suit semantic applications. Our experiments demonstrate that the proposed cluster-based method can mitigate the degeneration problem on multiple tasks.
• Abstract（参考訳）: 文脈表現(cwrs)における表現変性問題は、無関係な単語が過度に正の相関を持つ異方性円錐を形成することにより、埋め込み空間の表現性が損なわれる。 この問題に対処する既存の技術は、追加の目的を持つモデルを再訓練する学習プロセスを必要とし、主に等方性を研究するためにグローバルアセスメントを採用する。 等方性に関する定量的解析から,CWRのクラスター構造により局所的な評価がより正確である可能性が示唆された。 この観察に基づいて,コンテキスト埋め込み空間におけるデジェネレーション問題に対処するローカルクラスタベース手法を提案する。 句読点や停止語を含むクラスタでは、局所的な支配方向が構造情報を符号化し、セマンティックタスクにおけるCWRのパフォーマンスを改善することができることを示す。 さらに,動詞表現における時制情報は意味論的に支配的であることがわかった。 動詞表現の主流方向を除去することで,空間をセマンティックな応用に適合させることができることを示す。 提案するクラスタベース手法は,複数のタスクにおけるデジェネレーション問題を軽減できることを実証する。

関連論文リスト

• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)
• Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein [56.62376364594194]
  教師なし学習は、潜在的に大きな高次元データセットの基盤構造を捉えることを目的としている。 本研究では、最適輸送のレンズの下でこれらのアプローチを再検討し、Gromov-Wasserstein問題と関係を示す。 これにより、分散還元と呼ばれる新しい一般的なフレームワークが公開され、DRとクラスタリングを特別なケースとして回復し、単一の最適化問題内でそれらに共同で対処することができる。
  論文  参考訳（メタデータ） (2024-02-03T19:00:19Z)
• CPR++: Object Localization via Single Coarse Point Supervision [55.8671776333499]
  粗い点修正(CPR)は、アルゴリズムの観点からの意味的分散を緩和する最初の試みである。 CPRは、アノテートされた最初のポイントを置き換えるために、近隣地域のセマンティックセンターポイントを選択することで意味のばらつきを減らす。 CPR++は、スケール情報を取得し、グローバル領域における意味的分散をさらに低減することができる。
  論文  参考訳（メタデータ） (2024-01-30T17:38:48Z)
• Learning Disentangled Semantic Spaces of Explanations via Invertible Neural Networks [10.880057430629126]
  切り離された潜在空間は、通常、より良い意味分離性と幾何学的性質を持ち、より良い解釈可能性とより制御可能なデータ生成をもたらす。 本研究では,より一般的な文意味的特徴の局所的な修正と制御を目的とした,文の絡み合いのより一般的な形態に着目した。 本稿では,トランスフォーマベース言語であるオートエンコーダ(AE)と統合されたフローベース可逆ニューラルネットワーク(INN)機構を導入し,より分離性に優れた潜在空間を実現する。
  論文  参考訳（メタデータ） (2023-05-02T18:27:13Z)
• Discovering Class-Specific GAN Controls for Semantic Image Synthesis [73.91655061467988]
  本稿では,事前訓練されたSISモデルの潜在空間において,空間的に不整合なクラス固有方向を求める新しい手法を提案する。 提案手法によって検出される潜在方向は,セマンティッククラスの局所的な外観を効果的に制御できることを示す。
  論文  参考訳（メタデータ） (2022-12-02T21:39:26Z)
• Entity-enhanced Adaptive Reconstruction Network for Weakly Supervised Referring Expression Grounding [214.8003571700285]
  Referring Expression Grounding (REG) は、言語表現によって記述されたイメージにおいて特定のターゲットをグラウンドすることを目的としている。 我々は、エンティティ強化適応再構築ネットワーク(EARN)を設計する。 EARNには、エンティティの強化、適応的な接地、協調的な再構築の3つのモジュールが含まれている。
  論文  参考訳（メタデータ） (2022-07-18T05:30:45Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Contextual-Relation Consistent Domain Adaptation for Semantic Segmentation [44.19436340246248]
  本稿では,革新的局所文脈相関整合ドメイン適応手法を提案する。 グローバルレベルのアライメントにおいて、地域レベルのコンピテンシーを達成することを目的としている。 実験では, 最先端手法と比較して, セグメンテーション性能が優れていることを示した。
  論文  参考訳（メタデータ） (2020-07-05T19:00:46Z)
• Focus on Semantic Consistency for Cross-domain Crowd Understanding [34.560447389853614]
  いくつかのドメイン適応アルゴリズムは、合成データでモデルをトレーニングすることでそれを解放しようとする。 その結果,背景領域における推定誤差が既存手法の性能を阻害していることが判明した。 本稿では,ドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T08:51:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。