論文の概要: Axis Tour: Word Tour Determines the Order of Axes in ICA-transformed Embeddings

• arxiv url: http://arxiv.org/abs/2401.06112v2
• Date: Thu, 13 Jun 2024 13:44:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-15 00:06:54.576811
• Title: Axis Tour: Word Tour Determines the Order of Axes in ICA-transformed Embeddings
• Title（参考訳）: アクシスツアー:ICA変換埋め込みにおけるアクシスの順序を決定するワードツアー
• Authors: Hiroaki Yamagiwa, Yusuke Takase, Hidetoshi Shimodaira,
• Abstract要約: ICA変換された単語埋め込みは解釈可能な意味軸を示すが、これらの軸の順序は任意である。 1次元の単語埋め込み手法であるWord Tourに着想を得て,単語埋め込み空間の明瞭さの向上を目指す。 我々は,Axis Tour が PCA と ICA のどちらよりも優れた,あるいは同等の低次元埋め込みをもたらすことを示す実験を通して示す。
• 参考スコア（独自算出の注目度）: 2.8402080392117757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Word embedding is one of the most important components in natural language processing, but interpreting high-dimensional embeddings remains a challenging problem. To address this problem, Independent Component Analysis (ICA) is identified as an effective solution. ICA-transformed word embeddings reveal interpretable semantic axes; however, the order of these axes are arbitrary. In this study, we focus on this property and propose a novel method, Axis Tour, which optimizes the order of the axes. Inspired by Word Tour, a one-dimensional word embedding method, we aim to improve the clarity of the word embedding space by maximizing the semantic continuity of the axes. Furthermore, we show through experiments on downstream tasks that Axis Tour yields better or comparable low-dimensional embeddings compared to both PCA and ICA.
• Abstract（参考訳）: 単語埋め込みは自然言語処理において最も重要な要素の1つであるが、高次元埋め込みを解釈することは難しい問題である。 この問題に対処するため,独立成分分析(ICA)を有効解として同定する。 ICA変換された単語埋め込みは解釈可能な意味軸を示すが、これらの軸の順序は任意である。 本研究では,この特性に着目し,軸の順序を最適化する新しい手法であるAxis Tourを提案する。 1次元の単語埋め込み手法であるWord Tourにインスパイアされた我々は、軸のセマンティックな連続性を最大化し、単語埋め込み空間の明瞭さを向上させることを目指している。 さらに,Axis Tour が PCA や ICA と比較して,より優れた,あるいは同等の低次元埋め込みを実現するダウンストリームタスクの実験を行った。

関連論文リスト

• On the Dimensionality of Sentence Embeddings [56.86742006079451]
  文埋め込みの最適次元は通常、デフォルト値よりも小さいことを示す。 文表現学習モデルの2段階学習法を提案し、エンコーダとプーラを個別に最適化することにより、全体的な性能損失を軽減する。
  論文  参考訳（メタデータ） (2023-10-23T18:51:00Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem [6.09170287691728]
  本研究では,教師なし1次元単語埋め込みのWordTourを提案する。 そこで本研究では,単語埋め込みのデシラタを,完全性と健全性という2つの部分に分解する手法を提案する。 単一の次元のため、WordTourは非常に効率的で、単語の埋め込みを処理するための最小限の手段を提供する。
  論文  参考訳（メタデータ） (2022-05-04T08:46:02Z)
• Incorporating Dynamic Semantics into Pre-Trained Language Model for Aspect-based Sentiment Analysis [67.41078214475341]
  ABSAの動的アスペクト指向セマンティクスを学ぶために,DR-BERT(Dynamic Re-weighting BERT)を提案する。 具体的には、まずStack-BERT層を主エンコーダとして、文の全体的な意味を理解する。 次に、軽量な動的再重み付けアダプタ(DRA)を導入して微調整する。
  論文  参考訳（メタデータ） (2022-03-30T14:48:46Z)
• Cross-Lingual BERT Contextual Embedding Space Mapping with Isotropic and Isometric Conditions [7.615096161060399]
  並列コーパスを利用した文脈認識・辞書フリーマッピング手法について検討する。 本研究は, 正規化文脈埋め込み空間における等方性, 等方性, 等方性の間の密接な関係を解明するものである。
  論文  参考訳（メタデータ） (2021-07-19T22:57:36Z)
• Training Bi-Encoders for Word Sense Disambiguation [4.149972584899897]
  Word Sense Disambiguationの最先端のアプローチは、これらのモデルからの事前訓練された埋め込みとともに語彙情報を活用し、標準評価ベンチマークにおける人間間のアノテータ合意に匹敵する結果を得る。 我々はさらに,多段階事前学習および微調整パイプラインを通じて,Word Sense Disambiguationにおける技術の現状について述べる。
  論文  参考訳（メタデータ） (2021-05-21T06:06:03Z)
• Zero-Shot Cross-Lingual Dependency Parsing through Contextual Embedding Transformation [7.615096161060399]
  クロスリンガル埋め込み空間マッピングは通常、静的ワードレベル埋め込みで研究される。 感覚レベルと辞書のない文脈埋め込みアライメントアプローチを検討する。 組み込み変換によって構築された概念共有空間によるゼロショット依存性解析の実験は、多言語埋め込みを使用して最先端の方法を大幅に上回る。
  論文  参考訳（メタデータ） (2021-03-03T06:50:43Z)
• Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks [58.87961226278285]
  語彙意味変化をモデル化するための自己教師付きアプローチを提案する。 本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。 3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
  論文  参考訳（メタデータ） (2021-01-30T18:59:43Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• The POLAR Framework: Polar Opposites Enable Interpretability of Pre-Trained Word Embeddings [6.894744675083238]
  POLAR - 意味微分の導入により、事前学習された単語の埋め込みに解釈可能性を追加するフレームワークを紹介する。 様々な下流タスクにデプロイすることで、フレームワークの有効性を実証する。 また,我々の枠組みによって選択された解釈可能な次元が人間の判断と一致していることも示している。
  論文  参考訳（メタデータ） (2020-01-27T15:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。