論文の概要: The POLAR Framework: Polar Opposites Enable Interpretability of Pre-Trained Word Embeddings

• arxiv url: http://arxiv.org/abs/2001.09876v2
• Date: Tue, 28 Jan 2020 13:40:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-06 07:23:23.494765
• Title: The POLAR Framework: Polar Opposites Enable Interpretability of Pre-Trained Word Embeddings
• Title（参考訳）: POLARフレームワーク: 事前学習された単語埋め込みの解釈可能性を実現するPolar Opposites
• Authors: Binny Mathew, Sandipan Sikdar, Florian Lemmerich and Markus Strohmaier
• Abstract要約: POLAR - 意味微分の導入により、事前学習された単語の埋め込みに解釈可能性を追加するフレームワークを紹介する。 様々な下流タスクにデプロイすることで、フレームワークの有効性を実証する。 また,我々の枠組みによって選択された解釈可能な次元が人間の判断と一致していることも示している。
• 参考スコア（独自算出の注目度）: 6.894744675083238
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce POLAR - a framework that adds interpretability to pre-trained word embeddings via the adoption of semantic differentials. Semantic differentials are a psychometric construct for measuring the semantics of a word by analysing its position on a scale between two polar opposites (e.g., cold -- hot, soft -- hard). The core idea of our approach is to transform existing, pre-trained word embeddings via semantic differentials to a new "polar" space with interpretable dimensions defined by such polar opposites. Our framework also allows for selecting the most discriminative dimensions from a set of polar dimensions provided by an oracle, i.e., an external source. We demonstrate the effectiveness of our framework by deploying it to various downstream tasks, in which our interpretable word embeddings achieve a performance that is comparable to the original word embeddings. We also show that the interpretable dimensions selected by our framework align with human judgement. Together, these results demonstrate that interpretability can be added to word embeddings without compromising performance. Our work is relevant for researchers and engineers interested in interpreting pre-trained word embeddings.
• Abstract（参考訳）: POLAR - 意味微分の導入により、事前学習された単語の埋め込みに解釈可能性を追加するフレームワークを紹介する。 セマンティック微分(Semantic differentials)は、2つの極の反対(例えば、冷たく、柔らかい、硬い)のスケールでその位置を分析することによって、単語の意味を測定するための心理測定構造である。 我々のアプローチの中核となる考え方は、意味微分を通じて既存の事前訓練された単語埋め込みを、そのような極性で定義された解釈可能な次元を持つ新しい「極性」空間に変換することである。 当社のフレームワークでは,oracleが提供する極次元,すなわち外部ソースから,最も識別的な次元を選択することも可能です。 本稿では,従来の単語埋め込みに匹敵する性能を実現するために,様々な下流タスクに展開することで,フレームワークの有効性を実証する。 また,我々の枠組みによって選択された解釈可能な次元が人間の判断と一致していることを示す。 これらの結果から, 性能を損なうことなく, 単語埋め込みに解釈性を加えることができることを示した。 我々の研究は、事前訓練された単語埋め込みの解釈に興味のある研究者やエンジニアに関係している。

関連論文リスト

• Enhancing Interpretability using Human Similarity Judgements to Prune Word Embeddings [0.0]
  NLPの解釈可能性メソッドは、特定のシステムアーキテクチャの基礎となるセマンティクスに関する洞察を提供することを目的としている。 本稿では,人間の類似性判断の予測を強く改善するモデル特徴のサブセットを同定する教師付き学習手法を提案する。 本手法は,8つの独立したセマンティックドメインに対して,元の埋め込みの20～40%しか保持していないことを示す。 次に、保持された特徴のセマンティクスを解釈するための2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-16T10:38:49Z)
• Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations [80.45474362071236]
  文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。 文埋め込み学習のためのエンドツーエンドフレームワークであるInterSentを提案する。
  論文  参考訳（メタデータ） (2023-05-24T00:44:49Z)
• Unsupervised Interpretable Basis Extraction for Concept-Based Visual Explanations [53.973055975918655]
  提案手法を用いて抽出したベースに変換すると,中間層表現がより解釈可能であることを示す。 提案手法は,提案手法を教師付きアプローチから抽出したベースと,教師付き手法から抽出したベースを比較した結果,教師なし手法は教師付き手法の限界を構成する強みを有し,今後の研究の方向性を示す。
  論文  参考訳（メタデータ） (2023-03-19T00:37:19Z)
• SensePOLAR: Word sense aware interpretability for pre-trained contextual word embeddings [4.479834103607384]
  単語埋め込みに解釈可能性を加えることは、テキスト表現における活発な研究の領域である。 本稿では,従来のPOLARフレームワークを拡張したSensePOLARを提案する。
  論文  参考訳（メタデータ） (2023-01-11T20:25:53Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Robust Unsupervised Cross-Lingual Word Embedding using Domain Flow Interpolation [48.32604585839687]
  従来の敵対的アプローチは、並列データ無しに言語間単語埋め込みを誘導する有望な結果を示している。 そこで本研究では,滑らかなブリッジングのための中間空間列を提案する。
  論文  参考訳（メタデータ） (2022-10-07T04:37:47Z)
• Keywords and Instances: A Hierarchical Contrastive Learning Framework Unifying Hybrid Granularities for Text Generation [59.01297461453444]
  入力テキスト中のハイブリッドな粒度意味を統一する階層的コントラスト学習機構を提案する。 実験により,本モデルがパラフレージング,対話生成,ストーリーテリングタスクにおいて,競争ベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-26T13:26:03Z)
• Human-in-the-Loop Refinement of Word Embeddings [0.0]
  単語埋め込み後処理の適応を組み込んだシステムを提案する。 我々のアプローチは、人間が対話的に単語の埋め込みによって潜在的な品質問題を特定し、対処することを可能にする。 また、単語の埋め込み、単語の埋め込みに対する改善が機械学習パイプラインに与える影響について、より深い洞察を与えることができる。
  論文  参考訳（メタデータ） (2021-10-06T16:10:32Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Compass-aligned Distributional Embeddings for Studying Semantic Differences across Corpora [14.993021283916008]
  単語埋め込みを用いたクロスコーパス言語研究を支援するフレームワークを提案する。 CADEは私たちのフレームワークの中核的なコンポーネントであり、異なるコーパスから生成された埋め込みを整合させるという重要な問題を解決する。 実験の結果, CADEは, 競合するアプローチがいくつかあるタスクにおいて, 最先端あるいは優れた性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-04-13T15:46:47Z)
• Neutralizing Gender Bias in Word Embedding with Latent Disentanglement and Counterfactual Generation [25.060917870666803]
  適応的な勾配反転層を有するシアム自動エンコーダ構造を導入する。 我々の構造は,単語の意味潜時情報と性別潜時情報を,非結合潜時次元に分離することを可能にする。
  論文  参考訳（メタデータ） (2020-04-07T05:16:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。