論文の概要: Distilling Semantic Concept Embeddings from Contrastively Fine-Tuned Language Models

• arxiv url: http://arxiv.org/abs/2305.09785v1
• Date: Tue, 16 May 2023 20:17:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-18 18:31:18.977230
• Title: Distilling Semantic Concept Embeddings from Contrastively Fine-Tuned Language Models
• Title（参考訳）: 対照的に微調整された言語モデルから意味概念を蒸留する
• Authors: Na Li, Hanane Kteich, Zied Bouraoui, Steven Schockaert
• Abstract要約: 言語モデルを使用する現在の戦略は、あるコーパスにおける言及の文脈化された表現を平均化することによって概念を表現するのが一般的である。 本稿では,2つの文が類似した性質を示すとき,対応する文脈化されたベクトルも類似するべきであるという見解に基づいて,2つの対照的な学習戦略を提案する。 1つの戦略は、文脈化された単語埋め込みの近傍構造から文で表される特性を推定する、完全に教師なしである。 第2の戦略は、ConceptNetからの遠方の監視信号に依存する。
• 参考スコア（独自算出の注目度）: 39.514266900301294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning vectors that capture the meaning of concepts remains a fundamental challenge. Somewhat surprisingly, perhaps, pre-trained language models have thus far only enabled modest improvements to the quality of such concept embeddings. Current strategies for using language models typically represent a concept by averaging the contextualised representations of its mentions in some corpus. This is potentially sub-optimal for at least two reasons. First, contextualised word vectors have an unusual geometry, which hampers downstream tasks. Second, concept embeddings should capture the semantic properties of concepts, whereas contextualised word vectors are also affected by other factors. To address these issues, we propose two contrastive learning strategies, based on the view that whenever two sentences reveal similar properties, the corresponding contextualised vectors should also be similar. One strategy is fully unsupervised, estimating the properties which are expressed in a sentence from the neighbourhood structure of the contextualised word embeddings. The second strategy instead relies on a distant supervision signal from ConceptNet. Our experimental results show that the resulting vectors substantially outperform existing concept embeddings in predicting the semantic properties of concepts, with the ConceptNet-based strategy achieving the best results. These findings are furthermore confirmed in a clustering task and in the downstream task of ontology completion.
• Abstract（参考訳）: 概念の意味を捉えるベクトルを学ぶことは、依然として根本的な課題である。 多少意外なことに、おそらくは事前学習された言語モデルは、そのような概念埋め込みの品質をわずかに改善するしかなかった。 言語モデルを使用する現在の戦略は、一般的に、コーパスにおけるその言及の文脈化された表現を平均することで概念を表現する。 これは少なくとも2つの理由から最適化される可能性がある。 まず、文脈化された単語ベクトルは、下流のタスクを阻害する異常な形状を持つ。 第二に、概念埋め込みは概念の意味的性質を捉えなければならないが、文脈化された単語ベクトルは他の要因にも影響される。 これらの問題に対処するために,2つの文が類似する性質を示すとき,対応する文脈的ベクトルも類似するべきだという観点から,2つの対比学習戦略を提案する。 一つの戦略は完全に教師なしであり、文脈化された単語埋め込みの近傍構造から文中で表現される特性を推定する。 第2の戦略は、ConceptNetからの遠方の監視信号に依存する。 実験結果から,提案したベクトルは概念のセマンティックな特性を予測する上で,既存の概念埋め込みよりもはるかに優れており,ConceptNetベースの戦略が最良であることが示された。 これらの結果は、さらにクラスタリングタスクやオントロジー完了の下流タスクで確認される。

関連論文リスト

• Explaining Explainability: Understanding Concept Activation Vectors [35.37586279472797]
  最近の解釈可能性法では、概念に基づく説明を用いて、ディープラーニングモデルの内部表現を、人間が慣れ親しんだ言語に翻訳する。 これは、ニューラルネットワークの表現空間にどの概念が存在するかを理解する必要がある。 本研究では,概念活性化ベクトル(Concept Activation Vectors, CAV)の3つの特性について検討する。 本研究では,これらの特性の存在を検出するためのツールを導入し,それらが引き起こした説明にどのように影響するかを把握し,その影響を最小限に抑えるための推奨事項を提供する。
  論文  参考訳（メタデータ） (2024-04-04T17:46:20Z)
• Grounded learning for compositional vector semantics [1.4344589271451351]
  本研究では、スパイクニューラルネットワークアーキテクチャ内で構成分布意味論を実装する方法を提案する。 また,ラベル付き画像を用いて単語表現を訓練する手法についても述べる。
  論文  参考訳（メタデータ） (2024-01-10T22:12:34Z)
• Identifying Linear Relational Concepts in Large Language Models [16.917379272022064]
  トランスフォーマー言語モデル(LM)は、隠れたアクティベーションの潜在空間における方向として概念を表現することが示されている。 本稿では,リレーショナル・リレーショナル・コンセプト (LRC) と呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2023-11-15T14:01:41Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Rewrite Caption Semantics: Bridging Semantic Gaps for Language-Supervised Semantic Segmentation [100.81837601210597]
  本研究では,事前学習データにおける視覚的意味論とテキスト的意味論のギャップを埋めるための概念キュレーション(CoCu)を提案する。 CoCuは、最高にゼロショット転送性能を達成し、言語教師ありセグメンテーションベースラインを大きなマージンで大幅に向上させる。
  論文  参考訳（メタデータ） (2023-09-24T00:05:39Z)
• Visual Superordinate Abstraction for Robust Concept Learning [80.15940996821541]
  概念学習は言語意味論と結びついた視覚表現を構成する。 視覚概念の本質的な意味的階層を探索する失敗のボトルネックについて説明する。 本稿では,意味認識型視覚サブ空間を明示的にモデル化するビジュアル・スーパーオーディネート・抽象化・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-28T14:27:38Z)
• Learnable Visual Words for Interpretable Image Recognition [70.85686267987744]
  モデル予測動作を2つの新しいモジュールで解釈するLearable Visual Words (LVW)を提案する。 意味的な視覚的単語学習は、カテゴリ固有の制約を緩和し、異なるカテゴリ間で共有される一般的な視覚的単語を可能にする。 6つの視覚的ベンチマーク実験により,提案したLVWの精度とモデル解釈における優れた効果が示された。
  論文  参考訳（メタデータ） (2022-05-22T03:24:45Z)
• Translational Concept Embedding for Generalized Compositional Zero-shot Learning [73.60639796305415]
  一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。 本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-12-20T21:27:51Z)
• Concept Embedding for Information Retrieval [0.0]
  単語ベクトルに基づく概念ベクトルを構築するための3つの方法を提案する。 ベクトルに基づく測度を用いて概念間の類似性を推定する。 これは概念的な索引付けプロセスを改善するために使われる。
  論文  参考訳（メタデータ） (2020-02-01T09:18:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。