論文の概要: Asking without Telling: Exploring Latent Ontologies in Contextual Representations

• arxiv url: http://arxiv.org/abs/2004.14513v2
• Date: Fri, 9 Oct 2020 00:28:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 14:01:24.128498
• Title: Asking without Telling: Exploring Latent Ontologies in Contextual Representations
• Title（参考訳）: ask without tell: 文脈表現における潜在オントロジーの探索
• Authors: Julian Michael, Jan A. Botha, Ian Tenney
• Abstract要約: 事前学習した文脈エンコーダは、明示的な監督なしに言語構造の意味ある概念を符号化する。 その結果,既存のアノテーションからの離脱を含む事前学習エンコーダにおける創発的構造を示す新たな証拠が得られた。
• 参考スコア（独自算出の注目度）: 12.69022456384102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of pretrained contextual encoders, such as ELMo and BERT, has brought a great deal of interest in what these models learn: do they, without explicit supervision, learn to encode meaningful notions of linguistic structure? If so, how is this structure encoded? To investigate this, we introduce latent subclass learning (LSL): a modification to existing classifier-based probing methods that induces a latent categorization (or ontology) of the probe's inputs. Without access to fine-grained gold labels, LSL extracts emergent structure from input representations in an interpretable and quantifiable form. In experiments, we find strong evidence of familiar categories, such as a notion of personhood in ELMo, as well as novel ontological distinctions, such as a preference for fine-grained semantic roles on core arguments. Our results provide unique new evidence of emergent structure in pretrained encoders, including departures from existing annotations which are inaccessible to earlier methods.
• Abstract（参考訳）: ELMoやBERTのような事前訓練された文脈エンコーダの成功は、これらのモデルが何を学習するかに大きな関心をもたらしている。 もしそうなら、この構造はどのようにエンコードされますか? そこで本研究では,プローブの入力の潜在分類(あるいはオントロジー)を誘導する既存の分類器に基づく探索法を改良した,潜時サブクラス学習(lsl)を提案する。 粒度の細かい金ラベルにアクセスすることなく、LSLは入力表現から解釈可能で定量化可能な形で創発的構造を抽出する。 実験では、エルモにおけるパーソナリティの概念のような見慣れたカテゴリの強い証拠や、コア引数におけるきめ細かい意味的役割の選好のような新しい存在論的区別を見出した。 従来の手法では使用できない既存のアノテーションからの逸脱を含む,プリトレーニングエンコーダの創発的構造に関するユニークな新たな証拠を提供する。

関連論文リスト

• Disentangling Dense Embeddings with Sparse Autoencoders [0.0]
  スパースオートエンコーダ(SAE)は、複雑なニューラルネットワークから解釈可能な特徴を抽出する可能性を示している。 大規模言語モデルからの高密度テキスト埋め込みに対するSAEの最初の応用の1つを提示する。 その結果,解釈可能性を提供しながら意味的忠実さを保っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-08-01T15:46:22Z)
• Unsupervised Morphological Tree Tokenizer [36.584680344291556]
  トークン化のための形態的構造ガイダンスを導入し、単語の文字レベル構造を誘導する深層モデルを提案する。 具体的には、ディープモデルは、語の内部構造と表現を@textitOverriding$というメカニズムで共同でエンコードし、モルヒムの非分解性を保証する。 提案アルゴリズムは,提案手法により,単語をトップダウン方式で語彙マッチングによりトークン化する。
  論文  参考訳（メタデータ） (2024-06-21T15:35:49Z)
• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• OntoType: Ontology-Guided and Pre-Trained Language Model Assisted Fine-Grained Entity Typing [25.516304052884397]
  きめ細かいエンティティタイピング(FET)は、コンテキストに敏感できめ細かいセマンティックタイプでエンティティをテキストに割り当てる。 OntoTypeは、粗いものから細いものまで、型オントロジ構造に従い、複数のPLMをアンサンブルすることで、型候補のセットを生成する。 Ontonotes、FIGER、NYTデータセットに関する我々の実験は、我々の手法が最先端のゼロショットの微細なエンティティタイピング方法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-21T00:32:37Z)
• Lattice-preserving $\mathcal{ALC}$ ontology embeddings with saturation [50.05281461410368]
  OWL表現の埋め込みを生成するため,順序保存型埋め込み法を提案する。 本手法は,いくつかの知識ベース完了タスクにおいて,最先端の組込み手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-11T22:27:51Z)
• Semantic Role Labeling Meets Definition Modeling: Using Natural Language to Describe Predicate-Argument Structures [104.32063681736349]
  本稿では,離散ラベルの代わりに自然言語定義を用いて述語-代名詞構造を記述する手法を提案する。 PropBankスタイルおよびFrameNetスタイル、依存性ベースおよびスパンベースSRLに関する実験と分析は、解釈可能な出力を持つフレキシブルモデルが必ずしも性能を犠牲にしないことを示す。
  論文  参考訳（メタデータ） (2022-12-02T11:19:16Z)
• Prompting Language Models for Linguistic Structure [73.11488464916668]
  本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。 提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。 PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
  論文  参考訳（メタデータ） (2022-11-15T01:13:39Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Exploring the Role of BERT Token Representations to Explain Sentence Probing Results [15.652077779677091]
  BERTは特定のトークン表現において有意義な知識をエンコードする傾向にあることを示す。 これにより、シンタクティックとセマンティックの異常を検出し、文法的数とテンソル部分空間を一意に分離することができる。
  論文  参考訳（メタデータ） (2021-04-03T20:40:42Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Refining Implicit Argument Annotation for UCCA [6.873471412788333]
  本稿では,Universal Cognitive Conceptualの基盤層上に暗黙的アノテーションを具体化するためのタイポロジーを提案する。 提案された暗黙的な議論分類は暗黙的な役割解釈の理論によって駆動され、Deictic, Generic, Genre-based, Type-identible, Non-specific, Iterated-setの6つのタイプから構成される。
  論文  参考訳（メタデータ） (2020-05-26T17:24:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。