論文の概要: Asking without Telling: Exploring Latent Ontologies in Contextual
Representations
- arxiv url: http://arxiv.org/abs/2004.14513v2
- Date: Fri, 9 Oct 2020 00:28:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 14:01:24.128498
- Title: Asking without Telling: Exploring Latent Ontologies in Contextual
Representations
- Title(参考訳): ask without tell: 文脈表現における潜在オントロジーの探索
- Authors: Julian Michael, Jan A. Botha, Ian Tenney
- Abstract要約: 事前学習した文脈エンコーダは、明示的な監督なしに言語構造の意味ある概念を符号化する。
その結果,既存のアノテーションからの離脱を含む事前学習エンコーダにおける創発的構造を示す新たな証拠が得られた。
- 参考スコア(独自算出の注目度): 12.69022456384102
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The success of pretrained contextual encoders, such as ELMo and BERT, has
brought a great deal of interest in what these models learn: do they, without
explicit supervision, learn to encode meaningful notions of linguistic
structure? If so, how is this structure encoded? To investigate this, we
introduce latent subclass learning (LSL): a modification to existing
classifier-based probing methods that induces a latent categorization (or
ontology) of the probe's inputs. Without access to fine-grained gold labels,
LSL extracts emergent structure from input representations in an interpretable
and quantifiable form. In experiments, we find strong evidence of familiar
categories, such as a notion of personhood in ELMo, as well as novel
ontological distinctions, such as a preference for fine-grained semantic roles
on core arguments. Our results provide unique new evidence of emergent
structure in pretrained encoders, including departures from existing
annotations which are inaccessible to earlier methods.
- Abstract(参考訳): ELMoやBERTのような事前訓練された文脈エンコーダの成功は、これらのモデルが何を学習するかに大きな関心をもたらしている。
もしそうなら、この構造はどのようにエンコードされますか?
そこで本研究では,プローブの入力の潜在分類(あるいはオントロジー)を誘導する既存の分類器に基づく探索法を改良した,潜時サブクラス学習(lsl)を提案する。
粒度の細かい金ラベルにアクセスすることなく、LSLは入力表現から解釈可能で定量化可能な形で創発的構造を抽出する。
実験では、エルモにおけるパーソナリティの概念のような見慣れたカテゴリの強い証拠や、コア引数におけるきめ細かい意味的役割の選好のような新しい存在論的区別を見出した。
従来の手法では使用できない既存のアノテーションからの逸脱を含む,プリトレーニングエンコーダの創発的構造に関するユニークな新たな証拠を提供する。
関連論文リスト
- Pixel Sentence Representation Learning [67.4775296225521]
本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。
タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。
我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
論文 参考訳(メタデータ) (2024-02-13T02:46:45Z) - OntoType: Ontology-Guided Zero-Shot Fine-Grained Entity Typing with Weak
Supervision from Pre-Trained Language Models [26.263065299281372]
きめ細かいエンティティタイピング(FET)は、コンテキストに敏感できめ細かいセマンティックタイプでエンティティをテキストに割り当てる。
最近の研究は、事前訓練された言語モデル(PLM)を利用して、FETのためのリッチでコンテキスト対応の弱い監視を生成する。
オントロジーはセマンティクスに富んだ階層構造を提供し、複数のPLMモデルとヘッドワードが生成する最良の結果を選択するのに役立ちます。
論文 参考訳(メタデータ) (2023-05-21T00:32:37Z) - Semantic Role Labeling Meets Definition Modeling: Using Natural Language
to Describe Predicate-Argument Structures [104.32063681736349]
本稿では,離散ラベルの代わりに自然言語定義を用いて述語-代名詞構造を記述する手法を提案する。
PropBankスタイルおよびFrameNetスタイル、依存性ベースおよびスパンベースSRLに関する実験と分析は、解釈可能な出力を持つフレキシブルモデルが必ずしも性能を犠牲にしないことを示す。
論文 参考訳(メタデータ) (2022-12-02T11:19:16Z) - Prompting Language Models for Linguistic Structure [73.11488464916668]
本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。
提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。
PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
論文 参考訳(メタデータ) (2022-11-15T01:13:39Z) - Learning Primitive-aware Discriminative Representations for Few-shot
Learning [28.17404445820028]
少ないショットラーニングは、いくつかのラベル付き例で、新しいクラスを容易に認識できる分類器を学習することを目的としている。
プリミティブ・マイニング・アンド・リ共振ネットワーク(PMRN)を提案し,プリミティブ・アウェアな表現を学習する。
提案手法は,6つの標準ベンチマークの最先端結果を実現する。
論文 参考訳(メタデータ) (2022-08-20T16:22:22Z) - A Latent-Variable Model for Intrinsic Probing [94.61336186402615]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳(メタデータ) (2022-01-20T15:01:12Z) - Exploring the Role of BERT Token Representations to Explain Sentence
Probing Results [15.652077779677091]
BERTは特定のトークン表現において有意義な知識をエンコードする傾向にあることを示す。
これにより、シンタクティックとセマンティックの異常を検出し、文法的数とテンソル部分空間を一意に分離することができる。
論文 参考訳(メタデータ) (2021-04-03T20:40:42Z) - Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。
次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文 参考訳(メタデータ) (2020-12-10T01:27:24Z) - Intrinsic Probing through Dimension Selection [69.52439198455438]
現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。
このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。
本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
論文 参考訳(メタデータ) (2020-10-06T15:21:08Z) - Refining Implicit Argument Annotation for UCCA [6.873471412788333]
本稿では,Universal Cognitive Conceptualの基盤層上に暗黙的アノテーションを具体化するためのタイポロジーを提案する。
提案された暗黙的な議論分類は暗黙的な役割解釈の理論によって駆動され、Deictic, Generic, Genre-based, Type-identible, Non-specific, Iterated-setの6つのタイプから構成される。
論文 参考訳(メタデータ) (2020-05-26T17:24:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。