論文の概要: Do Transformers Encode a Foundational Ontology? Probing Abstract Classes in Natural Language

• arxiv url: http://arxiv.org/abs/2201.10262v1
• Date: Tue, 25 Jan 2022 12:11:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-26 14:55:35.504066
• Title: Do Transformers Encode a Foundational Ontology? Probing Abstract Classes in Natural Language
• Title（参考訳）: トランスフォーマーはオントロジーをコード化するか? 自然言語における抽象クラス探索
• Authors: Mael Jullien, Marco Valentino, Andre Freitas
• Abstract要約: 本稿では,トランスフォーマーをベースとしたモデルが抽象意味情報をエンコードするかどうかを調べるための体系的基礎オントロジー探索手法を提案する。 本稿では,トランスフォーマーをベースとしたモデルが,事前学習中の基礎オントロジーに関連する情報を偶然に符号化していることを示す。
• 参考スコア（独自算出の注目度）: 2.363388546004777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the methodological support of probing (or diagnostic classification), recent studies have demonstrated that Transformers encode syntactic and semantic information to some extent. Following this line of research, this paper aims at taking semantic probing to an abstraction extreme with the goal of answering the following research question: can contemporary Transformer-based models reflect an underlying Foundational Ontology? To this end, we present a systematic Foundational Ontology (FO) probing methodology to investigate whether Transformers-based models encode abstract semantic information. Following different pre-training and fine-tuning regimes, we present an extensive evaluation of a diverse set of large-scale language models over three distinct and complementary FO tagging experiments. Specifically, we present and discuss the following conclusions: (1) The probing results indicate that Transformer-based models incidentally encode information related to Foundational Ontologies during the pre-training pro-cess; (2) Robust FO taggers (accuracy of 90 percent)can be efficiently built leveraging on this knowledge.
• Abstract（参考訳）: 近年の研究では,探索(あるいは診断分類)の方法論的支援により,トランスフォーマーが構文情報や意味情報をある程度エンコードしていることが示されている。 本研究は,現代トランスフォーマーモデルが基礎となる基礎オントロジーを反映できるのか? そこで本研究では,トランスフォーマーに基づくモデルが抽象意味情報をエンコードするかどうかを,体系的基礎オントロジー(FO)探索手法を提案する。 異なる事前学習と微調整の方式に従って,3つの異なる,補完的なfoタグ実験を通して,多種多様な大規模言語モデルの広範囲な評価を行った。 具体的には,(1)トランスフォーマーをベースとしたモデルが,事前学習中の基礎オントロジーに関連する情報を偶然に符号化し,(2)ロバストFOタグ(90%の精度)を効率的に構築できることを示す。

関連論文リスト

• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Hidden Holes: topological aspects of language models [1.1172147007388977]
  我々は,GPTに基づく大規模言語モデルにおけるトポロジ的構造の発達について,訓練中の深度と時間にわたって検討した。 後者は、すべての自然言語に共通する変化パターンを持つが、合成されたデータがない、よりトポロジ的な複雑さを示すことを示す。
  論文  参考訳（メタデータ） (2024-06-09T14:25:09Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• UMLS-KGI-BERT: Data-Centric Knowledge Integration in Transformers for Biomedical Entity Recognition [4.865221751784403]
  この研究は、UMLSからテキストシーケンスを抽出することにより、バイオメディカルトランスフォーマーエンコーダLMの言語表現を強化するためのデータ中心パラダイムに寄与する。 予め訓練したLMの拡張およびスクラッチからのトレーニングによる実験の結果から,複数の生物医学的,臨床的な名前付きエンティティ認識(NER)タスクにおける下流性能の向上が示された。
  論文  参考訳（メタデータ） (2023-07-20T18:08:34Z)
• All Roads Lead to Rome? Exploring the Invariance of Transformers' Representations [69.3461199976959]
  本稿では, ビジェクション仮説を学習するために, 非可逆ニューラルネットワーク BERT-INN に基づくモデルを提案する。 BERT-INNの利点は理論上も広範な実験を通じても明らかである。
  論文  参考訳（メタデータ） (2023-05-23T22:30:43Z)
• A Closer Look at Few-shot Classification Again [68.44963578735877]
  トレーニングフェーズと適応フェーズで構成されている。 トレーニングアルゴリズムと適応アルゴリズムが完全に絡み合っていることを実証的に証明する。 各フェーズのメタアナリシスは、いくつかの興味深い洞察を示し、いくつかのショット分類の重要な側面をよりよく理解するのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-28T16:42:05Z)
• Application of Deep Learning in Generating Structured Radiology Reports: A Transformer-Based Technique [0.4549831511476247]
  自然言語処理技術は、自由テキスト形式の構造化データへの自動情報抽出と変換を容易にする。 深層学習(DL)に基づくモデルがNLP実験に適応し,有望な結果を得た。 本研究では,臨床情報抽出のための変圧器を用いた細粒度エンティティ認識アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-09-25T08:03:15Z)
• Analyzing Transformers in Embedding Space [59.434807802802105]
  学習したトランスフォーマーの全てのパラメータを埋め込み空間に投影することで解釈する理論解析を提案する。 予め訓練されたモデルと微調整されたモデルの両方のパラメータを埋め込み空間で解釈できることを示す。 我々の発見は、少なくとも部分的には、モデル仕様から抽象化し、埋め込み空間でのみ動作する解釈手法への扉を開く。
  論文  参考訳（メタデータ） (2022-09-06T14:36:57Z)
• AMMU -- A Survey of Transformer-based Biomedical Pretrained Language Models [0.0]
  Transformer-based Pretrained Language Model (PLM)は、現代の自然言語処理(NLP)において新しい時代が始まった。 これらのモデルが一般ドメインで成功した後、生物医学研究コミュニティは様々なドメイン内plmを開発した。
  論文  参考訳（メタデータ） (2021-04-16T18:09:51Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。