論文の概要: CxGBERT: BERT meets Construction Grammar
- arxiv url: http://arxiv.org/abs/2011.04134v1
- Date: Mon, 9 Nov 2020 01:39:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-28 01:00:56.353446
- Title: CxGBERT: BERT meets Construction Grammar
- Title（参考訳）: CxGBERT:BERTがコンストラクション文法に到達
- Authors: Harish Tayyar Madabushi, Laurence Romain, Dagmar Divjak, Petar Milin
- Abstract要約: BERTは実際に大量の情報にアクセスでき、その多くを言語学者が一般的に建設情報と呼ぶ。
この観察の影響は、深層学習法がテキストから何を学ぶかについての洞察を提供するとともに、構築物に含まれる情報が余分にレキシコ・セマンティックスに符号化されていることを示すために、潜在的に遠ざかっている。
- 参考スコア（独自算出の注目度）: 1.213915839836187
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While lexico-semantic elements no doubt capture a large amount of linguistic
information, it has been argued that they do not capture all information
contained in text. This assumption is central to constructionist approaches to
language which argue that language consists of constructions, learned pairings
of a form and a function or meaning that are either frequent or have a meaning
that cannot be predicted from its component parts. BERT's training objectives
give it access to a tremendous amount of lexico-semantic information, and while
BERTology has shown that BERT captures certain important linguistic dimensions,
there have been no studies exploring the extent to which BERT might have access
to constructional information. In this work we design several probes and
conduct extensive experiments to answer this question. Our results allow us to
conclude that BERT does indeed have access to a significant amount of
information, much of which linguists typically call constructional information.
The impact of this observation is potentially far-reaching as it provides
insights into what deep learning methods learn from text, while also showing
that information contained in constructions is redundantly encoded in
lexico-semantics.
- Abstract（参考訳）: lexico-semanticエレメントは間違いなく大量の言語情報をキャプチャするが、それらはテキストに含まれるすべての情報をキャプチャしていないと論じられている。
この仮定は言語に対する建設主義的なアプローチの中心であり、言語は構成、形式と関数の学習されたペアリング、あるいはその構成要素から予測できない意味を持つ意味から成り立っていると主張している。
BERTの訓練目的は、大量のレキシコ・セマンティック情報にアクセスでき、BERTologyは、BERTが特定の重要な言語的次元を捉えていることを示しているが、BERTが構築情報にどの程度アクセスできるかを調査する研究は行われていない。
この研究では、いくつかのプローブを設計し、この質問に答えるための広範な実験を行う。
我々の結果は、BERTが実際にかなりの量の情報にアクセスでき、言語学者が一般的に建設情報と呼ぶことができると結論付けるのに役立ちます。
この観察の影響は、深層学習法がテキストから何を学ぶかについての洞察を提供するとともに、構築物に含まれる情報が余分にレキシコ・セマンティックスにエンコードされていることを示すため、潜在的に遠ざかっている。
関連論文リスト
- What does BERT learn about prosody? [1.1548853370822343]
モデルが学習する言語の構造情報に韻律が組み込まれているかどうかを考察する。
以上の結果から,韻律的優位性に関する情報は多くの層にまたがるが,中層に主眼を置いていることから,BERTは構文情報や意味情報に大きく依存していることが示唆された。
論文 参考訳（メタデータ） (2023-04-25T10:34:56Z) - Joint Language Semantic and Structure Embedding for Knowledge Graph
Completion [66.15933600765835]
本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。
本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。
各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
論文 参考訳（メタデータ） (2022-09-19T02:41:02Z) - Looking for Clues of Language in Multilingual BERT to Improve
Cross-lingual Generalization [56.87201892585477]
多言語BERT (m-BERT) には、言語情報と意味情報の両方が含まれている。
トークン埋め込みを操作することで多言語BERTの出力言語を制御する。
論文 参考訳（メタデータ） (2020-10-20T05:41:35Z) - It's not Greek to mBERT: Inducing Word-Level Translations from
Multilingual BERT [54.84185432755821]
mBERT (multilingual BERT) は、言語間での移動を可能にするリッチな言語間表現を学習する。
我々はmBERTに埋め込まれた単語レベルの翻訳情報について検討し、微調整なしで優れた翻訳能力を示す2つの簡単な方法を提案する。
論文 参考訳（メタデータ） (2020-10-16T09:49:32Z) - Does Chinese BERT Encode Word Structure? [17.836131968160917]
文脈化された表現は、幅広いNLPタスクに対して大幅に改善された結果を与える。
BERTのような代表モデルによってキャプチャされた特徴を分析するために、多くの作業が費やされている。
本研究では,(1)単語情報がBERTによって取得されること,(2)単語レベルの特徴が主に中間表現層にあること,(3)下流タスクがBERTの単語特徴を異なる用途で利用すること,の2つを用いて中国語のBERTを調査する。
論文 参考訳（メタデータ） (2020-10-15T12:40:56Z) - Intrinsic Probing through Dimension Selection [69.52439198455438]
現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。
このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。
本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
論文 参考訳（メタデータ） (2020-10-06T15:21:08Z) - Linguistic Profiling of a Neural Language Model [1.0552465253379135]
本研究では,ニューラルネットワークモデル(NLM)が微調整前後に学習した言語知識について検討する。
BERTは、幅広い言語特性を符号化できるが、特定の下流タスクで訓練すると、その情報を失う傾向にある。
論文 参考訳（メタデータ） (2020-10-05T09:09:01Z) - CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
文脈型言語と知識埋め込み(CoLAKE)を提案する。
CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。
知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
論文 参考訳（メタデータ） (2020-10-01T11:39:32Z) - A Study of Cross-Lingual Ability and Language-specific Information in
Multilingual BERT [60.9051207862378]
Multilingual BERTは、言語間転送タスクで驚くほどうまく機能します。
データサイズとコンテキストウィンドウサイズは、転送可能性にとって重要な要素です。
多言語BERTの言語間能力を改善するために、計算的に安価だが効果的なアプローチがある。
論文 参考訳（メタデータ） (2020-04-20T11:13:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。