論文の概要: A Non-Linear Structural Probe

• arxiv url: http://arxiv.org/abs/2105.10185v1
• Date: Fri, 21 May 2021 07:53:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 03:34:44.178725
• Title: A Non-Linear Structural Probe
• Title（参考訳）: 非線形構造プローブ
• Authors: Jennifer C. White, Tiago Pimentel, Naomi Saphra, Ryan Cotterell
• Abstract要約: 本研究では,文脈表現における構文構造の符号化を研究対象とする構造プローブの事例について検討する。 構造プローブが計量を学習するのを観察して、それをカーネル化し、新しい非線形変種を開発することができる。 我々は6つの言語でテストを行い、ラジアル基底関数(RBF)カーネルが正規化とともに統計的に有意な改善が得られた。
• 参考スコア（独自算出の注目度）: 43.50268085775569
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Probes are models devised to investigate the encoding of knowledge -- e.g. syntactic structure -- in contextual representations. Probes are often designed for simplicity, which has led to restrictions on probe design that may not allow for the full exploitation of the structure of encoded information; one such restriction is linearity. We examine the case of a structural probe (Hewitt and Manning, 2019), which aims to investigate the encoding of syntactic structure in contextual representations through learning only linear transformations. By observing that the structural probe learns a metric, we are able to kernelize it and develop a novel non-linear variant with an identical number of parameters. We test on 6 languages and find that the radial-basis function (RBF) kernel, in conjunction with regularization, achieves a statistically significant improvement over the baseline in all languages -- implying that at least part of the syntactic knowledge is encoded non-linearly. We conclude by discussing how the RBF kernel resembles BERT's self-attention layers and speculate that this resemblance leads to the RBF-based probe's stronger performance.
• Abstract（参考訳）: プローブは知識のエンコーディングを調べるために考案されたモデルである。 構文構造 -- 文脈表現における。 プローブは単純さのために設計されることが多く、符号化された情報の構造を十分に活用できないようなプローブ設計に制限が加えられている。 線形変換のみを学習することで文脈表現における構文構造を符号化することを目的とした構造プローブ(hewitt and manning, 2019)の事例を検討する。 構造プローブがメトリックを学習することを観察して、それをカーネル化し、同じ数のパラメータを持つ新しい非線形変種を開発することができる。 我々は6つの言語でテストを行い、ラジアル基底関数(RBF)カーネルが正規化とともに、すべての言語のベースラインに対して統計的に有意な改善を達成していることを確認した。 RBFカーネルがBERTの自己アテンション層にどのように似ているのかを議論し、この類似性がRBFベースのプローブの性能向上につながると推測する。

関連論文リスト

• On Linearizing Structured Data in Encoder-Decoder Language Models: Insights from Text-to-SQL [8.57550491437633]
  本研究では,エンコーダ-デコーダ言語モデル,特にT5における構造化データの線形処理について検討する。 この結果から,スキーマリンクや構文予測など,人間設計プロセスの模倣が可能であることが判明した。 また、構造ノードエンコーディングのエゴ中心の性質を含む、モデルの内部メカニズムに関する洞察を明らかにした。
  論文  参考訳（メタデータ） (2024-04-03T01:16:20Z)
• Hitting "Probe"rty with Non-Linearity, and More [2.1756081703276]
  我々は, 非線形構造プローブの設計を簡素化し, 効果的に設計する。 文中の2つの単語が、予測された依存木にどれだけ強く結びついているかを定性的に評価する。 放射基底関数(RBF)はBERTモデルに対して有効な非線形プローブであることがわかった。
  論文  参考訳（メタデータ） (2024-02-25T18:33:25Z)
• Enhancing Systematic Decompositional Natural Language Inference Using Informal Logic [53.363888563647976]
  我々は,分解包含データセットに注釈を付けるための一貫した理論的なアプローチを開発した。 得られたデータセットRDTEは,従来よりも内部整合性(+9%)が高いことがわかった。 また, 知識蒸留によるRDTE指向エンテーメント分類器の訓練や, 現代のニューロシンボリック推論エンジンへの導入により, 結果が大幅に向上することが確認された。
  論文  参考訳（メタデータ） (2024-02-22T18:55:17Z)
• Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders [65.2511270059236]
  本研究は、クラスラベルなどの半教師付き情報を付加できる非対称符号化復号プロセスを備えたチャートオートエンコーダを導入する。 データ多様体の内在次元に依存するネットワークの理論的近似力について論じる。
  論文  参考訳（メタデータ） (2022-08-22T19:58:03Z)
• Probing for Constituency Structure in Neural Language Models [11.359403179089817]
  我々は、Penn Treebank (PTB)で表される構成構造に焦点をあてる。 4つの事前訓練されたトランスフォーマーLMが,我々の探索作業において高い性能を得ることがわかった。 完全な選挙区木をLM表現から線形に分離できることを示す。
  論文  参考訳（メタデータ） (2022-04-13T07:07:37Z)
• Syntactic Perturbations Reveal Representational Correlates of Hierarchical Phrase Structure in Pretrained Language Models [22.43510769150502]
  文レベルの構文のどの側面がベクターベースの言語表現によってキャプチャされるのかは、完全には分かっていない。 このプロセスでは,トランスフォーマーが文のより大きな部分の層に感性を持たせることが示され,階層的な句構造が重要な役割を果たしている。
  論文  参考訳（メタデータ） (2021-04-15T16:30:31Z)
• Introducing Orthogonal Constraint in Structural Probes [0.2538209532048867]
  言語ベクトル空間の線形射影を同型空間回転と線形スケーリング方向に分解する。 提案手法がマルチタスク環境で実行可能であることを実験的に示す。
  論文  参考訳（メタデータ） (2020-12-30T17:14:25Z)
• Latent Template Induction with Gumbel-CRFs [107.17408593510372]
  文生成のための潜在テンプレートを推論するための構造化変分オートエンコーダについて検討する。 構造化推論ネットワークとして、トレーニング中に解釈可能なテンプレートを学習することを示す。
  論文  参考訳（メタデータ） (2020-11-29T01:00:57Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• A Tale of a Probe and a Parser [74.14046092181947]
  言語のニューラルモデルにエンコードされている言語情報の計測は、NLPで人気が高まっている。 研究者は、他のモデルの出力から言語構造を抽出するために設計された教師付きモデル"プローブ"をトレーニングすることで、この企業にアプローチする。 そのようなプローブの1つは、構文情報が文脈化された単語表現でエンコードされる範囲を定量化するために設計された構造プローブである。
  論文  参考訳（メタデータ） (2020-05-04T16:57:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。