論文の概要: Hitting "Probe"rty with Non-Linearity, and More

• arxiv url: http://arxiv.org/abs/2402.16168v1
• Date: Sun, 25 Feb 2024 18:33:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 15:01:44.267095
• Title: Hitting "Probe"rty with Non-Linearity, and More
• Title（参考訳）: 非線形性で「プロベ」rtyを打つことなど
• Authors: Avik Pal, Madhura Pawar
• Abstract要約: 我々は, 非線形構造プローブの設計を簡素化し, 効果的に設計する。 文中の2つの単語が、予測された依存木にどれだけ強く結びついているかを定性的に評価する。 放射基底関数(RBF)はBERTモデルに対して有効な非線形プローブであることがわかった。
• 参考スコア（独自算出の注目度）: 2.1756081703276
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structural probes learn a linear transformation to find how dependency trees are embedded in the hidden states of language models. This simple design may not allow for full exploitation of the structure of the encoded information. Hence, to investigate the structure of the encoded information to its full extent, we incorporate non-linear structural probes. We reformulate the design of non-linear structural probes introduced by White et al. making its design simpler yet effective. We also design a visualization framework that lets us qualitatively assess how strongly two words in a sentence are connected in the predicted dependency tree. We use this technique to understand which non-linear probe variant is good at encoding syntactical information. Additionally, we also use it to qualitatively investigate the structure of dependency trees that BERT encodes in each of its layers. We find that the radial basis function (RBF) is an effective non-linear probe for the BERT model than the linear probe.
• Abstract（参考訳）: 構造プローブは線形変換を学び、依存木がどのように言語モデルの隠れた状態に埋め込まれているかを見つける。 この単純な設計では、符号化された情報の構造を完全に活用することはできない。 したがって、エンコードされた情報の構造を十分に調査するために、非線形構造プローブを組み込む。 我々はホワイトらが導入した非線形構造プローブの設計を改定し、その設計をよりシンプルかつ効果的にする。 また,文中の2つの単語がどれだけ強く関連しているかを定性的に評価する可視化フレームワークも設計した。 この手法を用いて, 非線形プローブ変種が構文情報の符号化に優れているかを理解する。 さらに、BERTが各レイヤにエンコードする依存性ツリーの構造を質的に調査するためにも使用しています。 放射基底関数(RBF)は線形プローブよりもBERTモデルに有効な非線形プローブであることがわかった。

関連論文リスト

• On Linearizing Structured Data in Encoder-Decoder Language Models: Insights from Text-to-SQL [8.57550491437633]
  本研究では,エンコーダ-デコーダ言語モデル,特にT5における構造化データの線形処理について検討する。 この結果から,スキーマリンクや構文予測など,人間設計プロセスの模倣が可能であることが判明した。 また、構造ノードエンコーディングのエゴ中心の性質を含む、モデルの内部メカニズムに関する洞察を明らかにした。
  論文  参考訳（メタデータ） (2024-04-03T01:16:20Z)
• StrAE: Autoencoding for Pre-Trained Embeddings using Explicit Structure [5.2869308707704255]
  StrAEは構造化オートエンコーダフレームワークであり、明示的な構造に厳格に固執することで、マルチレベル表現の効果的な学習を可能にする。 本研究の結果は,入力として提供される構造に直接的な関連性があることを示し,既存のツリーモデルではそうではないことを示す。 次に、StrAEを拡張して、単純なローカライズ・マージアルゴリズムを用いてモデルが独自の構成を定義する。
  論文  参考訳（メタデータ） (2023-05-09T16:20:48Z)
• LasUIE: Unifying Information Extraction with Latent Adaptive Structure-aware Generative Language Model [96.889634747943]
  全ての典型的な情報抽出タスク(UIE)を1つの生成言語モデル(GLM)で普遍的にモデル化し、大きな可能性を明らかにした。 UIE のための構文知識のパワーを完全に解放する構造対応 GLM を提案する。 7つのタスクにわたるIEベンチマークが12以上あり、私たちのシステムはベースラインのUIEシステムよりも大幅に改善されていることを示しています。
  論文  参考訳（メタデータ） (2023-04-13T04:01:14Z)
• SE-GSL: A General and Effective Graph Structure Learning Framework through Structural Entropy Optimization [67.28453445927825]
  グラフニューラルネットワーク(GNN)は、構造的データ学習のデファクトソリューションである。 既存のグラフ構造学習(GSL)フレームワークには、堅牢性と解釈性がない。 本稿では、構造エントロピーと符号化木に抽象化されたグラフ階層を通して、一般的なGSLフレームワークSE-GSLを提案する。
  論文  参考訳（メタデータ） (2023-03-17T05:20:24Z)
• RDesign: Hierarchical Data-efficient Representation Learning for Tertiary Structure-based RNA Design [65.41144149958208]
  本研究では,データ駆動型RNA設計パイプラインを体系的に構築することを目的とする。 我々は、ベンチマークデータセットを作成し、複雑なRNA第三次構造を表現するための包括的な構造モデリングアプローチを設計した。 RNA設計プロセスを容易にするために,塩基対を持つ抽出二次構造体を事前知識として組み込んだ。
  論文  参考訳（メタデータ） (2023-01-25T17:19:49Z)
• Incorporating Constituent Syntax for Coreference Resolution [50.71868417008133]
  本稿では,構成構文構造をグラフベースで組み込む手法を提案する。 また、高次近傍情報を利用して構成木に富んだ構造をエンコードすることも検討する。 on the English and Chinese parts of OntoNotes 5.0 benchmark shows that our proposed model beats a strong baseline or a new-of-the-art performance。
  論文  参考訳（メタデータ） (2022-02-22T07:40:42Z)
• A Non-Linear Structural Probe [43.50268085775569]
  本研究では,文脈表現における構文構造の符号化を研究対象とする構造プローブの事例について検討する。 構造プローブが計量を学習するのを観察して、それをカーネル化し、新しい非線形変種を開発することができる。 我々は6つの言語でテストを行い、ラジアル基底関数(RBF)カーネルが正規化とともに統計的に有意な改善が得られた。
  論文  参考訳（メタデータ） (2021-05-21T07:53:10Z)
• Visualizing hierarchies in scRNA-seq data using a density tree-biased autoencoder [50.591267188664666]
  本研究では,高次元scRNA-seqデータから意味のある木構造を同定する手法を提案する。 次に、低次元空間におけるデータのツリー構造を強調する木バイアスオートエンコーダDTAEを紹介する。
  論文  参考訳（メタデータ） (2021-02-11T08:48:48Z)
• Variational Autoencoder with Learned Latent Structure [4.41370484305827]
  学習潜在構造を持つ変分オートエンコーダ(VAELLS)について紹介する。 VAELLS は、学習可能な多様体モデルを VAE の潜在空間に組み込む。 我々は、既知の潜在構造を持つ実例でモデルを検証し、実世界のデータセット上でその能力を実証する。
  論文  参考訳（メタデータ） (2020-06-18T14:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。