Fugu-MT 論文翻訳(概要): Introducing Orthogonal Constraint in Structural Probes

論文の概要: Introducing Orthogonal Constraint in Structural Probes

arxiv url: http://arxiv.org/abs/2012.15228v1
Date: Wed, 30 Dec 2020 17:14:25 GMT
ステータス: 処理完了
システム内更新日: 2021-04-18 12:08:24.486118
Title: Introducing Orthogonal Constraint in Structural Probes
Title（参考訳）: 構造プローブにおける直交制約の導入
Authors: Tomasz Limisiewicz and David Mare\v{c}ek
Abstract要約: 言語ベクトル空間の線形射影を同型空間回転と線形スケーリング方向に分解する。提案手法がマルチタスク環境で実行可能であることを実験的に示す。
参考スコア（独自算出の注目度）: 0.2538209532048867
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: With the recent success of pre-trained models in NLP, a significant focus was put on interpreting their representations. One of the most prominent approaches is structural probing (Hewitt and Manning, 2019), where a linear projection of language vector space is performed in order to approximate the topology of linguistic structures. In this work, we decompose this mapping into 1. isomorphic space rotation; 2. linear scaling that identifies and scales the most relevant directions. We introduce novel structural tasks to exam our method's ability to disentangle information hidden in the embeddings. We experimentally show that our approach can be performed in a multitask setting. Moreover, the orthogonal constraint identifies embedding subspaces encoding specific linguistic features and make the probe less vulnerable to memorization.
Abstract（参考訳）: NLPにおける事前訓練モデルの成功により、表現の解釈に重点が置かれた。最も顕著なアプローチの1つは構造的プロッピング(hewitt and manning, 2019)で、言語構造のトポロジーを近似するために言語ベクトル空間の線形射影が実行される。本研究では、この写像を 1 つの同型空間回転に分解する; 2. 最も関係のある方向を特定してスケールする線形スケーリング。埋め込みに隠された情報をアンタングルする手法の能力を検証するための新しい構造的タスクを導入する。提案手法がマルチタスク環境で実行可能であることを実験的に示す。さらに、直交制約は、特定の言語特徴をコードする埋め込み部分空間を識別し、プローブを暗記に対する脆弱さを減らす。

関連論文リスト

N2F2: Hierarchical Scene Understanding with Nested Neural Feature Fields [112.02885337510716]
Nested Neural Feature Fields (N2F2)は、階層的な監視を用いて単一機能フィールドを学習する新しいアプローチである。画像空間の任意のスケールで意味的に意味のある画素群を提供するために、2次元クラス非依存セグメンテーションモデルを利用する。オープンな3次元セグメンテーションやローカライゼーションといったタスクにおいて,最先端のフィールド蒸留法よりも優れた性能を発揮する。
論文参考訳（メタデータ） (2024-03-16T18:50:44Z)
Investigating semantic subspaces of Transformer sentence embeddings through linear structural probing [2.5002227227256864]
本研究では,文レベル表現の研究手法である意味構造探索を用いた実験を行う。本手法は,2つのタスクの文脈において,異なる言語モデル(エンコーダのみ,デコーダのみ,エンコーダのみ,エンコーダ-デコーダ)と異なる大きさの言語モデルに適用する。モデルファミリは、その性能と層動力学において大きく異なるが、結果は大半がモデルサイズの不変量である。
論文参考訳（メタデータ） (2023-10-18T12:32:07Z)
Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
論文参考訳（メタデータ） (2023-05-15T17:15:40Z)
A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文参考訳（メタデータ） (2022-01-20T15:01:12Z)
Cross-Lingual BERT Contextual Embedding Space Mapping with Isotropic and Isometric Conditions [7.615096161060399]
並列コーパスを利用した文脈認識・辞書フリーマッピング手法について検討する。本研究は, 正規化文脈埋め込み空間における等方性, 等方性, 等方性の間の密接な関係を解明するものである。
論文参考訳（メタデータ） (2021-07-19T22:57:36Z)
A Non-Linear Structural Probe [43.50268085775569]
本研究では,文脈表現における構文構造の符号化を研究対象とする構造プローブの事例について検討する。構造プローブが計量を学習するのを観察して、それをカーネル化し、新しい非線形変種を開発することができる。我々は6つの言語でテストを行い、ラジアル基底関数(RBF)カーネルが正規化とともに統計的に有意な改善が得られた。
論文参考訳（メタデータ） (2021-05-21T07:53:10Z)
The Low-Dimensional Linear Geometry of Contextualized Word Representations [27.50785941238007]
ELMOおよびBERTにおける文脈化単語表現の線形幾何学について検討する。様々な言語特徴が低次元部分空間に符号化されていることを示す。
論文参考訳（メタデータ） (2021-05-15T00:58:08Z)
Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese Pre-trained Language Models [62.41139712595334]
中国語のための新しい事前学習パラダイムであるLattice-BERTを提案する。文中の文字や単語から格子グラフを構築し、これらすべてのテキスト単位をトランスフォーマーに供給します。本モデルが12層設定で平均1.5%の増加をもたらすことを示した。
論文参考訳（メタデータ） (2021-04-15T02:36:49Z)
Intrinsic Probing through Dimension Selection [69.52439198455438]
現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
論文参考訳（メタデータ） (2020-10-06T15:21:08Z)
LNMap: Departures from Isomorphic Assumption in Bilingual Lexicon Induction Through Non-Linear Mapping in Latent Space [17.49073364781107]
バイリンガル語彙誘導のための言語間単語埋め込み学習のための新しい半教師付き手法を提案する。我々のモデルは同型仮定とは独立であり、2つの独立に訓練されたオートエンコーダの潜在空間における非線形写像を用いる。
論文参考訳（メタデータ） (2020-04-28T23:28:26Z)
Deep Metric Structured Learning For Facial Expression Recognition [58.7528672474537]
本研究では,よく定義された構造を持つ組込み部分空間を作成するための深度計量学習モデルを提案する。これらの部分空間を作成するために、出力空間上にガウス構造を課す新しい損失関数が導入された。学習した埋め込みは,表現検索や感情認識など,様々な応用に有効であることが実験的に実証された。
論文参考訳（メタデータ） (2020-01-18T06:23:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。