論文の概要: Syntax-guided Neural Module Distillation to Probe Compositionality in Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2301.08998v1
• Date: Sat, 21 Jan 2023 19:42:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-24 15:21:41.464239
• Title: Syntax-guided Neural Module Distillation to Probe Compositionality in Sentence Embeddings
• Title（参考訳）: 構文誘導型ニューラルモジュール蒸留による文の合成性向上
• Authors: Rohan Pandey
• Abstract要約: 構文解析に基づいてニューラルモジュールネットを構築し,それをエンドツーエンドにトレーニングし,文の埋め込みを近似する。 各種文埋め込みモデルの蒸留性の違いは,その性能と大きく相関している。 文埋め込みモデルにおける多くの構文誘導合成が線形であることの予備的証拠である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Past work probing compositionality in sentence embedding models faces issues determining the causal impact of implicit syntax representations. Given a sentence, we construct a neural module net based on its syntax parse and train it end-to-end to approximate the sentence's embedding generated by a transformer model. The distillability of a transformer to a Syntactic NeurAl Module Net (SynNaMoN) then captures whether syntax is a strong causal model of its compositional ability. Furthermore, we address questions about the geometry of semantic composition by specifying individual SynNaMoN modules' internal architecture & linearity. We find differences in the distillability of various sentence embedding models that broadly correlate with their performance, but observe that distillability doesn't considerably vary by model size. We also present preliminary evidence that much syntax-guided composition in sentence embedding models is linear, and that non-linearities may serve primarily to handle non-compositional phrases.
• Abstract（参考訳）: 文埋め込みモデルにおける構成性に関する過去の研究は、暗黙の構文表現の因果的影響を決定する問題に直面している。 文が与えられたら、その構文解析に基づいてニューラルモジュールネットを構築し、それをエンドツーエンドにトレーニングし、トランスフォーマーモデルによって生成された文の埋め込みを近似する。 Syntactic NeurAl Module Net (SynNaMoN) への変換器の蒸留性は、構文がその構成能力の強力な因果モデルであるかどうかを捉える。 さらに,SynNaMoNモジュールの内部構造と線形性を指定することで,意味構成の幾何学に関する疑問に対処する。 様々な文埋め込みモデルの蒸留性の違いは, それらの性能と大きく相関するが, 蒸留性はモデルサイズによって大きく変化しない。 また,文埋め込みモデルにおける構文誘導構成の多くが線形であり,非線形性は主に非合成句を扱うのに役立つことを示す。

関連論文リスト

• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Learning Disentangled Representations for Natural Language Definitions [0.0]
  テキストデータの連続的な構文的・意味的規則性は、構造的バイアスと生成的要因の両方をモデルに提供するのに有効である、と我々は主張する。 本研究では,文型,定義文の表現的・意味的に密接なカテゴリに存在する意味的構造を利用して,不整合表現を学習するための変分オートエンコーダを訓練する。
  論文  参考訳（メタデータ） (2022-09-22T14:31:55Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Syntactic Inductive Biases for Deep Learning Methods [8.758273291015474]
  帰納バイアスの2つの家系を提案し,その1つは選挙区構造,もう1つは依存関係構造について検討した。 選挙区帰納バイアスは、ディープラーニングモデルに対して、長期的および短期的な情報を個別に処理するために異なる単位(またはニューロン)を使用するように促す。 依存性帰納バイアスは、入力シーケンス内のエンティティ間の潜伏関係を見つけることをモデルに促す。
  論文  参考訳（メタデータ） (2022-06-08T11:18:39Z)
• Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
  Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。 また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-01T17:22:31Z)
• Compositionality as Lexical Symmetry [42.37422271002712]
  意味解析、命令追従、質問応答といったタスクでは、標準的なディープネットワークは小さなデータセットから合成的に一般化できない。 本稿では、モデルよりもデータ分布の対称性の制約として、構成性のドメイン一般およびモデル非依存の定式化を提案する。 LEXSYMと呼ばれる手法は,これらの変換を自動的に検出し,通常のニューラルシーケンスモデルのトレーニングデータに適用する。
  論文  参考訳（メタデータ） (2022-01-30T21:44:46Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• A Framework for Measuring Compositional Inductive Bias [0.30458514384586405]
  本稿では,創発的コミュニケーションにおけるモデルの構成誘導バイアスを測定するためのフレームワークを提案する。 頻繁に使用されるモデルの組成誘導バイアスの限界を探究する、破損した構成文法を考案する。 そこで我々は,トークンの再配置可能な原子群に対する誘導バイアスを示すような階層モデルを提案し,単語の出現を促す可能性がある。
  論文  参考訳（メタデータ） (2021-03-06T19:25:37Z)
• Multi-Step Inference for Reasoning Over Paragraphs [95.91527524872832]
  テキスト上の複雑な推論には、自由形式の述語と論理的な連結体を理解し、連鎖する必要がある。 本稿では,ニューラルネットワークを連想させる構成モデルを提案する。
  論文  参考訳（メタデータ） (2020-04-06T21:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。