論文の概要: Contextual Distortion Reveals Constituency: Masked Language Models are Implicit Parsers

• arxiv url: http://arxiv.org/abs/2306.00645v1
• Date: Thu, 1 Jun 2023 13:10:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 16:04:18.346403
• Title: Contextual Distortion Reveals Constituency: Masked Language Models are Implicit Parsers
• Title（参考訳）: 文脈ゆがみの選択肢:マスケード言語モデルは暗黙のパーサーである
• Authors: Jiaxi Li and Wei Lu
• Abstract要約: マスク付き言語モデル(LM)から解析木を抽出する新しい手法を提案する。 本手法は,言語摂動による文脈表現の歪みに基づいて,各スパンのスコアを算出する。 本手法は,マスク付きLMを用いた英語における従来の最先端手法を一貫して上回り,多言語環境での優れた性能を示す。
• 参考スコア（独自算出の注目度）: 7.558415495951758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in pre-trained language models (PLMs) have demonstrated that these models possess some degree of syntactic awareness. To leverage this knowledge, we propose a novel chart-based method for extracting parse trees from masked language models (LMs) without the need to train separate parsers. Our method computes a score for each span based on the distortion of contextual representations resulting from linguistic perturbations. We design a set of perturbations motivated by the linguistic concept of constituency tests, and use these to score each span by aggregating the distortion scores. To produce a parse tree, we use chart parsing to find the tree with the minimum score. Our method consistently outperforms previous state-of-the-art methods on English with masked LMs, and also demonstrates superior performance in a multilingual setting, outperforming the state of the art in 6 out of 8 languages. Notably, although our method does not involve parameter updates or extensive hyperparameter search, its performance can even surpass some unsupervised parsing methods that require fine-tuning. Our analysis highlights that the distortion of contextual representation resulting from syntactic perturbation can serve as an effective indicator of constituency across languages.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)の最近の進歩は、これらのモデルがある程度の構文認識を持っていることを示している。 この知識を活用すべく,マスク言語モデル (lms) からパース木を分離したパーサーを訓練することなく抽出する新しいグラフベース手法を提案する。 本手法は,言語摂動による文脈表現の歪みに基づいて,各スパンのスコアを計算する。 構成試験の言語概念に動機づけられた一連の摂動をデザインし,ゆがみスコアを集約することで各スパンのスコア付けを行う。 パースツリーを生成するには、最小スコアのツリーを見つけるためにチャート解析を使用します。 本手法は,マスキングされたlmsを用いて,従来の英語の最先端の手法を一貫して上回り,多言語環境でも優れた性能を示し,8言語中6言語で芸術の状態を上回っている。 特に,パラメータ更新やハイパーパラメータ探索は行わないが,その性能は微調整を必要とする教師なし解析手法を超越することもある。 解析では,構文摂動から生じる文脈表現の歪みが,言語間の構成の効果的な指標として有用であることを強調する。

関連論文リスト

• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Transparency at the Source: Evaluating and Interpreting Language Models With Access to the True Distribution [4.01799362940916]
  人工的な言語のようなデータを用いて、ニューラルネットワークモデルのトレーニング、評価、解釈を行う。 データは、巨大な自然言語コーパスから派生した巨大な確率文法を用いて生成される。 基礎となる真の情報源にアクセスすることで、異なる単語のクラス間の動的学習における顕著な違いと結果が示される。
  論文  参考訳（メタデータ） (2023-10-23T12:03:01Z)
• Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
  言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。 そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T04:52:31Z)
• BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
  本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-21T18:34:11Z)
• Multilingual Syntax-aware Language Modeling through Dependency Tree Conversion [12.758523394180695]
  本研究では,9つの変換法と5つの言語にまたがるニューラル言語モデル(LM)の性能への影響について検討する。 平均して、私たちの最高のモデルのパフォーマンスは、すべての言語で最悪の選択に対して、19パーセントの精度向上を示しています。 我々の実験は、正しい木形式を選ぶことの重要性を強調し、情報的な決定を下すための洞察を提供する。
  論文  参考訳（メタデータ） (2022-04-19T03:56:28Z)
• On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
  我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。 改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。 我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-15T21:41:16Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Multilingual Chart-based Constituency Parse Extraction from Pre-trained Language Models [21.2879567125422]
  本稿では,事前学習した言語モデルから完全(バイナリ)構文を抽出する手法を提案する。 本手法を多言語 PLM に適用することにより,9つの言語から文に対する非自明なパースを導き出すことができる。
  論文  参考訳（メタデータ） (2020-04-08T05:42:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。