論文の概要: Multilingual Chart-based Constituency Parse Extraction from Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2004.13805v4
• Date: Wed, 8 Sep 2021 11:39:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 08:08:58.532594
• Title: Multilingual Chart-based Constituency Parse Extraction from Pre-trained Language Models
• Title（参考訳）: 事前学習型言語モデルからの多言語チャートに基づく選挙区Parse抽出
• Authors: Taeuk Kim, Bowen Li, Sang-goo Lee
• Abstract要約: 本稿では,事前学習した言語モデルから完全(バイナリ)構文を抽出する手法を提案する。 本手法を多言語 PLM に適用することにより,9つの言語から文に対する非自明なパースを導き出すことができる。
• 参考スコア（独自算出の注目度）: 21.2879567125422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As it has been unveiled that pre-trained language models (PLMs) are to some extent capable of recognizing syntactic concepts in natural language, much effort has been made to develop a method for extracting complete (binary) parses from PLMs without training separate parsers. We improve upon this paradigm by proposing a novel chart-based method and an effective top-K ensemble technique. Moreover, we demonstrate that we can broaden the scope of application of the approach into multilingual settings. Specifically, we show that by applying our method on multilingual PLMs, it becomes possible to induce non-trivial parses for sentences from nine languages in an integrated and language-agnostic manner, attaining performance superior or comparable to that of unsupervised PCFGs. We also verify that our approach is robust to cross-lingual transfer. Finally, we provide analyses on the inner workings of our method. For instance, we discover universal attention heads which are consistently sensitive to syntactic information irrespective of the input language.
• Abstract（参考訳）: プリトレーニング言語モデル(plm)は、自然言語における構文概念をある程度認識できるため、個別のパーサをトレーニングせずにplmから完全な(バイナリ)パースを抽出する方法を開発することに多くの努力がなされている。 我々はこのパラダイムを、新しいチャートベースの手法と効果的なトップKアンサンブル手法によって改善する。 さらに,多言語設定へのアプローチの適用範囲を広げることができることを示す。 具体的には,本手法を多言語 PLM に適用することにより,9言語からの文に対する非自明なパースを,統合的かつ言語に依存しない方法で誘導し,教師なしPCFG に匹敵する性能が得られることを示す。 また、我々のアプローチが言語間移動に対して堅牢であることを検証する。 最後に,本手法の内部動作の分析を行う。 例えば、入力言語に関係なく構文情報に一貫して敏感な普遍的な注意ヘッドを見つける。

関連論文リスト

• Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
  言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。 そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T04:52:31Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
  英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。 この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。 単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-29T08:53:22Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• A Multilingual Perspective Towards the Evaluation of Attribution Methods in Natural Language Inference [28.949004915740776]
  本稿では,自然言語推論(NLI)タスクに対する帰属的手法を評価するための多言語的手法を提案する。 まず,単語アライメントに基づいて忠実度を測定するための新たな言語間戦略を導入する。 次に、異なる出力機構と集約手法を考慮し、帰属手法の包括的な評価を行う。
  論文  参考訳（メタデータ） (2022-04-11T22:11:05Z)
• Exploring Teacher-Student Learning Approach for Multi-lingual Speech-to-Intent Classification [73.5497360800395]
  複数の言語をサポートするエンドツーエンドシステムを開発した。 我々は、事前訓練された多言語自然言語処理モデルからの知識を利用する。
  論文  参考訳（メタデータ） (2021-09-28T04:43:11Z)
• A Multilingual Modeling Method for Span-Extraction Reading Comprehension [2.4905424368103444]
  XLRCと呼ばれる多言語抽出読解手法を提案する。 我々のモデルはCMRC 2018タスクにおいて最先端のベースライン(RoBERTa_Large)よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-31T11:05:30Z)
• DICT-MLM: Improved Multilingual Pre-Training using Bilingual Dictionaries [8.83363871195679]
  主要な言語学習目的としてのマスケプド・モデリング(MLM)の目的。 DICT-MLMは、オリジナルのマスキングされた単語だけでなく、言語間の同義語も予測できるようにモデルにインセンティブを与える。 30以上の言語にまたがる複数の下流タスクに関する実証分析により,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2020-10-23T17:53:11Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)
• A Hybrid Approach to Dependency Parsing: Combining Rules and Morphology with Deep Learning [0.0]
  本稿では,特に訓練データ量に制限のある言語に対して,依存関係解析の2つのアプローチを提案する。 第1のアプローチは、最先端のディープラーニングとルールベースのアプローチを組み合わせ、第2のアプローチは、形態情報をネットワークに組み込む。 提案手法はトルコ語向けに開発されたが、他の言語にも適用可能である。
  論文  参考訳（メタデータ） (2020-02-24T08:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。