Fugu-MT 論文翻訳(概要): Structural Transfer Learning in NL-to-Bash Semantic Parsers

論文の概要: Structural Transfer Learning in NL-to-Bash Semantic Parsers

arxiv url: http://arxiv.org/abs/2307.16795v1
Date: Mon, 31 Jul 2023 16:02:09 GMT
ステータス: 処理完了
システム内更新日: 2023-08-01 13:30:46.718722
Title: Structural Transfer Learning in NL-to-Bash Semantic Parsers
Title（参考訳）: NL-Bashセマンティックパーザにおける構造伝達学習
Authors: Kyle Duffy, Satwik Bhattamishra, Phil Blunsom
Abstract要約: 本稿では,機械翻訳タスク間の構造的重複を定量的に理解する手法を提案する。提案手法を自然言語から意味解析タスク(NLBash)に適用し,語彙的アライメントに対してほぼ再現可能であることを示す。
参考スコア（独自算出の注目度）: 19.124877741205797
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large-scale pre-training has made progress in many fields of natural language processing, though little is understood about the design of pre-training datasets. We propose a methodology for obtaining a quantitative understanding of structural overlap between machine translation tasks. We apply our methodology to the natural language to Bash semantic parsing task (NLBash) and show that it is largely reducible to lexical alignment. We also find that there is strong structural overlap between NLBash and natural language to SQL. Additionally, we perform a study varying compute expended during pre-training on the English to German machine translation task and find that more compute expended during pre-training does not always correspond semantic representations with stronger transfer to NLBash.
Abstract（参考訳）: 大規模事前学習は自然言語処理の多くの分野で進歩しているが、事前学習データセットの設計についてはほとんど理解されていない。本稿では,機械翻訳タスク間の構造重なりを定量的に理解する手法を提案する。この手法を自然言語に適用してbashセマンティック解析タスク(nlbash)を行い,語彙的アライメントにほぼ還元可能であることを示した。また、NLBashとSQLへの自然言語の間には、強い構造的な重複があることもわかりました。さらに、英語からドイツ語への機械翻訳タスクにおいて、事前学習中に出力される計算量と、NLBashへのより強い転送を伴う意味表現とが一致しないことを示す。

関連論文リスト

UniPSDA: Unsupervised Pseudo Semantic Data Augmentation for Zero-Shot Cross-Lingual Natural Language Understanding [31.272603877215733]
言語間の表現学習は、リソースに富んだデータからリソースに密着したデータへ知識を伝達し、異なる言語の意味理解能力を改善する。言語間自然言語理解のためのunsupervised Pseudo Semantic Data Augmentation (UniPSDA) 機構を提案する。
論文参考訳（メタデータ） (2024-06-24T07:27:01Z)
Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
論文参考訳（メタデータ） (2023-07-09T04:52:31Z)
Training Naturalized Semantic Parsers with Very Little Data [10.709587018625275]
State-of-the-art(SOTA)セマンティクスは、大量のテキストに基づいて事前訓練された大規模な言語モデルに基づくセク2セックアーキテクチャである。最近の研究は意味解析の改革を探求しており、出力シーケンスはそれ自体が自然言語文である。本手法は,Overnightデータセット上で新たなSOTA数ショット性能を実現する。
論文参考訳（メタデータ） (2022-04-29T17:14:54Z)
Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
論文参考訳（メタデータ） (2022-04-16T16:08:38Z)
Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
論文参考訳（メタデータ） (2022-04-14T08:16:28Z)
Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
論文参考訳（メタデータ） (2022-04-11T15:55:20Z)
Cross-lingual Transferring of Pre-trained Contextualized Language Models [73.97131976850424]
本稿では,PRLMのための新しい言語間モデル転送フレームワークTreLMを提案する。シンボルの順序と言語間のシーケンス長の差に対処するため,中間的なTRILayer構造を提案する。提案手法は,スクラッチから学習した言語モデルに対して,性能と効率の両面で,限られたデータで著しく優れることを示す。
論文参考訳（メタデータ） (2021-07-27T06:51:13Z)
Token-wise Curriculum Learning for Neural Machine Translation [94.93133801641707]
ニューラルネットワーク翻訳(NMT)への既存のカリキュラム学習アプローチでは、初期のトレーニング段階でトレーニングデータから十分なサンプルをサンプリングする必要がある。簡便なサンプルを十分に生成する,新しいトークン型カリキュラム学習手法を提案する。当社のアプローチは,5つの言語ペア,特に低リソース言語において,ベースラインを一貫して上回ることができる。
論文参考訳（メタデータ） (2021-03-20T03:57:59Z)
Analyzing Zero-shot Cross-lingual Transfer in Supervised NLP Tasks [6.7155846430379285]
ゼロショット言語間転送では、ある言語のコーパスでトレーニングされた教師付きnlpタスクが、追加のトレーニングなしで他の言語に直接適用されます。最近導入されたクロス言語言語モデル(XLM)プリトレーニングは、トランスフォーマースタイルのネットワークでニューラルパラメータの共有をもたらす。本稿では,XLM事前学習により生じる仮説上強い言語間移動特性を検証することを目的とする。
論文参考訳（メタデータ） (2021-01-26T09:21:25Z)
Semantic Parsing with Less Prior and More Monolingual Data [12.715221084359085]
本研究では,ジェネリックトランスフォーマに基づくseq2seqモデルが,最小のセマンティックパース比帰納バイアス設計で競合性能を達成できるかどうかを検討する。並列コーパスとは異なり、Webからマイニングするのに安価であるターゲットプログラミング言語の比較的大規模なモノリンガルコーパスを利用することで、Djangoの80.75%の正確な一致精度とCoNaLaの32.57のBLEUスコアを達成しました。
論文参考訳（メタデータ） (2021-01-01T16:02:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。