論文の概要: Learning from Executions for Semantic Parsing

• arxiv url: http://arxiv.org/abs/2104.05819v1
• Date: Mon, 12 Apr 2021 21:07:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-15 03:28:20.507955
• Title: Learning from Executions for Semantic Parsing
• Title（参考訳）: 意味的構文解析の実践から学ぶ
• Authors: Bailin Wang, Mirella Lapata and Ivan Titov
• Abstract要約: 注釈付きデータの限られた量が利用できる半教師付き学習の課題に焦点をあてる。 ラベルなし発話に対する実行可能プログラムを提案する。
• 参考スコア（独自算出の注目度）: 86.94309120789396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic parsing aims at translating natural language (NL) utterances onto machine-interpretable programs, which can be executed against a real-world environment. The expensive annotation of utterance-program pairs has long been acknowledged as a major bottleneck for the deployment of contemporary neural models to real-life applications. In this work, we focus on the task of semi-supervised learning where a limited amount of annotated data is available together with many unlabeled NL utterances. Based on the observation that programs which correspond to NL utterances must be always executable, we propose to encourage a parser to generate executable programs for unlabeled utterances. Due to the large search space of executable programs, conventional methods that use approximations based on beam-search such as self-training and top-k marginal likelihood training, do not perform as well. Instead, we view the problem of learning from executions from the perspective of posterior regularization and propose a set of new training objectives. Experimental results on Overnight and GeoQuery show that our new objectives outperform conventional methods, bridging the gap between semi-supervised and supervised learning.
• Abstract（参考訳）: semantic parsingは自然言語(nl)の発話を機械解釈可能なプログラムに翻訳することを目的としている。 発話プログラムペアの高価なアノテーションは、現代のニューラルモデルが現実のアプリケーションに展開する際の大きなボトルネックとして長年認識されてきた。 本研究では,無ラベルNL音声とともに限られた量の注釈付きデータが利用できるセミ教師付き学習の課題に焦点を当てる。 NL発話に対応するプログラムは常に実行可能でなければならないという観測に基づいて、未ラベル発話のための実行可能プログラムを生成するようパーサに促すことを提案する。 実行可能プログラムの探索空間が大きいため、自己学習やトップk辺縁可能性トレーニングといったビームサーチに基づく近似を用いる従来の手法ではうまく動作しない。 代わりに、後進正規化の観点から実行から学習する問題を考察し、新しい訓練目標を提案する。 半教師付き学習と教師付き学習のギャップを橋渡しし,新しい目的が従来の手法よりも優れていることを示した。

関連論文リスト

• Searching Latent Program Spaces [0.0]
  本研究では,連続空間における潜伏プログラム上の分布を学習し,効率的な探索とテスト時間適応を可能にするプログラム誘導アルゴリズムを提案する。 テスト時間適応機構を利用して、トレーニング分布を超えて一般化し、目に見えないタスクに適応できることを示す。
  論文  参考訳（メタデータ） (2024-11-13T15:50:32Z)
• Exploring RL-based LLM Training for Formal Language Tasks with Programmed Rewards [49.7719149179179]
  本稿では,PPOを用いた強化学習(RL)の実現可能性について検討する。 我々は,生成した出力の質を自動的に評価するために,明示的な報酬関数をプログラムできるプログラミングなどの形式言語で表されるタスクに焦点をあてる。 以上の結果から,2つの形式言語タスクに対する純粋なRLベースのトレーニングは困難であり,単純な算術タスクにおいても成功は限られていることがわかった。
  論文  参考訳（メタデータ） (2024-10-22T15:59:58Z)
• Orthogonal Subspace Learning for Language Model Continual Learning [45.35861158925975]
  O-LoRAは、言語モデルにおける継続学習のためのシンプルで効率的なアプローチである。 提案手法は,パラメータの余分な追加コストのみを誘導し,再生にユーザデータストレージを必要としない。
  論文  参考訳（メタデータ） (2023-10-22T02:23:44Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• Robust Unsupervised Cross-Lingual Word Embedding using Domain Flow Interpolation [48.32604585839687]
  従来の敵対的アプローチは、並列データ無しに言語間単語埋め込みを誘導する有望な結果を示している。 そこで本研究では,滑らかなブリッジングのための中間空間列を提案する。
  論文  参考訳（メタデータ） (2022-10-07T04:37:47Z)
• A Simple Contrastive Learning Objective for Alleviating Neural Text Degeneration [56.64703901898937]
  本稿では,クロスエントロピーと異種訓練の利点を継承する,新しい対照的なトークン学習目標を提案する。 言語モデリングとオープンドメイン対話生成タスクに関する総合的な実験は、提案したコントラストトークンの目的がより繰り返しの少ないテキストを生成することを示す。
  論文  参考訳（メタデータ） (2022-05-05T08:50:50Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)
• Learning to Synthesize Programs as Interpretable and Generalizable Policies [25.258598215642067]
  本稿では,プログラムの合成を学習するフレームワークについて述べる。 実験の結果,提案フレームワークは,タスク解決プログラムを確実に合成するだけでなく,DRLやプログラム合成ベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-08-31T07:03:06Z)
• Token-wise Curriculum Learning for Neural Machine Translation [94.93133801641707]
  ニューラルネットワーク翻訳(NMT)への既存のカリキュラム学習アプローチでは、初期のトレーニング段階でトレーニングデータから十分なサンプルをサンプリングする必要がある。 簡便なサンプルを十分に生成する,新しいトークン型カリキュラム学習手法を提案する。 当社のアプローチは,5つの言語ペア,特に低リソース言語において,ベースラインを一貫して上回ることができる。
  論文  参考訳（メタデータ） (2021-03-20T03:57:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。