論文の概要: Semantic Parsing in Limited Resource Conditions

• arxiv url: http://arxiv.org/abs/2309.07429v1
• Date: Thu, 14 Sep 2023 05:03:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 16:07:29.509415
• Title: Semantic Parsing in Limited Resource Conditions
• Title（参考訳）: 限られた資源条件における意味解析
• Authors: Zhuang Li
• Abstract要約: この論文はセマンティック解析における課題を探求し、特に限られたデータと計算資源のシナリオに焦点を当てている。 自動データキュレーション、知識伝達、アクティブラーニング、継続的な学習といったテクニックを使ったソリューションを提供する。
• 参考スコア（独自算出の注目度）: 19.689433249830465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This thesis explores challenges in semantic parsing, specifically focusing on scenarios with limited data and computational resources. It offers solutions using techniques like automatic data curation, knowledge transfer, active learning, and continual learning. For tasks with no parallel training data, the thesis proposes generating synthetic training examples from structured database schemas. When there is abundant data in a source domain but limited parallel data in a target domain, knowledge from the source is leveraged to improve parsing in the target domain. For multilingual situations with limited data in the target languages, the thesis introduces a method to adapt parsers using a limited human translation budget. Active learning is applied to select source-language samples for manual translation, maximizing parser performance in the target language. In addition, an alternative method is also proposed to utilize machine translation services, supplemented by human-translated data, to train a more effective parser. When computational resources are limited, a continual learning approach is introduced to minimize training time and computational memory. This maintains the parser's efficiency in previously learned tasks while adapting it to new tasks, mitigating the problem of catastrophic forgetting. Overall, the thesis provides a comprehensive set of methods to improve semantic parsing in resource-constrained conditions.
• Abstract（参考訳）: この論文はセマンティック解析の課題、特に限られたデータと計算資源のシナリオに焦点を当てている。 自動データキュレーション、知識伝達、アクティブラーニング、継続的な学習といったテクニックを使ったソリューションを提供する。 並列トレーニングデータを持たないタスクに対しては、構造化データベーススキーマから合成トレーニング例を生成することを提案する。 ソースドメインに豊富なデータがあるが、ターゲットドメインに限られた並列データがある場合、ソースからの知識を利用して、ターゲットドメインのパースを改善する。 対象言語に限定されたデータを持つ多言語状況に対して,論文では,人間の翻訳予算を制限したパーサーを適応させる手法を提案する。 能動的学習は、対象言語におけるパーサ性能を最大化する、手動翻訳のためのソース言語サンプルの選択に適用される。 また,人間翻訳データによって補足された機械翻訳サービスを利用して,より効果的な構文解析を行う方法も提案されている。 計算資源が制限されると、学習時間と計算メモリを最小限に抑えるための連続学習手法が導入された。 これにより、以前の学習したタスクにおけるパーサーの効率が維持され、新しいタスクに適応し、破滅的な忘れる問題を軽減する。 全体として、この論文はリソース制約条件のセマンティック解析を改善するための包括的な手法のセットを提供する。

関連論文リスト

• No Train but Gain: Language Arithmetic for training-free Language Adapters enhancement [59.37775534633868]
  本稿では,学習不要な後処理が可能な言語演算法を提案する。 提案手法の有効性を,MAD-Xに基づく言語間スキームの3つの下流課題に適用した。
  論文  参考訳（メタデータ） (2024-04-24T08:52:40Z)
• Parameterizing Context: Unleashing the Power of Parameter-Efficient Fine-Tuning and In-Context Tuning for Continual Table Semantic Parsing [13.51721352349583]
  本稿では,連続的なテーブルセマンティック解析のトレーニングに,PEFT(textitcontext- efficient fine-tuning)とICT(textitin-adaptive tuning)を統合した新しい手法を提案する。 教員は、ICTを用いて、いくつかのトレーニング例を示すことで、文脈情報を取得する、いくつかのショット問題に対処する。 代わりに、提案したPEFTフレームワークを利用して教師の出力分布から学習し、その後、文脈情報をプロンプトに圧縮保存し、トレーニング例を保存する必要がなくなる。
  論文  参考訳（メタデータ） (2023-10-07T13:40:41Z)
• Effective Transfer Learning for Low-Resource Natural Language Understanding [15.752309656576129]
  低リソース問題に対処するために、言語横断とドメイン横断の手法の開発に注力する。 まず、タスク関連キーワードに着目して、モデルの言語間能力を改善することを提案する。 第2に,言語間適応のための秩序再現型モデリング手法を提案する。 第3に、クロスドメイン適応のための事前学習において、異なるレベルのドメイン関連コーパスと追加データマスキングを活用することを提案する。
  論文  参考訳（メタデータ） (2022-08-19T06:59:00Z)
• Leveraging Natural Supervision for Language Representation Learning and Generation [8.083109555490475]
  自然発生型監視を用いて,ニューラルネットワークのトレーニングと評価を改善するための3行の作業について述べる。 まず,NLPタスクに対する事前学習言語モデルの性能向上を支援するために,自己指導型学習損失について検討する。 文表現における意味論と構文のアンタングル化にパラフレーズペアを用いるフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-21T17:26:03Z)
• On the Usability of Transformers-based models for a French Question-Answering task [2.44288434255221]
  本稿では,大規模学習問題におけるトランスフォーマーに基づく言語モデルのユーザビリティに着目した。 本稿では,低リソース環境下での競合性を示すFrALBERTの新しいコンパクトモデルを提案する。
  論文  参考訳（メタデータ） (2022-07-19T09:46:15Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)
• Using Document Similarity Methods to create Parallel Datasets for Code Translation [60.36392618065203]
  あるプログラミング言語から別のプログラミング言語へのソースコードの翻訳は、重要で時間を要する作業です。 本稿では、文書類似性手法を用いて、ノイズの多い並列データセットを作成することを提案する。 これらのモデルは、妥当なレベルのノイズに対して、地上の真実に基づいて訓練されたモデルと相容れない性能を示す。
  論文  参考訳（メタデータ） (2021-10-11T17:07:58Z)
• Reinforced Iterative Knowledge Distillation for Cross-Lingual Named Entity Recognition [54.92161571089808]
  言語間NERは、知識をリッチリソース言語から低リソース言語に転送する。 既存の言語間NERメソッドは、ターゲット言語でリッチなラベル付けされていないデータをうまく利用しない。 半教師付き学習と強化学習のアイデアに基づく新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2021-06-01T05:46:22Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer [64.22926988297685]
  下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。 本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
  論文  参考訳（メタデータ） (2019-10-23T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。