論文の概要: SeqZero: Few-shot Compositional Semantic Parsing with Sequential Prompts and Zero-shot Models

• arxiv url: http://arxiv.org/abs/2205.07381v1
• Date: Sun, 15 May 2022 21:13:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-18 02:59:37.237569
• Title: SeqZero: Few-shot Compositional Semantic Parsing with Sequential Prompts and Zero-shot Models
• Title（参考訳）: SeqZero: 逐次プロンプトとゼロショットモデルによる合成セマンティックパーシング
• Authors: Jingfeng Yang, Haoming Jiang, Qingyu Yin, Danqing Zhang, Bing Yin, Diyi Yang
• Abstract要約: 近年の研究では、事前訓練された言語モデルと標準発話を併用する有望な結果が示されている。 本稿では,SeqZeroという構文解析手法を提案する。 特に、SeqZeroは、提案した制約付き再スケーリングを備えたアンサンブルによって、両方のモデルのメリットを明らかにします。
• 参考スコア（独自算出の注目度）: 57.29358388475983
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent research showed promising results on combining pretrained language models (LMs) with canonical utterance for few-shot semantic parsing. The canonical utterance is often lengthy and complex due to the compositional structure of formal languages. Learning to generate such canonical utterance requires significant amount of data to reach high performance. Fine-tuning with only few-shot samples, the LMs can easily forget pretrained knowledge, overfit spurious biases, and suffer from compositionally out-of-distribution generalization errors. To tackle these issues, we propose a novel few-shot semantic parsing method -- SeqZero. SeqZero decomposes the problem into a sequence of sub-problems, which correspond to the sub-clauses of the formal language. Based on the decomposition, the LMs only need to generate short answers using prompts for predicting sub-clauses. Thus, SeqZero avoids generating a long canonical utterance at once. Moreover, SeqZero employs not only a few-shot model but also a zero-shot model to alleviate the overfitting. In particular, SeqZero brings out the merits from both models via ensemble equipped with our proposed constrained rescaling. SeqZero achieves SOTA performance of BART-based models on GeoQuery and EcommerceQuery, which are two few-shot datasets with compositional data split.
• Abstract（参考訳）: 近年の研究では、事前訓練された言語モデル(LM)と標準発話を組み合わせることで、数発のセマンティックパーシングに有望な結果が示されている。 正統的な発話は、形式言語の構成構造のため、しばしば長く複雑である。 このような標準発話を生成するための学習には、高いパフォーマンスに到達するために大量のデータが必要である。 わずかなサンプルで微調整すると、lmsは事前訓練された知識を忘れ、偏りを過度に満たし、構成上は分散の一般化エラーに苦しむ。 これらの問題に対処するため,SeqZeroという新しい意味解析手法を提案する。 SeqZeroは問題を形式言語のサブクラスに対応するサブプロブレムの列に分解する。 この分解に基づいて、LMはサブクロースを予測するプロンプトを使用して短い答えしか生成しない。 したがって、seqzeroは、長いカノニカル発話を一度に発生させない。 さらに、seqzeroは、数ショットモデルだけでなく、オーバーフィットを緩和するためのゼロショットモデルも採用している。 特にseqzeroは、提案する制約付き再スケーリングを備えたアンサンブルを通じて、両方のモデルからメリットを導き出します。 SeqZeroは、GeoQueryとECommerceQueryでBARTベースのモデルのSOTAパフォーマンスを実現している。

関連論文リスト

• SHINE: Saliency-aware HIerarchical NEgative Ranking for Compositional Temporal Grounding [52.98133831401225]
  時間的グラウンドディング(英: Temporal grounding、ビデオモーメント検索(英語版))は、所定のクエリ文に対応するビデオセグメントを特定することを目的としている。 本稿では, GPT-3.5-Turbo を用いた負のクエリ構築のための大規模言語モデル駆動手法を提案する。 本稿では,ビデオと階層的負のクエリ間の多粒度意味的関係を学習するモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-06T16:08:17Z)
• Language-Independent Representations Improve Zero-Shot Summarization [18.46817967804773]
  下流生成タスクで事前訓練されたモデルを微調整すると、ゼロショット条件で大惨事に陥ることが多い。 本研究では,要約に焦点をあて,言語に依存しない表現のレンズを用いてこの問題に対処する。 まず, 出力挙動と内部表現の両面において, 微調整モデルが非常に言語固有であることが示され, その結果, ゼロショット性能は低下した。
  論文  参考訳（メタデータ） (2024-04-08T17:56:43Z)
• Split and Rephrase with Large Language Models [2.499907423888049]
  Split and Rephrase (SPRP) タスクは、複雑な文を短い文法文の列に分割する。 タスク上の大きな言語モデルを評価し、主要なメトリクスに基づいて、技術の現状を大幅に改善できることを示します。
  論文  参考訳（メタデータ） (2023-12-18T10:16:37Z)
• ZEROTOP: Zero-Shot Task-Oriented Semantic Parsing using Large Language Models [6.13621607944513]
  本稿では,ゼロショットタスク指向構文解析法であるZEROTOPを提案する。 MTOPデータセットの発話の16%を,注釈付きデータを必要とすることなく正確に解析できることを示す。
  論文  参考訳（メタデータ） (2022-12-21T07:06:55Z)
• Structural generalization is hard for sequence-to-sequence models [85.0087839979613]
  シーケンス・ツー・シーケンス(seq2seq)モデルは、多くのNLPタスクで成功している。 構成一般化に関する最近の研究は、セq2seqモデルは訓練で見られなかった言語構造への一般化において非常に低い精度を達成することを示した。
  論文  参考訳（メタデータ） (2022-10-24T09:03:03Z)
• Thutmose Tagger: Single-pass neural model for Inverse Text Normalization [76.87664008338317]
  逆テキスト正規化(ITN)は自動音声認識において重要な後処理ステップである。 本稿では,ITN例の粒度アライメントに基づくデータセット作成手法を提案する。 タグと入力語との1対1対応により、モデルの予測の解釈性が向上する。
  論文  参考訳（メタデータ） (2022-07-29T20:39:02Z)
• Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
  大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。 未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-26T21:11:51Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。