論文の概要: Improving Generalization in Language Model-Based Text-to-SQL Semantic Parsing: Two Simple Semantic Boundary-Based Techniques

• arxiv url: http://arxiv.org/abs/2305.17378v1
• Date: Sat, 27 May 2023 06:09:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 19:42:59.953956
• Title: Improving Generalization in Language Model-Based Text-to-SQL Semantic Parsing: Two Simple Semantic Boundary-Based Techniques
• Title（参考訳）: 言語モデルに基づくテキスト-SQLセマンティックパーシングにおける一般化の改善:2つの単純なセマンティック境界ベース手法
• Authors: Daking Rai, Bailin Wang, Yilun Zhou and Ziyu Yao
• Abstract要約: LMトークン化器が生成するトークンの意味的境界を保存するためのトークン前処理手法を提案する。 シーケンスレベルでは、入力と出力の間に整列したコンポーネントの境界を示すために特別なトークンを使うことを提案する。 2つのテキストからセマンティック・パーシング・データセットによる実験結果から,トークン前処理は単純ではあるが,両タイプの一般化におけるLM性能を大幅に向上させることができることがわかった。
• 参考スコア（独自算出の注目度）: 14.634536051274468
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compositional and domain generalization present significant challenges in semantic parsing, even for state-of-the-art semantic parsers based on pre-trained language models (LMs). In this study, we empirically investigate improving an LM's generalization in semantic parsing with two simple techniques: at the token level, we introduce a token preprocessing method to preserve the semantic boundaries of tokens produced by LM tokenizers; at the sequence level, we propose to use special tokens to mark the boundaries of components aligned between input and output. Our experimental results on two text-to-SQL semantic parsing datasets show that our token preprocessing, although simple, can substantially improve the LM performance on both types of generalization, and our component boundary marking method is particularly helpful for compositional generalization.
• Abstract（参考訳）: 合成およびドメインの一般化は、事前訓練された言語モデル(LM)に基づく最先端のセマンティックパーサに対しても、セマンティックパーシングにおいて重要な課題となる。 本研究では, トークンレベルでは, lmトークン化器が生成するトークンの意味的境界を保存するトークン前処理手法を導入し, シーケンスレベルでは, 入力と出力の間に配列されたコンポーネントの境界をマークするために特別なトークンを用いることを提案する。 2つのテキストからSQLへのセマンティックパーシングデータセットによる実験結果から,トークン前処理は単純ではあるが,両タイプの一般化におけるLM性能を大幅に向上させることができることがわかった。

関連論文リスト

• Enhancing Character-Level Understanding in LLMs through Token Internal Structure Learning [20.100484034021285]
  Token Internal Position Awareness (TIPA) は、LLMの内部トークン構造に対する理解を高める新しいアプローチである。 TIPAは、モデルが文字の位置と内部構造を効果的に学習し、一般化することを可能にする。
  論文  参考訳（メタデータ） (2024-11-26T18:44:39Z)
• NormXLogit: The Head-on-Top Never Lies [15.215985417763472]
  トランスフォーマーアーキテクチャは、大きな言語モデルを構築する上で主要な選択肢となっている。 個々の入力トークンの意義を評価するため,NormXLogitと呼ばれる新しい手法を提案する。 提案手法は,忠実度の観点から,既存の勾配法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-25T10:12:27Z)
• A General and Flexible Multi-concept Parsing Framework for Multilingual Semantic Matching [60.51839859852572]
  我々は,テキストを多言語セマンティックマッチングのためのマルチコンセプトに分解し,NERモデルに依存するモデルからモデルを解放することを提案する。 英語データセットのQQPとMRPC、中国語データセットのMedical-SMについて包括的な実験を行った。
  論文  参考訳（メタデータ） (2024-03-05T13:55:16Z)
• Cross-domain Chinese Sentence Pattern Parsing [67.1381983012038]
  文パターン構造解析(SPS)は、主に言語教育に使用される構文解析法である。 既存のSPSは教科書のコーパスに大きく依存しており、クロスドメイン機能に欠ける。 本稿では,大規模言語モデル(LLM)を自己学習フレームワーク内で活用する革新的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-26T05:30:48Z)
• Translate First Reorder Later: Leveraging Monotonicity in Semantic Parsing [4.396860522241306]
  TPolは2段階のアプローチであり、入力文を単調に翻訳し、正しい出力を得るために再注文する。 2つの一般的なセマンティックパーシングデータセットでアプローチをテストする。
  論文  参考訳（メタデータ） (2022-10-10T17:50:42Z)
• Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
  本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。 第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。 いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T07:27:29Z)
• Neural Token Segmentation for High Token-Internal Complexity [7.569526565230962]
  原文をワード単位に変換することは、NLPパイプラインにとって重要な前処理ステップである。 本稿では,文脈化トークン表現とチャレベルデコーディングを組み合わせたニューラルセグメンテーションモデルを提案する。 我々のモデルはヘブライ語とアラビア語の分節精度を最先端と比較して大幅に改善したことを示している。
  論文  参考訳（メタデータ） (2022-03-21T10:07:17Z)
• Multi-view Subword Regularization [111.04350390045705]
  マルチビューサブワード正規化(MVR)は、標準でトークン化された入力と確率的セグメンテーションとの整合性を強制する手法です。 XTREMEマルチ言語ベンチマークの結果は、MVRが標準セグメンテーションアルゴリズムよりも最大2.5ポイントの一貫性のある改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2021-03-15T16:07:42Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Compositional Generalization via Semantic Tagging [81.24269148865555]
  本稿では,シーケンス・ツー・シーケンスモデルの表現性と一般性を保存するための新しいデコードフレームワークを提案する。 提案手法は, モデルアーキテクチャ, ドメイン, セマンティックフォーマリズム間の構成一般化を一貫して改善することを示す。
  論文  参考訳（メタデータ） (2020-10-22T15:55:15Z)
• Filtered Inner Product Projection for Crosslingual Embedding Alignment [28.72288652451881]
  フィルタ内積投影(FIPP)は、埋め込みを共通表現空間にマッピングする手法である。 FIPPは、ソースとターゲットの埋め込みが異なる次元である場合でも適用可能である。 提案手法は,MUSEデータセット上の既存の手法よりも,様々な言語ペアに対して優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-05T19:53:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。