論文の概要: Filling Memory Gaps: Enhancing Continual Semantic Parsing via SQL Syntax Variance-Guided LLMs without Real Data Replay

• arxiv url: http://arxiv.org/abs/2412.07246v1
• Date: Tue, 10 Dec 2024 07:11:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:36:25.511031
• Title: Filling Memory Gaps: Enhancing Continual Semantic Parsing via SQL Syntax Variance-Guided LLMs without Real Data Replay
• Title（参考訳）: メモリギャップを埋める:SQL の構文可変型 LLM による連続的なセマンティックパーシングを実データ再生なしで実現する
• Authors: Ruiheng Liu, Jinyu Zhang, Yanqi Song, Yu Zhang, Bailong Yang,
• Abstract要約: CSP(Continuous Semantic Parsing)は、自然言語質問をタスク間で限定的な例で変換するためにアノテーションをトレーニングすることを目的としている。 過去の研究は、過去のデータを再生したり、パラメータ効率調整(PET)を用いてこの課題を緩和していた。 本稿では,Large Language Model (LLM) を用いた拡張連続意味解析手法 LECSP を提案する。
• 参考スコア（独自算出の注目度）: 5.308585520353363
• License:
• Abstract: Continual Semantic Parsing (CSP) aims to train parsers to convert natural language questions into SQL across tasks with limited annotated examples, adapting to the real-world scenario of dynamically updated databases. Previous studies mitigate this challenge by replaying historical data or employing parameter-efficient tuning (PET), but they often violate data privacy or rely on ideal continual learning settings. To address these problems, we propose a new Large Language Model (LLM)-Enhanced Continuous Semantic Parsing method, named LECSP, which alleviates forgetting while encouraging generalization, without requiring real data replay or ideal settings. Specifically, it first analyzes the commonalities and differences between tasks from the SQL syntax perspective to guide LLMs in reconstructing key memories and improving memory accuracy through a calibration strategy. Then, it uses a task-aware dual-teacher distillation framework to promote the accumulation and transfer of knowledge during sequential training. Experimental results on two CSP benchmarks show that our method significantly outperforms existing methods, even those utilizing data replay or ideal settings. Additionally, we achieve generalization performance beyond the upper limits, better adapting to unseen tasks.
• Abstract（参考訳）: CSP(Continuous Semantic Parsing)は、動的に更新されたデータベースの現実シナリオに適応して、タスク間で自然言語の質問をSQLに変換するようにパーサをトレーニングすることを目的としている。 これまでの研究では、過去のデータをリプレイしたり、パラメータ係数チューニング(PET)を採用することで、この課題を緩和するが、データのプライバシーを侵害したり、理想的な継続的学習設定に依存したりすることが多い。 これらの問題に対処するため,Large Language Model (LLM)-Enhanced Continuous Semantic Parsing method (LECSP)を提案する。 具体的には、SQL構文の観点からタスク間の共通点と相違点を分析し、キーメモリの再構築とキャリブレーション戦略によるメモリ精度の向上にLLMを誘導する。 そして、タスク対応のデュアルティーチンガー蒸留フレームワークを使用して、シーケンシャルトレーニング中の知識の蓄積と伝達を促進する。 CSPベンチマークの2つの実験結果から,本手法はデータ再生や理想的な設定を利用した場合であっても,既存の手法よりも大幅に優れていることが示された。 さらに、上限を超える一般化性能を達成し、目に見えないタスクに適応する。

関連論文リスト

• Continual LLaVA: Continual Instruction Tuning in Large Vision-Language Models [93.5327725085853]
  連続LLaVA(Continuous LLaVA)は、LVLMにおける連続的な命令チューニングに適したリハーサルフリーな手法である。 実験により,提案した連続LLaVAは,連続的な命令チューニング過程における忘れを著しく減らし,従来の手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-11-04T19:55:32Z)
• An Actor-Critic Approach to Boosting Text-to-SQL Large Language Model [7.01795534825797]
  Actor-Critic (AC) と呼ばれるT2S拡張手法を提案する。 我々は,同じ大言語モデル (LLM) を用いて2つの役割を設計する。 批評家が生成したsqlが間違っていると信じている場合、アクターにthesqlを再生して再度評価するように通知する。 我々は11個のLDMを用いて、スパイダーと関連するデータセットに関する広範な実験を行い、アクター・クライト法がT2Sの性能を一貫して改善することを実証した。
  論文  参考訳（メタデータ） (2024-10-28T15:22:35Z)
• P-RAG: Progressive Retrieval Augmented Generation For Planning on Embodied Everyday Task [94.08478298711789]
  Embodied Everyday Taskは、インボディードAIコミュニティで人気のあるタスクである。 自然言語命令は明示的なタスクプランニングを欠くことが多い。 タスク環境に関する知識をモデルに組み込むには、広範囲なトレーニングが必要である。
  論文  参考訳（メタデータ） (2024-09-17T15:29:34Z)
• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• PARMESAN: Parameter-Free Memory Search and Transduction for Dense Prediction Tasks [5.5127111704068374]
  この研究は、トランスダクティブ推論によるディープラーニングの柔軟性に対処する。 我々は,高密度予測タスクを解くためにメモリモジュールを活用するスケーラブルな手法であるPARMESANを提案する。 提案手法は,一般的なアーキテクチャと互換性があり,標準で1D,2D,3Dグリッドベースのデータに転送する。
  論文  参考訳（メタデータ） (2024-03-18T12:55:40Z)
• InsCL: A Data-efficient Continual Learning Paradigm for Fine-tuning Large Language Models with Instructions [29.682289142922752]
  InsCLは、Wasserstein Distanceによって計算されたタスク類似性に基づいて、以前のデータを動的に再生する。 InsCLはRandom Replayと比較して3.0 Relative Gain、No Replayに比べて27.96 Relative Gainのパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2024-03-18T03:10:36Z)
• Continual Referring Expression Comprehension via Dual Modular Memorization [133.46886428655426]
  Referring Expression (REC) は、自然言語で記述された対象のイメージ領域をローカライズすることを目的としている。 既存のRECアルゴリズムは、モデルへのデータ供給のトレーニングを前もって行うと強く仮定する。 本稿では、入ってくるタスクのストリーム上でモデルが学習するRECの新しい設定である連続参照表現(CREC)を提案する。 学習済みの知識を忘れずに,スクラッチから繰り返し再学習することなく,逐次的タスクのモデルを継続的に改善するために,デュアルモジュール記憶法という効果的なベースライン手法を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:58:51Z)
• ReLLa: Retrieval-enhanced Large Language Models for Lifelong Sequential Behavior Comprehension in Recommendation [43.270424225285105]
  ゼロショットと少数ショットのレコメンデーションタスクのために、純粋に大きな言語モデルを適応し、強化することに重点を置いています。 ゼロショット設定と少数ショット設定の両方でレコメンデーションタスクを行うRetrieval-enhanced Large Language Model (ReLLa)を提案する。
  論文  参考訳（メタデータ） (2023-08-22T02:25:04Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• Learn from Yesterday: A Semi-Supervised Continual Learning Method for Supervision-Limited Text-to-SQL Task Streams [18.010095381310972]
  本稿では,半教師付き学習 (SSL) と連続学習 (CL) をテキストからラベル付きタスクのストリームに統合することを提案する。 2つのデータセットの実験は、SFNetが広く使用されているSSLのみとCLのみのベースラインを、複数のメトリクスで上回っていることを示している。
  論文  参考訳（メタデータ） (2022-11-21T07:40:28Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。