論文の概要: Self-Correction Distillation for Structured Data Question Answering

• arxiv url: http://arxiv.org/abs/2511.07998v2
• Date: Mon, 17 Nov 2025 06:08:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:22.181327
• Title: Self-Correction Distillation for Structured Data Question Answering
• Title（参考訳）: 構造化データ質問応答に対する自己補正蒸留法
• Authors: Yushan Zhu, Wen Zhang, Long Jin, Mengshu Sun, Ling Zhong, Zhiqiang Liu, Juan Li, Lei Liang, Chong Long, Chao Deng, Junlan Feng,
• Abstract要約: 小型言語モデル(LLM)は、構造化クエリの生成時にエラーを起こしやすい。 小型LCMの構造データQA能力を向上させるための自己補正蒸留(SCD)法を提案する。
• 参考スコア（独自算出の注目度）: 50.98882432829651
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structured data question answering (QA), including table QA, Knowledge Graph (KG) QA, and temporal KG QA, is a pivotal research area. Advances in large language models (LLMs) have driven significant progress in unified structural QA frameworks like TrustUQA. However, these frameworks face challenges when applied to small-scale LLMs since small-scale LLMs are prone to errors in generating structured queries. To improve the structured data QA ability of small-scale LLMs, we propose a self-correction distillation (SCD) method. In SCD, an error prompt mechanism (EPM) is designed to detect errors and provide customized error messages during inference, and a two-stage distillation strategy is designed to transfer large-scale LLMs' query-generation and error-correction capabilities to small-scale LLM. Experiments across 5 benchmarks with 3 structured data types demonstrate that our SCD achieves the best performance and superior generalization on small-scale LLM (8B) compared to other distillation methods, and closely approaches the performance of GPT4 on some datasets. Furthermore, large-scale LLMs equipped with EPM surpass the state-of-the-art results on most datasets.
• Abstract（参考訳）: 表QA、知識グラフ(KG)QA、時間KGQAを含む構造化データ質問応答(QA)は、重要な研究領域である。 大規模言語モデル(LLM)の進歩は、TrustUQAのような統合構造的なQAフレームワークに大きな進歩をもたらした。 しかし、これらのフレームワークは、構造化クエリの生成時にエラーが発生しやすいため、小規模のLLMに適用する際の課題に直面している。 小型LCMの構造データQA能力を向上させるため, 自己補正蒸留法(SCD)を提案する。 SCDでは、エラー検出機構(EPM)は、推論中にエラーを検出し、カスタマイズされたエラーメッセージを提供するように設計されており、大規模LLMのクエリ生成とエラー訂正機能を小型LLMに転送する2段階の蒸留戦略が設計されている。 3種類の構造化データ型を持つ5つのベンチマークによる実験により, 我々のSCDは, 他の蒸留法と比較して, 小型LLM (8B) において最高の性能と優れた一般化を達成し, いくつかのデータセット上でのGPT4の性能に近づいた。 さらに、EPMを備えた大規模LLMは、ほとんどのデータセットで最先端の結果を上回っている。

関連論文リスト

• Large Language Models as Universal Predictors? An Empirical Study on Small Tabular Datasets [0.0]
  大規模言語モデル(LLM)は、下流タスクを明示的に微調整することなく、構造化された入力に対して予測タスクを実行することができる。 分類,回帰,クラスタリングタスクのための小規模構造化データセット上でのLCMの実証関数近似能力について検討した。 以上の結果から,LLMは構造化データの汎用的予測エンジンとして機能する可能性が示唆された。
  論文  参考訳（メタデータ） (2025-08-24T15:00:51Z)
• An Empirical Study of Conformal Prediction in LLM with ASP Scaffolds for Robust Reasoning [52.29223403698673]
  本稿では, Answer Set Programming (ASP) とともに, Conformal Language Modelling (CLM) の使用について検討する。 LLM から ASP プログラムの集合を生成するために CLM を適用し,出力の正確性に関する統計的保証を提供する。 実験の結果,標準サンプリング手法を用いたベースラインモデルではCLMが有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T14:10:10Z)
• Embedding Self-Correction as an Inherent Ability in Large Language Models for Enhanced Mathematical Reasoning [13.082135438792475]
  自己補正の連鎖は、大規模言語モデルに固有の能力として自己補正を組み込む。 CoSCは一連の自己補正段階を通して機能する。 実験により、CoSCは標準的な数学的データセットの性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-10-14T17:16:44Z)
• 60 Data Points are Sufficient to Fine-Tune LLMs for Question-Answering [50.12622877002846]
  大規模言語モデル(LLM)は、大量のデータセットの事前トレーニングを通じて、広範囲な世界の知識を符号化する。 我々は,事前学習したLLMが記憶する知識の量に基づいて,教師付き微調整(SFT)データを分類した。 実験の結果,SFTの段階では60個のデータポイントが事前学習中に符号化された知識を活性化することができ,LLMがQAタスクを実行できることがわかった。
  論文  参考訳（メタデータ） (2024-09-24T07:38:38Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• Aligning Instruction Tasks Unlocks Large Language Models as Zero-Shot Relation Extractors [11.28397947587596]
  大規模命令追従データセット上での細調整大型言語モデル(LLM)は、幅広いNLPタスクの性能を大幅に向上させる。 しかし、先進的な命令調整 LLM でさえ、関係抽出(RE)において小さな LM を上回りません。 本稿では,REを質問応答(QA)と整合させるフレームワークであるQA4REを提案する。
  論文  参考訳（メタデータ） (2023-05-18T17:48:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。