論文の概要: MAGIC: Generating Self-Correction Guideline for In-Context Text-to-SQL

• arxiv url: http://arxiv.org/abs/2406.12692v2
• Date: Mon, 16 Dec 2024 13:52:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:52:18.663517
• Title: MAGIC: Generating Self-Correction Guideline for In-Context Text-to-SQL
• Title（参考訳）: MAGIC: In-Context Text-to-SQLのための自己補正ガイドラインの生成
• Authors: Arian Askari, Christian Poelitz, Xinye Tang,
• Abstract要約: 本稿では,自己補正ガイドライン作成を自動化する新しいマルチエージェント手法であるMAGICを紹介する。 MAGICは、マネージャ、修正、フィードバックエージェントの3つの特殊エージェントを使用する。 我々の実験によると、MAGICのガイドラインは、人間の作ったものよりも優れています。
• 参考スコア（独自算出の注目度）: 0.26626950367610397
• License:
• Abstract: Self-correction in text-to-SQL is the process of prompting large language model (LLM) to revise its previously incorrectly generated SQL, and commonly relies on manually crafted self-correction guidelines by human experts that are not only labor-intensive to produce but also limited by the human ability in identifying all potential error patterns in LLM responses. We introduce MAGIC, a novel multi-agent method that automates the creation of the self-correction guideline. MAGIC uses three specialized agents: a manager, a correction, and a feedback agent. These agents collaborate on the failures of an LLM-based method on the training set to iteratively generate and refine a self-correction guideline tailored to LLM mistakes, mirroring human processes but without human involvement. Our extensive experiments show that MAGIC's guideline outperforms expert human's created ones. We empirically find out that the guideline produced by MAGIC enhance the interpretability of the corrections made, providing insights in analyzing the reason behind the failures and successes of LLMs in self-correction. We make all agent interactions publicly available to the research community, to foster further research in this area, offering a synthetic dataset for future explorations into automatic self-correction guideline generation.
• Abstract（参考訳）: テキストからSQLへの自己訂正(Self-correction in text-to-SQL)とは、大きな言語モデル(LLM)に対して、以前誤って生成したSQLの修正を促すプロセスであり、一般的には人間の専門家による手作業による自己訂正ガイドラインに依存している。 本稿では,自己補正ガイドライン作成を自動化する新しいマルチエージェント手法であるMAGICを紹介する。 MAGICは、マネージャ、修正、フィードバックエージェントの3つの特殊エージェントを使用する。 これらのエージェントは、LLMのミスに合わせた自己補正ガイドラインを反復的に生成し、人間のプロセスに反映するが、人間の関与を伴わない訓練セットにおけるLLMベースの手法の失敗に協力する。 我々の広範な実験により、MAGICのガイドラインは、人間の作ったものよりも優れています。 MAGICが作成したガイドラインは, 自己補正におけるLPMの失敗や成功の背景にある理由を解析し, 修正の解釈可能性を高めることを実証的に見出した。 我々は,すべてのエージェントインタラクションを研究コミュニティに公開し,この分野のさらなる研究を奨励し,自動自己補正ガイドライン生成に向けた将来の探索のための合成データセットを提供する。

関連論文リスト

• Training Language Models to Self-Correct via Reinforcement Learning [98.35197671595343]
  自己補正は、現代の大規模言語モデル(LLM)では、ほとんど効果がないことが判明した。 完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習手法であるSCoReを開発した。 SCoReは最先端の自己補正性能を実現し,MATHとHumanEvalでそれぞれ15.6%,9.1%向上した。
  論文  参考訳（メタデータ） (2024-09-19T17:16:21Z)
• S$^3$c-Math: Spontaneous Step-level Self-correction Makes Large Language Models Better Mathematical Reasoners [23.713779973116733]
  自己補正は,大規模言語モデル(LLM)の潜在的な推論能力を刺激する手法である 本稿では,S$3$c-Mathを提案する。
  論文  参考訳（メタデータ） (2024-09-03T01:40:21Z)
• A Theoretical Understanding of Self-Correction through In-context Alignment [51.622068973630796]
  大規模言語モデル(LLM)は自己補正によって純粋に能力を向上させることができる。 LLMが比較的正確な自己評価を報酬として与える場合、文脈内応答を補充できることを示す。 これらの知見に触発されて,LLMジェイルブレイクに対する防御などの自己補正の応用についても解説した。
  論文  参考訳（メタデータ） (2024-05-28T22:33:02Z)
• Small Language Models Need Strong Verifiers to Self-Correct Reasoning [69.94251699982388]
  大規模言語モデル(LLM)の推論性能を高めるための有望なソリューションとして自己補正が登場した。 この研究は、小さい(=13B)言語モデル(LM)が、より強いLMから最小の入力で推論タスクを自己補正できるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-04-26T03:41:28Z)
• Tailoring Personality Traits in Large Language Models via Unsupervisedly-Built Personalized Lexicons [42.66142331217763]
  人格は人間の表現パターンを形成する上で重要な役割を果たしている。 従来の手法は、特定のコーパス上の細調整された大規模言語モデル(LLM)に依存していた。 我々は,人格特性を操作するために,Unsupervisedly-Built Personal lexicon (UBPL) をプラガブルな方法で採用した。
  論文  参考訳（メタデータ） (2023-10-25T12:16:33Z)
• Large Language Models Cannot Self-Correct Reasoning Yet [78.16697476530994]
  LLM(Large Language Models)は、非並列テキスト生成機能を備えた画期的な技術として登場した。 生成したコンテンツの正確性と適切性に関する懸念が続いている。 現代の方法論である自己補正がこれらの問題に対する対策として提案されている。
  論文  参考訳（メタデータ） (2023-10-03T04:56:12Z)
• SELF: Self-Evolution with Language Feedback [68.6673019284853]
  SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。 LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。 数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
  論文  参考訳（メタデータ） (2023-10-01T00:52:24Z)
• Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies [104.32199881187607]
  大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。 これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。 本稿では,この新技術について概観する。
  論文  参考訳（メタデータ） (2023-08-06T18:38:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。