論文の概要: MAGIC: Generating Self-Correction Guideline for In-Context Text-to-SQL

• arxiv url: http://arxiv.org/abs/2406.12692v1
• Date: Tue, 18 Jun 2024 15:06:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 18:28:51.119202
• Title: MAGIC: Generating Self-Correction Guideline for In-Context Text-to-SQL
• Title（参考訳）: MAGIC: In-Context Text-to-SQLのための自己補正ガイドラインの生成
• Authors: Arian Askari, Christian Poelitz, Xinye Tang,
• Abstract要約: 本稿では,自己補正ガイドライン作成を自動化する新しいマルチエージェント手法であるMAGICを紹介する。 MAGICは、マネージャ、修正、フィードバックエージェントの3つの特殊エージェントを使用する。 我々の実験によると、MAGICのガイドラインは、人間の作ったものよりも優れています。
• 参考スコア（独自算出の注目度）: 0.26626950367610397
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-correction in text-to-SQL is the process of prompting large language model (LLM) to revise its previously incorrectly generated SQL, and commonly relies on manually crafted self-correction guidelines by human experts that are not only labor-intensive to produce but also limited by the human ability in identifying all potential error patterns in LLM responses. We introduce MAGIC, a novel multi-agent method that automates the creation of the self-correction guideline. MAGIC uses three specialized agents: a manager, a correction, and a feedback agent. These agents collaborate on the failures of an LLM-based method on the training set to iteratively generate and refine a self-correction guideline tailored to LLM mistakes, mirroring human processes but without human involvement. Our extensive experiments show that MAGIC's guideline outperforms expert human's created ones. We empirically find out that the guideline produced by MAGIC enhance the interpretability of the corrections made, providing insights in analyzing the reason behind the failures and successes of LLMs in self-correction. We make all agent interactions publicly available to the research community, to foster further research in this area, offering a synthetic dataset for future explorations into automatic self-correction guideline generation.
• Abstract（参考訳）: テキストからSQLへの自己訂正(Self-correction in text-to-SQL)とは、大きな言語モデル(LLM)に対して、以前誤って生成したSQLの修正を促すプロセスであり、一般的には人間の専門家による手作業による自己訂正ガイドラインに依存している。 本稿では,自己補正ガイドライン作成を自動化する新しいマルチエージェント手法であるMAGICを紹介する。 MAGICは、マネージャ、修正、フィードバックエージェントの3つの特殊エージェントを使用する。 これらのエージェントは、LLMのミスに合わせた自己補正ガイドラインを反復的に生成し、人間のプロセスに反映するが、人間の関与を伴わない訓練セットにおけるLLMベースの手法の失敗に協力する。 我々の広範な実験により、MAGICのガイドラインは、人間の作ったものよりも優れています。 MAGICが作成したガイドラインは, 自己補正におけるLPMの失敗や成功の背景にある理由を解析し, 修正の解釈可能性を高めることを実証的に見出した。 我々は,すべてのエージェントインタラクションを研究コミュニティに公開し,この分野のさらなる研究を奨励し,自動自己補正ガイドライン生成に向けた将来の探索のための合成データセットを提供する。

関連論文リスト

• Understanding the Dark Side of LLMs' Intrinsic Self-Correction [55.51468462722138]
  LLMの応答を改善するために,本質的な自己補正法が提案された。 近年の研究では、LLMの内在的な自己補正は、フィードバックのプロンプトとして、オラクルラベルなしで失敗することが示されている。 内在的な自己補正は、中途半端な回答と最終回答の両方を LLM が揺らぎ、単純な事実的質問に対する素早い偏見をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-12-19T15:39:31Z)
• Self-Reflection in LLM Agents: Effects on Problem-Solving Performance [0.0]
  大規模言語モデル(LLM)における自己回帰が問題解決性能に及ぼす影響について検討した。 各質問に対して, 誤りを反映するように8種類の自己反射型LLMエージェントを指示した。 このガイダンスを用いて、各自己表現エージェントは、同じ質問を再回答しようと試みた。
  論文  参考訳（メタデータ） (2024-05-05T18:56:46Z)
• Small Language Models Need Strong Verifiers to Self-Correct Reasoning [69.94251699982388]
  大規模言語モデル(LLM)の推論性能を高めるための有望なソリューションとして自己補正が登場した。 この研究は、小さい(=13B)言語モデル(LM)が、より強いLMから最小の入力で推論タスクを自己補正できるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-04-26T03:41:28Z)
• GoEX: Perspectives and Designs Towards a Runtime for Autonomous LLM Applications [46.85306320942487]
  大きな言語モデル(LLM)は、ツールに積極的に関与し、現実世界のアプリケーションやサービスでアクションを実行するために進化しています。 現在、人間はLLM生成した出力の正確さと適切性を検証し、それらを実世界の実行に投入している。 コードの理解は、悪名高いほど難しいことで知られています。 本稿では,人類が将来,自律LLMと効率的に協力し,委譲し,監督する方法について検討する。
  論文  参考訳（メタデータ） (2024-04-10T11:17:33Z)
• GenAudit: Fixing Factual Errors in Language Model Outputs with Evidence [64.95492752484171]
  GenAudit - 文書基底タスクの事実チェック LLM 応答を支援するためのツール。 GenAuditは、レファレンス文書でサポートされていないクレームを修正したり削除したりすることでLCMレスポンスを編集することを提案し、また、サポートしているように見える事実の参照から証拠を提示する。 GenAuditは、さまざまなドメインから文書を要約する際に、8つの異なるLCM出力でエラーを検出することができる。
  論文  参考訳（メタデータ） (2024-02-19T21:45:55Z)
• Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement [75.7148545929689]
  大規模言語モデル(LLM)は、特定のタスクの自己フィードバックを通じてパフォーマンスを向上し、他のタスクを劣化させる。 我々は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。 我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
  論文  参考訳（メタデータ） (2024-02-18T03:10:39Z)
• Tailoring Personality Traits in Large Language Models via Unsupervisedly-Built Personalized Lexicons [42.66142331217763]
  人格は人間の表現パターンを形成する上で重要な役割を果たしている。 従来の手法は、特定のコーパス上の細調整された大規模言語モデル(LLM)に依存していた。 我々は,人格特性を操作するために,Unsupervisedly-Built Personal lexicon (UBPL) をプラガブルな方法で採用した。
  論文  参考訳（メタデータ） (2023-10-25T12:16:33Z)
• Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies [104.32199881187607]
  大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。 これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。 本稿では,この新技術について概観する。
  論文  参考訳（メタデータ） (2023-08-06T18:38:52Z)
• Self-Refine: Iterative Refinement with Self-Feedback [62.78755306241981]
  Self-Refineは、反復的なフィードバックと改善を通じて、大きな言語モデル(LLM)からの初期出力を改善するアプローチである。 GPT-3.5, ChatGPT, および GPT-4) LLM を用いて, 対話応答生成から数学的推論に至るまで, 7 つのタスクにまたがる自己決定性を評価する。 我々の研究は、GPT-4のような最先端のLCMでさえ、単純でスタンドアロンなアプローチを使用してテスト時にさらに改善できることを示します。
  論文  参考訳（メタデータ） (2023-03-30T18:30:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。