論文の概要: LeGo-Code: Can Modular Curriculum Learning Advance Complex Code Generation? Insights from Text-to-SQL

• arxiv url: http://arxiv.org/abs/2604.18254v1
• Date: Mon, 20 Apr 2026 13:30:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.902678
• Title: LeGo-Code: Can Modular Curriculum Learning Advance Complex Code Generation? Insights from Text-to-SQL
• Title（参考訳）: LeGo-Code: モジュール型カリキュラム学習は複雑なコード生成を促進するか?
• Authors: Salmane Chafik, Saad Ezzini, Ismail Berrada,
• Abstract要約: テキスト・ツー・リレーショナル・タスクにおいて,カリキュラム学習によってコードベースのアダプタの性能が向上するかどうかを検討する。 実験の結果,1つのエポックで複雑なトレーニングサンプルを注文するだけでは,破滅的な忘れ物のために通常の微調整を超えないことがわかった。 階層固有のアダプタを漸進的な複雑性レベルで逐次訓練することにより、複雑なクエリのパフォーマンスを向上させるための足場付き学習環境を構築する。
• 参考スコア（独自算出の注目度）: 7.040712790568155
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recently, code-oriented large language models (LLMs) have demonstrated strong capabilities in translating natural language into executable code. Text-to-SQL is a significant application of this ability, enabling non-technical users to interact with relational databases using natural language. However, state-of-the-art models continue to struggle with highly complex logic, particularly deeply nested statements involving multiple joins and conditions, as well as with real-world database schemas that are noisy or poorly structured. In this paper, we investigate whether curriculum learning can improve the performance of code-based LLMs on Text-to-SQL tasks. Employing benchmarks including Spider and BIRD, we fine-tune models under different curriculum strategies. Our experiments show that naive curriculum, simply ordering training samples by complexity in a single epoch, fails to surpass standard fine-tuning due to catastrophic forgetting. To overcome this, we propose a Modular Adapter Composition (MAC) strategy. By sequentially training tier-specific adapters on incremental complexity levels (Easy to Extra-Hard), we create a scaffolded learning environment that improves performance on complex queries. Our approach not only produces measurable performance gains on the Spider and BIRD benchmarks but also provides a flexible, "Lego-like" architecture, allowing models to be composed and deployed based on specific schema difficulty requirements. These findings demonstrate that structured, modular learning is a superior alternative to monolithic fine-tuning for mastering the syntax and logic of complex code generation.
• Abstract（参考訳）: 近年、コード指向の大規模言語モデル(LLM)は、自然言語を実行可能なコードに変換する強力な能力を示している。 テキストからSQLへの変換は、この能力の重要な応用であり、非技術者のユーザは自然言語を使ってリレーショナルデータベースと対話できる。 しかし、最先端のモデルは、非常に複雑なロジック、特に複数の結合と条件を含む深くネストされたステートメント、およびノイズや構造が不十分な現実世界のデータベーススキーマに苦戦し続けている。 本稿では,カリキュラム学習がテキスト-SQL タスクにおけるコードベース LLM の性能を向上させることができるかどうかを検討する。 SpiderやBIRDといったベンチマークを使って、異なるカリキュラム戦略の下でモデルを微調整します。 実験の結果,1つのエポックで複雑なトレーニングサンプルを注文するだけでは,破滅的な忘れ物のために通常の微調整を超えないことがわかった。 これを解決するために,モジュール・アダプタ・コンポジション(MAC)戦略を提案する。 階層固有のアダプタをインクリメンタルな複雑性レベル(簡単からエクストラハード)で逐次トレーニングすることにより、複雑なクエリのパフォーマンスを改善するための足場付き学習環境を構築する。 当社のアプローチは,SpiderとBIRDベンチマークで測定可能なパフォーマンス向上を実現するだけでなく,フレキシブルな"Lego-like"アーキテクチャも提供しています。 これらの結果は、構造化されたモジュール型学習が、複雑なコード生成の構文とロジックを習得する上で、モノリシックな微調整よりも優れていることを示している。

関連論文リスト

• Learning to Solve Complex Problems via Dataset Decomposition [53.1641602054716]
  本研究では、複雑なデータセットをよりシンプルで学習しやすいコンポーネントに分解する逆カリキュラム生成アプローチについて検討する。 そこで本研究では,教師が段階的に推論する能力を備えた教師学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-23T19:25:40Z)
• IESR:Efficient MCTS-Based Modular Reasoning for Text-to-SQL with Large Language Models [10.758655501692793]
  軽量な大規模言語モデルのためのフレームワークIESR(Information Enhanced Structured Reasoning)を提案する。 複雑な推論ベンチマーク LogicCat と Archer データセット上で,IESR が最先端のパフォーマンスを達成することを示す。 解析の結果,現在のコーダモデルは,物理知識,数理計算,常識推論において顕著なバイアスと欠陥を呈していることがわかった。
  論文  参考訳（メタデータ） (2026-02-05T07:10:45Z)
• EvolSQL: Structure-Aware Evolution for Scalable Text-to-SQL Data Synthesis [25.689983072200047]
  Evolは、クエリをよりリッチでセマンティックに多様な形式に進化させる構造対応のデータ合成フレームワークである。 7Bモデルは、データの1/18のみを使用して、はるかに大きなSynデータセットでトレーニングされたモデルよりも優れています。
  論文  参考訳（メタデータ） (2026-01-08T12:19:50Z)
• High-Fidelity And Complex Test Data Generation For Google SQL Code Generation Services [0.8177323519057186]
  高忠実度テストデータの需要は、生産データへのアクセスがほとんど制限されている産業環境で最重要である。 従来のデータ生成手法は、しばしば不足し、低忠実さと複雑なデータ構造とセマンティックな関係をモデル化する能力に悩まされる。 我々は,Large Language Models(LLM)を活用して,戦略的前処理と後処理のステップを取り入れることで,構文的に正確で意味的に関連する高忠実性テストデータを生成することを実証した。
  論文  参考訳（メタデータ） (2025-04-24T02:27:17Z)
• EpiCoder: Encompassing Diversity and Complexity in Code Generation [66.43738008739555]
  既存のコード生成方法はシードデータとしてコードスニペットを使用する。 階層的なコード機能を中心に展開する,新しい機能ツリーベースの合成フレームワークを提案する。 我々のフレームワークは、生成されたコードの複雑さを正確に制御し、関数レベルの操作からマルチファイルのシナリオまで幅広い機能を実現する。
  論文  参考訳（メタデータ） (2025-01-08T18:58:15Z)
• Structure Guided Large Language Model for SQL Generation [14.079764882536077]
  構造対応型テキスト・ツー・クエリ・フレームワーク(SGU)を提案する。 SGU対応のテキスト・ツー・クエリ・フレームワーク(SGU)は、最先端のテキスト・ツー・モデルよりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-02-19T09:07:59Z)
• Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
  大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。 既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。 複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
  論文  参考訳（メタデータ） (2023-09-17T04:18:39Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• Learning Label Modular Prompts for Text Classification in the Wild [56.66187728534808]
  そこで本研究では,非定常学習/テスト段階の異なるテキスト分類手法を提案する。 複雑なタスクをモジュラー成分に分解することで、そのような非定常環境下での堅牢な一般化が可能になる。 テキスト分類タスクのためのラベルモジュール型プロンプトチューニングフレームワークMODcularPROMPTを提案する。
  論文  参考訳（メタデータ） (2022-11-30T16:26:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。