論文の概要: Learn2Zinc: Fine-tuning Small Language Models for Text-to-Model Translation in MiniZinc

• arxiv url: http://arxiv.org/abs/2607.20456v1
• Date: Thu, 14 May 2026 22:55:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.17872
• Title: Learn2Zinc: Fine-tuning Small Language Models for Text-to-Model Translation in MiniZinc
• Title（参考訳）: Learn2Zinc: MiniZincにおけるテキストからモデルへの変換のための微調整型言語モデル
• Abstract要約: 対象とする微調整が、自然言語問題記述から適切なMiniZincモデルを生成するために、小さな言語モデルを教えることができるかどうかを検討する。 重要な発見は、このドメイン固有言語で作業する場合、構文エラーが障害を支配していることだ。 本稿では,複数のLLM実行から構文エラーを収集し,それらを利用して誤り訂正訓練データセットをキュレートするクロスモデルエラーブートストラッピング手法を提案する。
• 参考スコア（独自算出の注目度）: 3.9124823111588163
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models excel at code generation for mainstream programming languages but struggle with rare, domain-specific languages such as MiniZinc, a constraint modeling language for combinatorial problems. We investigate whether targeted fine-tuning can teach small language models (0.6B to 20B parameters) to generate syntactically correct and semantically valid MiniZinc models from natural language problem descriptions. Our key finding is that syntax errors dominate failures when working with this domain specific language: the out-of-the-box execution accuracy of small language models such as Qwen3, LLaMa, Gemma, and GPT-OSS is near-zero. We propose a cross-model error bootstrapping approach that collects syntax errors from multiple LLM runs and leverage those to curate an error correction training dataset. This dataset allows us fine-tune small language models that consistently improves both direct code generation and chain-of-thought approaches across all model sizes. With self-reflection and ensembling, our approach achieves up to 98\% execution accuracy. In parallel, solution accuracy still remains at 35\%, indicating that while syntax is learnable, constraint reasoning remains a challenge. We contribute our fine-tuning pipeline, datasets, and models to opens-source for further research on text-to-model translation.
• Abstract（参考訳）: 大規模な言語モデルは、主流プログラミング言語のコード生成に優れるが、組合せ問題に対する制約モデリング言語であるMiniZincのような希少なドメイン固有言語と競合する。 自然言語問題記述から構文的に正確で意味論的に有効なMiniZincモデルを生成するために,対象とする微調整が小言語モデル(0.6Bから20Bパラメータ)を学習できるかどうかを検討する。 Qwen3, LLaMa, Gemma, GPT-OSSといった小さな言語モデルのアウト・オブ・ボックス実行精度はゼロに近いです。 本稿では,複数のLLM実行から構文エラーを収集し,それらを利用して誤り訂正訓練データセットをキュレートするクロスモデルエラーブートストラッピング手法を提案する。 このデータセットは、すべてのモデルサイズにまたがる直接的なコード生成とチェーンオブ思考アプローチの両方を一貫して改善する、微調整された小さな言語モデルを可能にします。 自己回帰とアンサンブルでは,最大98%の実行精度が達成される。 並行して、ソリューションの精度は35\%のままであり、構文は学習可能であるが、制約推論は依然として課題であることを示している。 我々は、微調整パイプライン、データセット、モデルをオープンソースにして、テキストからモデルへの翻訳に関するさらなる研究に貢献する。

関連論文リスト

• M-GATE: Multilingual Grammar, Accuracy in Translation, and Efficiency Benchmark for Large Language Models [0.0]
  M-GATE(英語: M-GATE)は、30言語にまたがる言語能力のベンチマークである。 80以上の構成で50以上のモデルを評価しました。
  論文  参考訳（メタデータ） (2026-08-04T15:16:05Z)
• SLM Finetuning for Natural Language to Domain Specific Code Generation in Production [0.2449909275410288]
  数十億のパラメータを持つ小さな言語モデルは、リソース効率が良いが、限られた推論、幻覚、より長いコンテキストの維持に悩まされる。 微調整は、ドメイン知識を直接モデルの重みに埋め込むことによって、タスク固有の精度を向上させる。 これらの結果から,小言語モデルを用いたタスク固有微調整は,ドメイン固有言語生成のための大規模言語モデルに対して,効率的で高速かつ費用対効果の高い代替手段となることが示唆された。
  論文  参考訳（メタデータ） (2026-04-10T23:11:57Z)
• Documentation Retrieval Improves Planning Language Generation [3.90727941420584]
  我々は、オープンソースの計画モデルを改善するために、一連の軽量パイプラインを提示します。 私たちの最高のパイプラインは、共通BlocksWorldドメインで、計画の正しさを0%から80%以上改善します。 しかし、セマンティックエラーはより困難な領域に留まり、現在のモデルの推論能力の根本的な制限が明らかになった。
  論文  参考訳（メタデータ） (2025-09-24T09:38:48Z)
• Type-Constrained Code Generation with Language Models [51.03439021895432]
  本稿では,型システムを利用してコード生成を誘導する型制約デコード手法を提案する。 そこで本研究では,新しい接頭辞オートマトンと,在来型を探索する手法を開発し,LLM生成コードに適切な型付けを強制するための健全なアプローチを構築した。 提案手法は,コード合成,翻訳,修復作業において,コンパイルエラーを半分以上削減し,機能的正しさを著しく向上させる。
  論文  参考訳（メタデータ） (2025-04-12T15:03:00Z)
• Cross-model Control: Improving Multiple Large Language Models in One-time Training [34.98931804630706]
  クロスモデル制御(CMC)は、1回トレーニングで複数の大規模言語モデルを改善する手法である。 この知見に基づいて、最小数のパラメータを持つ小さな言語モデルを組み込む。 本稿では,PM-Mined という新しいトークンマッピング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-23T06:52:09Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
  本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。 Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。 その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
  論文  参考訳（メタデータ） (2023-11-16T09:35:50Z)
• Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models [58.990214815032495]
  大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。 BCLMは制御可能な言語生成において効率的であることが示されている。 本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
  論文  参考訳（メタデータ） (2022-06-11T12:52:32Z)
• Program Synthesis with Large Language Models [40.41120807053989]
  我々はPythonにおけるプログラム合成のための大規模言語モデルを評価する。 合成性能はモデルサイズと対数的にスケールすることがわかった。 最高のモデルでさえ、特定の入力を与えられたプログラムの出力を予測できないことが分かりました。
  論文  参考訳（メタデータ） (2021-08-16T03:57:30Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。