論文の概要: Using (Not so) Large Language Models for Generating Simulation Models in a Formal DSL -- A Study on Reaction Networks

• arxiv url: http://arxiv.org/abs/2503.01675v1
• Date: Mon, 03 Mar 2025 15:48:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:24:34.601472
• Title: Using (Not so) Large Language Models for Generating Simulation Models in a Formal DSL -- A Study on Reaction Networks
• Title（参考訳）: 形式DSLにおけるシミュレーションモデル生成のための(そうでない)大言語モデル-反応ネットワークに関する研究
• Authors: Justin N. Kreikemeyer, Miłosz Jankowski, Pia Wilsdorf, Adelinde M. Uhrmacher,
• Abstract要約: 我々は、自然言語をシミュレーションモデルに定式化するために、Large Language Modelがどのように使用されるかを評価する。 我々は,微調整と評価の基礎となる合成データ生成装置を開発した。 我々の微調整ミストラルモデルでは,84.5%のケースで地上の真理シミュレーションモデルを復元できる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Formal languages are an integral part of modeling and simulation. They allow the distillation of knowledge into concise simulation models amenable to automatic execution, interpretation, and analysis. However, the arguably most humanly accessible means of expressing models is through natural language, which is not easily interpretable by computers. Here, we evaluate how a Large Language Model (LLM) might be used for formalizing natural language into simulation models. Existing studies only explored using very large LLMs, like the commercial GPT models, without fine-tuning model weights. To close this gap, we show how an open-weights, 7B-parameter Mistral model can be fine-tuned to translate natural language descriptions to reaction network models in a domain-specific language, offering a self-hostable, compute-, and memory efficient alternative. To this end, we develop a synthetic data generator to serve as the basis for fine-tuning and evaluation. Our quantitative evaluation shows that our fine-tuned Mistral model can recover the ground truth simulation model in up to 84.5% of cases. In addition, our small-scale user study demonstrates the model's practical potential for one-time generation as well as interactive modeling in various domains. While promising, in its current form, the fine-tuned small LLM cannot catch up with large LLMs. We conclude that higher-quality training data are required, and expect future small and open-source LLMs to offer new opportunities.
• Abstract（参考訳）: 形式言語はモデリングとシミュレーションの不可欠な部分である。 これらは、自動実行、解釈、分析が可能な簡潔なシミュレーションモデルへの知識の蒸留を可能にする。 しかし、モデルを表現する最も人間的にアクセスしやすい方法は自然言語によるものであり、コンピュータでは容易に解釈できない。 本稿では,Large Language Model (LLM) を用いて自然言語をシミュレーションモデルに定式化する方法について検討する。 既存の研究では、非常に大きなLCM(商業用GPTモデルなど)を使用して、微調整のモデルウェイトを使わずに探索しただけである。 このギャップを埋めるために、オープンウェイトな7Bパラメータ・ミストラルモデルを微調整して、自然言語記述をドメイン固有言語の反応ネットワークモデルに変換し、自己ホスト型、計算型、メモリ効率の良い代替手段を提供する方法を示す。 そこで我々は,微調整と評価の基礎となる合成データ生成装置を開発した。 我々の定量的評価は, 微調整ミストラルモデルにより, 最大84.5%のケースで地上の真理シミュレーションモデルを復元できることを示唆している。 さらに,本研究は,各領域における対話型モデリングだけでなく,ワンタイム生成におけるモデルの有効性を実証する。 将来性はあるが、現在の形では、微調整された小型LLMは大きなLLMに追いつくことができない。 我々は、高品質なトレーニングデータが必要であると結論し、将来の小規模かつオープンソースのLCMが新たな機会を提供することを期待している。

関連論文リスト

• Scalable Language Models with Posterior Inference of Latent Thought Vectors [52.63299874322121]
  Latent-Thought Language Models (LTM) には、潜在空間における明示的な事前モデルに従う明示的な潜在思考ベクトルが含まれている。 LTMは従来のLLMを超える拡張次元を持ち、構造化された設計空間を提供する。 LTMは従来の自己回帰モデルや離散拡散モデルよりも、検証の難易度やゼロショット言語モデリングにおいて著しく優れている。
  論文  参考訳（メタデータ） (2025-02-03T17:50:34Z)
• Scaling Diffusion Language Models via Adaptation from Autoregressive Models [105.70889434492143]
  拡散言語モデル(DLM)は、テキスト生成モデルのための将来性のある新しいパラダイムとして登場した。 170Mから7BまでのARモデルをDiffuGPTとDiffuLLaMAの拡散モデルに変換し、200B未満のトークンでトレーニングできることを示す。 実験の結果,これらのモデルは初期のDLMよりも優れており,ARと競合していることがわかった。
  論文  参考訳（メタデータ） (2024-10-23T14:04:22Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• Self-Refine Instruction-Tuning for Aligning Reasoning in Language Models [0.8133739801185272]
  小さい言語モデルと大きい言語モデルの間の推論能力のアライメントは、主にスーパーバイザード・ファイン・チューニング(SFT)を通して行われる。 そこで本研究では,より小さな言語モデルを用いて自己定義する自己記述型指導手法を提案する。 コモンセンスと数学の推論タスクで得られた結果は、このアプローチがドメイン内とドメイン外の両方のシナリオでインストラクションチューニングを著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2024-05-01T09:10:27Z)
• Automated Statistical Model Discovery with Language Models [34.03743547761152]
  本稿では,言語モデルを用いた自動統計モデル探索手法を提案する。 Boxのループの原則的なフレームワーク内に,自動手順を投入しました。 その結果,LM駆動型モデル発見の可能性を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-27T20:33:22Z)
• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• Reimagining Retrieval Augmented Language Models for Answering Queries [23.373952699385427]
  本稿では,大規模言語モデルに対する現実性チェックと,比較対象言語モデル検索の可能性を検証する。 このような言語モデルは半パラメトリックであり、モデルがモデルパラメータと外部データソースからの知識を統合して予測を行う。
  論文  参考訳（メタデータ） (2023-06-01T18:08:51Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Evaluation of HTR models without Ground Truth Material [2.4792948967354236]
  手書き文字認識モデルの開発における評価は容易である。 しかし、開発からアプリケーションに切り替えると、評価プロセスはトリッキーになります。 我々は,レキシコンに基づく評価が,レキシコンに基づく手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-01-17T01:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。