論文の概要: Investigating the Role of LLMs Hyperparameter Tuning and Prompt Engineering to Support Domain Modeling

• arxiv url: http://arxiv.org/abs/2507.14735v1
• Date: Sat, 19 Jul 2025 19:49:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.024413
• Title: Investigating the Role of LLMs Hyperparameter Tuning and Prompt Engineering to Support Domain Modeling
• Title（参考訳）: ドメインモデリングを支援するLLMのハイパーパラメータチューニングとプロンプトエンジニアリングの役割の検討
• Authors: Vladyslav Bulhakov, Giordano d'Aloisio, Claudio Di Sipio, Antinisca Di Marco, Davide Di Ruscio,
• Abstract要約: 大規模言語モデル(LLM)は、ソフトウェアエンジニアリングタスクの自動化を強化した。 本稿では,超パラメータチューニングとプロンプトエンジニアリングがLlama 3.1モデルの精度を向上させる方法について検討する。
• 参考スコア（独自算出の注目度）: 6.283288241585592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The introduction of large language models (LLMs) has enhanced automation in software engineering tasks, including in Model Driven Engineering (MDE). However, using general-purpose LLMs for domain modeling has its limitations. One approach is to adopt fine-tuned models, but this requires significant computational resources and can lead to issues like catastrophic forgetting. This paper explores how hyperparameter tuning and prompt engineering can improve the accuracy of the Llama 3.1 model for generating domain models from textual descriptions. We use search-based methods to tune hyperparameters for a specific medical data model, resulting in a notable quality improvement over the baseline LLM. We then test the optimized hyperparameters across ten diverse application domains. While the solutions were not universally applicable, we demonstrate that combining hyperparameter tuning with prompt engineering can enhance results across nearly all examined domain models.
• Abstract（参考訳）: 大規模言語モデル(LLM)の導入により、MDE(Model Driven Engineering)を含むソフトウェアエンジニアリングタスクの自動化が強化された。 しかし、汎用LLMをドメインモデリングに使用するには限界がある。 1つのアプローチは微調整モデルを採用することであるが、これはかなりの計算資源を必要とし、破滅的な忘れ込みのような問題を引き起こす可能性がある。 本稿では,テキスト記述からドメインモデルを生成するためのLlama 3.1モデルの精度を,ハイパーパラメータチューニングとプロンプトエンジニアリングにより向上させる方法について検討する。 我々は,特定の医療データモデルに対してハイパーパラメータを調整するために検索に基づく手法を用いており,その結果,ベースラインLLMよりも顕著な品質向上を実現している。 次に、最適化されたハイパーパラメータを10の異なるアプリケーションドメインでテストします。 これらの解は一般には適用されなかったが、超パラメータチューニングとプロンプトエンジニアリングを組み合わせることで、ほぼ全ての検証済みドメインモデルにおける結果が向上できることを実証した。

関連論文リスト

• Predictable Scale: Part I, Step Law -- Optimal Hyperparameter Scaling Law in Large Language Model Pretraining [59.369484219304866]
  本研究では,100兆のトークンをスクラッチから3,700以上の大規模言語モデル(LLM)に対する前例のない実証的研究を行った。 我々は、固定モデルサイズ(N$)とデータセットサイズ(D$)で、ハイパーパラメータのランドスケープは広い最適度で凸性を示すことを実証的に観察した。 この洞察に基づいて、我々はステップ法を正式に定義し、実証的に検証する: 最適な学習レートは、$N$と$D$との関係に従うが、最適なバッチサイズは、主に$D$の影響を受け、主に$N$に不変である。
  論文  参考訳（メタデータ） (2025-03-06T18:58:29Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• AutoRAG-HP: Automatic Online Hyper-Parameter Tuning for Retrieval-Augmented Generation [37.456499537121886]
  大規模言語モデルの最近の進歩はML/AI開発に変化をもたらした。 大規模言語モデルの最近の進歩は、検索・拡張生成(RAG)システムにおけるAutoMLの原則を変革している。
  論文  参考訳（メタデータ） (2024-06-27T15:18:21Z)
• LLM can Achieve Self-Regulation via Hyperparameter Aware Generation [88.69052513433603]
  大規模言語モデル (LLM) は、生成されたテキストを制御するために様々な復号法を用いる。 LLMはこれらのデコード戦略の存在を意識し、自己統制できるのか? ハイパーパラメータ・アウェア・ジェネレーション(HAG)と呼ばれる新しいテキスト生成パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-17T11:18:22Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Using Large Language Models for Hyperparameter Optimization [29.395931874196805]
  本稿では,高パラメータ最適化(HPO)における基礎的大規模言語モデル(LLM)の利用について検討する。 標準ベンチマークに対する実証的な評価により,LLMは従来のHPO手法に適合あるいは優れることがわかった。
  論文  参考訳（メタデータ） (2023-12-07T18:46:50Z)
• Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
  本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。 我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。 公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
  論文  参考訳（メタデータ） (2023-10-18T17:56:24Z)
• Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
  我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。 既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。 6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-15T06:40:56Z)
• Hierarchical Collaborative Hyper-parameter Tuning [0.0]
  ハイパーパラメータチューニングは、機械学習ソリューションを構築する上で最も重要なステージのひとつだ。 本稿では,マルチエージェントシステムを用いて近似値を決定する分散手法を提案する。
  論文  参考訳（メタデータ） (2022-05-11T05:16:57Z)
• Surrogate Model Based Hyperparameter Tuning for Deep Learning with SPOT [0.40611352512781856]
  本稿では、Keras/tensorflowで実装されたディープラーニングモデルのアーキテクチャレベルのパラメータをどのように最適化できるかを示す。 チューニング手順の実装は、統計コンピューティングのソフトウェア環境であるRに基づいて100%である。
  論文  参考訳（メタデータ） (2021-05-30T21:16:51Z)
• On the Sparsity of Neural Machine Translation Models [65.49762428553345]
  性能向上のために冗長パラメータを再利用できるかどうかを検討する。 実験と分析は異なるデータセットとNTTアーキテクチャで体系的に行われる。
  論文  参考訳（メタデータ） (2020-10-06T11:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。