論文の概要: A Model Is Not Built By A Single Prompt: LLM-Based Domain Modeling With Question Decomposition
- arxiv url: http://arxiv.org/abs/2410.09854v1
- Date: Sun, 13 Oct 2024 14:28:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 04:32:54.102123
- Title: A Model Is Not Built By A Single Prompt: LLM-Based Domain Modeling With Question Decomposition
- Title（参考訳）: 単一プロンプトによるモデル構築 - 質問分割によるLLMベースのドメインモデリング
- Authors: Ru Chen, Jingwei Shen, Xiao He,
- Abstract要約: 現実世界のドメインモデリングでは、エンジニアは通常複雑なタスクを簡単に解けるサブタスクに分解する。
本稿では,開発者のモデリングプロセスに類似した質問分解によるLLMに基づくドメインモデリング手法を提案する。
予備的な結果から,本手法は単発プロンプトによるプロンプトよりも優れていた。
- 参考スコア（独自算出の注目度）: 4.123601037699469
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Domain modeling, a crucial part of model-driven engineering, demands extensive domain knowledge and experience from engineers. When the system description is highly complicated, the modeling task can become particularly challenging and time-consuming. Large language Models(LLMs) can assist by automatically generating an initial object model from the system description. Although LLMs have demonstrated remarkable code-generation ability, they still struggle with model-generation using a single prompt. In real-world domain modeling, engineers usually decompose complex tasks into easily solvable sub-tasks, significantly controlling complexity and enhancing model quality. Inspired by this, we propose an LLM-based domain modeling approach via question decomposition, similar to developer's modeling process. Following conventional modeling guidelines, we divide the model generation task into several sub-tasks, i.e., class generation, association and aggregation generation, and inheritance generation. For each sub-task, we carefully design the prompt by choosing more efficient query words and providing essential modeling knowledge to unlock the modeling potential of LLMs. To sum up all the sub-tasks solutions, we implemente a proof-of-object tool integrated into the standard Ecore editor that asks LLMs to generate an object model from the system description. We evaluate our approach with 20 systems from different application domains. The preliminary results show that our approach outperforms the single-prompt-based prompt by improving recall values and F1 scores in most systems for modeling the classes, attributes, and relationships.
- Abstract（参考訳）: ドメインモデリングは、モデル駆動エンジニアリングの重要な部分であり、エンジニアから広範なドメイン知識と経験を要求する。
システム記述が非常に複雑になると、モデリングタスクは特に困難になり、時間がかかります。
大規模言語モデル(LLM)は、システム記述から初期オブジェクトモデルを自動的に生成することで支援できる。
LLMは顕著なコード生成能力を示しているが、単一のプロンプトを使ってモデル生成に苦戦している。
現実世界のドメインモデリングでは、エンジニアは通常、複雑なタスクを簡単に解けるサブタスクに分解し、複雑さを著しく制御し、モデル品質を向上させる。
この問題に触発されて,開発者のモデリングプロセスに類似した質問分解によるLLMに基づくドメインモデリング手法を提案する。
従来のモデリングガイドラインに従って、モデル生成タスクをいくつかのサブタスク、すなわちクラス生成、アソシエーションとアグリゲーション生成、継承生成に分割する。
各サブタスクに対して、より効率的なクエリワードを選択し、LLMのモデリングポテンシャルを解き放つために必要なモデリング知識を提供することにより、プロンプトを慎重に設計する。
全てのサブタスクソリューションをまとめるために,標準Ecoreエディタに統合されたオブジェクト証明ツールを実装し,システム記述からオブジェクトモデルを生成する。
異なるアプリケーションドメインから20のシステムでアプローチを評価します。
予備的な結果から,本手法は,クラス,属性,関係性をモデル化するほとんどのシステムにおいて,リコール値とF1スコアを改善することにより,単一プロンプトベースのプロンプトよりも優れていた。
関連論文リスト
- Towards Synthetic Trace Generation of Modeling Operations using In-Context Learning Approach [1.8874331450711404]
本稿では,イベントログのモデリング,インテリジェントなモデリングアシスタント,モデリング操作の生成を組み合わせた概念的フレームワークを提案する。
特に、アーキテクチャは、設計者がシステムを指定するのを助け、その操作をグラフィカルなモデリング環境内で記録し、関連する操作を自動的に推奨する、モデリングコンポーネントから構成される。
論文 参考訳（メタデータ） (2024-08-26T13:26:44Z) - EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。
EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文 参考訳（メタデータ） (2024-05-23T05:25:45Z) - Process Modeling With Large Language Models [42.0652924091318]
本稿では,大規模言語モデル(LLM)のプロセスモデリングへの統合について検討する。
プロセスモデルの自動生成と反復的改善にLLMを利用するフレームワークを提案する。
予備的な結果は、プロセスモデリングタスクを合理化するフレームワークの能力を示している。
論文 参考訳（メタデータ） (2024-03-12T11:27:47Z) - Learning to Decode Collaboratively with Multiple Language Models [37.31339648499042]
本稿では,複数の大規模言語モデル (LLM) に,トークンレベルで世代間をインターリーブすることで協調する手法を提案する。
復号化中のトークンレベルのコラボレーションは、各モデルの専門知識を、手元にある特定のタスクに合わせて統合することを可能にする。
論文 参考訳（メタデータ） (2024-03-06T17:23:28Z) - Model Composition for Multimodal Large Language Models [71.5729418523411]
本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。
我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
論文 参考訳（メタデータ） (2024-02-20T06:38:10Z) - Towards Robust Multi-Modal Reasoning via Model Selection [7.6621866737827045]
LLMはエージェントの"脳"として機能し、協調的な多段階タスク解決のための複数のツールを編成する。
我々はテスト時に無視できるランタイムオーバーヘッドを持つプラグインとして、$textitM3$フレームワークを提案する。
実験の結果,我々のフレームワークは,ユーザ入力とサブタスク依存の両方を考慮した動的モデル選択を可能にすることがわかった。
論文 参考訳（メタデータ） (2023-10-12T16:06:18Z) - Adapting Large Language Models for Content Moderation: Pitfalls in Data
Engineering and Supervised Fine-tuning [79.53130089003986]
大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。
本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
論文 参考訳（メタデータ） (2023-10-05T09:09:44Z) - Model LEGO: Creating Models Like Disassembling and Assembling Building Blocks [53.09649785009528]
本稿では,新しいモデルを得るためのトレーニングを必要としないパラダイムについて検討する。
生体視覚系における受容野にインスパイアされたCNNの誕生と同様、モデル分解と組み立てを提案する。
モデル組立には、特定のタスクに適した新しいモデルを構築するために、アライメントパディング戦略とパラメータスケーリング戦略を提案する。
論文 参考訳（メタデータ） (2022-03-25T05:27:28Z) - Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。
リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。
モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
論文 参考訳（メタデータ） (2022-02-22T02:33:54Z) - Multiscale Generative Models: Improving Performance of a Generative
Model Using Feedback from Other Dependent Generative Models [10.053377705165786]
実世界の相互作用を反映した相互作用生成モデル(GAN)の構築に向けた第一歩を踏み出す。
我々は,複数の低レベル GAN の出力に高レベル GAN を条件付けした階層的なセットアップを構築し,解析する。
本稿では,より高レベルなGANからのフィードバックを用いて,低レベルなGANの性能を向上させる手法を提案する。
論文 参考訳（メタデータ） (2022-01-24T13:05:56Z) - Text Modular Networks: Learning to Decompose Tasks in the Language of
Existing Models [61.480085460269514]
本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。
我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
論文 参考訳（メタデータ） (2020-09-01T23:45:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。