論文の概要: Software Model Evolution with Large Language Models: Experiments on Simulated, Public, and Industrial Datasets

• arxiv url: http://arxiv.org/abs/2406.17651v3
• Date: Tue, 12 Nov 2024 15:39:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:19:17.596297
• Title: Software Model Evolution with Large Language Models: Experiments on Simulated, Public, and Industrial Datasets
• Title（参考訳）: 大規模言語モデルによるソフトウェアモデルの進化:シミュレーション、公開、産業データセットの実験
• Authors: Christof Tinnes, Alisa Welter, Sven Apel,
• Abstract要約: RAMCを用いたモデル補完のための大規模言語モデルの可能性を評価する。 大規模な言語モデルは、ソフトウェアモデルの進化をサポートするための有望な技術であることがわかった。 大規模言語モデルの一般的な推論能力は、ほとんど、うるさい、あるいは全く例のない概念を扱う際に特に有用である。
• 参考スコア（独自算出の注目度）: 6.585732390922304
• License:
• Abstract: Modeling structure and behavior of software systems plays a crucial role in the industrial practice of software engineering. As with other software engineering artifacts, software models are subject to evolution. Supporting modelers in evolving software models with recommendations for model completions is still an open problem, though. In this paper, we explore the potential of large language models for this task. In particular, we propose an approach, RAMC, leveraging large language models, model histories, and retrieval-augmented generation for model completion. Through experiments on three datasets, including an industrial application, one public open-source community dataset, and one controlled collection of simulated model repositories, we evaluate the potential of large language models for model completion with RAMC. We found that large language models are indeed a promising technology for supporting software model evolution (62.30% semantically correct completions on real-world industrial data and up to 86.19% type-correct completions). The general inference capabilities of large language models are particularly useful when dealing with concepts for which there are few, noisy, or no examples at all.
• Abstract（参考訳）: ソフトウェアシステムの構造と振舞いのモデリングは、ソフトウェア工学の産業実践において重要な役割を果たす。 他のソフトウェアエンジニアリングアーティファクトと同様に、ソフトウェアモデルは進化の対象となる。 しかし、モデル完了を推奨するソフトウェアモデルの進化におけるモデラーのサポートは、まだ未解決の問題である。 本稿では,この課題に対する大規模言語モデルの可能性について検討する。 特に,大規模な言語モデル,モデル履歴,モデル補完のための検索拡張生成を活用したRAMCを提案する。 産業アプリケーション,オープンソースコミュニティデータセット,シミュレートされたモデルリポジトリの1つの制御されたコレクションを含む3つのデータセットの実験を通じて,RAMCでモデル補完を行うための大規模言語モデルの可能性を評価する。 大規模な言語モデルは、ソフトウェアモデルの進化をサポートするための有望な技術であることがわかった(62.30%が実世界の産業データに対して意味論的に正しい完成であり、86.19%の型正しい完成である)。 大規模言語モデルの一般的な推論能力は、ほとんど、うるさい、あるいは全く例のない概念を扱う際に特に有用である。

関連論文リスト

• EvolveDirector: Approaching Advanced Text-to-Image Generation with Large Vision-Language Models [36.576853882830896]
  我々はEvolveDirectorを導入し、公開リソースを使用した高度なモデルに匹敵するテキスト・画像生成モデルをトレーニングする。 このフレームワークは、公開APIを通じて高度なモデルと対話して、ベースモデルをトレーニングするためのテキストイメージデータペアを取得する。 我々は,事前学習された大規模視覚言語モデル(VLM)を活用し,基礎モデルの進化を導く。
  論文  参考訳（メタデータ） (2024-10-09T17:52:28Z)
• Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
  モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。 これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
  論文  参考訳（メタデータ） (2024-08-14T16:58:48Z)
• Apple Intelligence Foundation Language Models [109.60033785567484]
  本報告では、モデルアーキテクチャ、モデルトレーニングに使用されるデータ、トレーニングプロセス、評価結果について述べる。 私たちは、Responsible AIと、モデル開発全体を通して原則がどのように適用されているかに重点を置いています。
  論文  参考訳（メタデータ） (2024-07-29T18:38:49Z)
• Data-Juicer Sandbox: A Comprehensive Suite for Multimodal Data-Model Co-development [67.55944651679864]
  統合データモデル共同開発に適した新しいサンドボックススイートを提案する。 このサンドボックスは包括的な実験プラットフォームを提供し、データとモデルの両方の迅速なイテレーションと洞察駆動による改善を可能にする。 また、徹底的なベンチマークから得られた実りある洞察を明らかにし、データ品質、多様性、モデル行動の間の重要な相互作用に光を当てています。
  論文  参考訳（メタデータ） (2024-07-16T14:40:07Z)
• Knowledge Fusion By Evolving Weights of Language Models [5.354527640064584]
  本稿では,複数のモデルを統一モデルに統合するアプローチについて検討する。 本稿では進化的アルゴリズムに触発されたEvolverという知識融合手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T02:12:34Z)
• Towards Automatic Support of Software Model Evolution with Large Language~Models [6.872484164111954]
  本稿では,大規模言語モデルを用いて,ソフトウェアシステムのモデル履歴における編集パターンの発見を行う手法を提案する。 大規模な言語モデルは、ソフトウェアモデルの進化をサポートするための有望な技術であることがわかった。
  論文  参考訳（メタデータ） (2023-12-19T18:38:01Z)
• MindLLM: Pre-training Lightweight Large Language Model from Scratch, Evaluations and Domain Applications [46.337078949637345]
  我々は、スクラッチから訓練されたバイリンガル軽量な大規模言語モデルの新しいシリーズであるMindLLMを紹介する。 大規模なモデル開発で得られた経験の詳細な説明が与えられ、プロセスのすべてのステップをカバーする。 MindLLMは、いくつかの公開ベンチマークにおいて、他のオープンソースの大規模モデルのパフォーマンスと一貫して一致または上回っている。
  論文  参考訳（メタデータ） (2023-10-24T12:22:34Z)
• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• Opportunities for Large Language Models and Discourse in Engineering Design [0.0]
  談話はエンジニアリング設計プロセスの中核と見なされるべきであり、したがってデジタルアーティファクトで表現されるべきである、と我々は主張する。 シミュレーション,実験,トポロジ最適化,その他のプロセスステップを,機械操作可能な,談話中心の設計プロセスに統合する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-15T14:46:44Z)
• Language Models are General-Purpose Interfaces [109.45478241369655]
  本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。 事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-13T17:34:22Z)
• Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
  視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。 リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。 モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
  論文  参考訳（メタデータ） (2022-02-22T02:33:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。