論文の概要: SLGPT: Using Transfer Learning to Directly Generate Simulink Model Files and Find Bugs in the Simulink Toolchain

• arxiv url: http://arxiv.org/abs/2105.07465v2
• Date: Tue, 18 May 2021 14:24:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-19 12:10:06.349442
• Title: SLGPT: Using Transfer Learning to Directly Generate Simulink Model Files and Find Bugs in the Simulink Toolchain
• Title（参考訳）: slgpt: transfer learningを使用してsimulinkモデルファイルを直接生成し、simulinkツールチェーンのバグを見つける
• Authors: Sohil Lal Shrestha and Christoph Csallner
• Abstract要約: SLGPTは、最も近い競合であるDeepFuzzSLよりもオープンソースモデルに近いSimulinkモデルを製造している。 SLGPTはGPT-2をSimulinkにランダムに生成したモデルとオープンソースリポジトリから抽出したモデルの両方に適応する。
• 参考スコア（独自算出の注目度）: 19.028956861770354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finding bugs in a commercial cyber-physical system (CPS) development tool such as Simulink is hard as its codebase contains millions of lines of code and complete formal language specifications are not available. While deep learning techniques promise to learn such language specifications from sample models, deep learning needs a large number of training data to work well. SLGPT addresses this problem by using transfer learning to leverage the powerful Generative Pre-trained Transformer 2 (GPT-2) model, which has been pre-trained on a large set of training data. SLGPT adapts GPT-2 to Simulink with both randomly generated models and models mined from open-source repositories. SLGPT produced Simulink models that are both more similar to open-source models than its closest competitor, DeepFuzzSL, and found a super-set of the Simulink development toolchain bugs found by DeepFuzzSL.
• Abstract（参考訳）: Simulinkのような商用サイバー物理システム(CPS)開発ツールのバグを見つけることは、コードベースに数百万行のコードが含まれており、完全な形式言語仕様が利用できないため難しい。 ディープラーニング技術は、サンプルモデルからそのような言語仕様を学ぶことを約束する一方で、ディープラーニングは、うまく機能するために多数のトレーニングデータが必要です。 SLGPTは、転送学習を用いて、大規模なトレーニングデータに基づいて事前学習された強力な生成事前学習トランスフォーマ2(GPT-2)モデルを活用することでこの問題に対処する。 SLGPTは、オープンソースリポジトリから抽出されたランダムに生成されたモデルとモデルの両方でGPT-2をSimulinkに適合させる。 SLGPTは、最も近い競合であるDeepFuzzSLよりもオープンソースモデルに近いSimulinkモデルを作成し、DeepFuzzSLが発見したSimulink開発ツールチェーンのスーパーセットを発見した。

関連論文リスト

• LIONs: An Empirically Optimized Approach to Align Language Models [31.225180404295536]
  教師付き微調整,オフライン選好学習,オンライン選好学習からなる3段階学習パイプライン上で厳密な分析を行う。 我々は、シーケンスパッキング、SFTにおける損失マスキング、DPOにおける嗜好データセットサイズの増加、オンラインDPOトレーニングなどの手法を用いることで、言語モデルの性能が大幅に向上することを発見した。
  論文  参考訳（メタデータ） (2024-07-09T04:34:39Z)
• Foundational GPT Model for MEG [3.524869467682149]
  本研究では,脳信号の予測を用いて学習可能な2種類のディープラーニング基礎モデルを提案する。 まず、改良されたWavenetを検討し、次に、改良されたTransformer-based (GPT2)モデルを検討する。 我々は,これらのディープラーニングモデルの性能を,MEGデータに基づく標準的な線形自己回帰(AR)モデルと比較する。
  論文  参考訳（メタデータ） (2024-04-14T13:48:24Z)
• "Medium" LMs of Code in the Era of LLMs: Lessons From StackOverflow [5.036273913335737]
  SOBertBase、109Mパラメータを持つSOBertBaseと、762Mパラメータを持つSOBertLargeの2つのモデルを、それぞれ$187$と$800$の予算でトレーニングします。 その結果、ドメイン内データを広範囲かつ適切に事前学習することで、クローズドソース汎用モデルを活用するための、強力で安価な代替手段が得られることが示された。
  論文  参考訳（メタデータ） (2023-06-05T21:38:30Z)
• CodeTF: One-stop Transformer Library for State-of-the-art Code LLM [72.1638273937025]
  我々は、最先端のCode LLMとコードインテリジェンスのためのオープンソースのTransformerベースのライブラリであるCodeTFを紹介する。 我々のライブラリは、事前訓練されたコードLLMモデルと人気のあるコードベンチマークのコレクションをサポートします。 CodeTFが機械学習/生成AIとソフトウェア工学のギャップを埋められることを願っている。
  論文  参考訳（メタデータ） (2023-05-31T05:24:48Z)
• The Curse of Recursion: Training on Generated Data Makes Models Forget [70.02793975243212]
  大規模言語モデル(LLM)が存続し、オンラインテキストと画像のエコシステム全体に劇的な変化をもたらすだろう。 トレーニングにおけるモデル生成コンテンツの使用は、元のコンテンツ分布の尾部が消える結果のモデルに不可逆的な欠陥を引き起こす。
  論文  参考訳（メタデータ） (2023-05-27T15:10:41Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• SWARM Parallelism: Training Large Models Can Be Surprisingly Communication-Efficient [69.61083127540776]
  ディープラーニングアプリケーションは、数十億のパラメータを持つ大きなモデルを使用することの恩恵を受ける。 これらのモデルのトレーニングは、特殊なHPCクラスタを必要とするため、非常に高価である。 安価な"プリエンプティブル"インスタンスを使用するか、あるいは複数のリージョンから既存のリソースをプールする。
  論文  参考訳（メタデータ） (2023-01-27T18:55:19Z)
• NatGen: Generative pre-training by "Naturalizing" source code [18.410818213965918]
  我々は,ソースコードの「成熟化」という新たな事前学習目標を提案する。 自然言語とは異なり、コードのバイモーダルでデュアルチャネルの性質により、意味論的に等価なコードを大規模に生成することができます。 私たちは、CodeT5に匹敵する最先端のパフォーマンスを達成するために、3つの生成ソフトウェアエンジニアリングタスクでモデルを微調整します。
  論文  参考訳（メタデータ） (2022-06-15T15:08:29Z)
• Summarize and Generate to Back-translate: Unsupervised Translation of Programming Languages [86.08359401867577]
  バックトランスレーションは、並列データがほとんど、あるいは全く利用できない場合のニューラルマシン翻訳の有効性で広く知られている。 コード要約と生成による逆翻訳を提案する。 提案手法は最先端の手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-05-23T08:20:41Z)
• Assemble Foundation Models for Automatic Code Summarization [9.53949558569201]
  ニューラルネットワークに基づく自動コード要約のためのフレキシブルでロバストなアプローチを提案する。 CodeBERT や GPT-2 のような利用可能な基盤モデルを AdaMo という単一のモデルに組み立てる。 本稿では,知識伝達の観点から,連続事前学習と中間微調整という2つの適応型スキームを導入する。
  論文  参考訳（メタデータ） (2022-01-13T21:38:33Z)
• CodeBERT: A Pre-Trained Model for Programming and Natural Languages [117.34242908773061]
  CodeBERTは、プログラミング言語(PL)とナット言語(NL)のための事前訓練されたモデルである。 我々はTransformerベースのニューラルアーキテクチャを用いたCodeBERTを開発した。 モデルパラメータの微調整による2つのNL-PLアプリケーション上でのCodeBERTの評価を行った。
  論文  参考訳（メタデータ） (2020-02-19T13:09:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。