論文の概要: Recommending Metamodel Concepts during Modeling Activities with Pre-Trained Language Models

• arxiv url: http://arxiv.org/abs/2104.01642v1
• Date: Sun, 4 Apr 2021 16:29:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-06 14:30:17.399545
• Title: Recommending Metamodel Concepts during Modeling Activities with Pre-Trained Language Models
• Title（参考訳）: 事前学習した言語モデルを用いたモデリング活動中のメタモデル概念の推薦
• Authors: Martin Weyssow, Houari Sahraoui, Eugene Syriani
• Abstract要約: 複数のモデリングシナリオにおいて関連ドメインの概念を推奨することにより、メタモデルの設計においてモデラーを支援するアプローチを提案する。 私たちのアプローチでは、ドメインから知識を抽出したり、完了ルールを手作業で設計する必要はありません。 モデルトレーニング中に見つからない166のメタモデルを含むテストセットに対するアプローチを5000以上のテストサンプルを用いて評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The design of conceptually sound metamodels that embody proper semantics in relation to the application domain is particularly tedious in Model-Driven Engineering. As metamodels define complex relationships between domain concepts, it is crucial for a modeler to define these concepts thoroughly while being consistent with respect to the application domain. We propose an approach to assist a modeler in the design of a metamodel by recommending relevant domain concepts in several modeling scenarios. Our approach does not require to extract knowledge from the domain or to hand-design completion rules. Instead, we design a fully data-driven approach using a deep learning model that is able to abstract domain concepts by learning from both structural and lexical metamodel properties in a corpus of thousands of independent metamodels. We evaluate our approach on a test set containing 166 metamodels, unseen during the model training, with more than 5000 test samples. Our preliminary results show that the trained model is able to provide accurate top-$5$ lists of relevant recommendations for concept renaming scenarios. Although promising, the results are less compelling for the scenario of the iterative construction of the metamodel, in part because of the conservative strategy we use to evaluate the recommendations.
• Abstract（参考訳）: アプリケーションドメインに関する適切な意味を具現化した概念的に健全なメタモデルの設計は、特にモデル駆動工学において退屈です。 メタモデルはドメイン概念間の複雑な関係を定義するので、モデラーはアプリケーションドメインに関して一貫性を持ってこれらの概念を徹底的に定義することが不可欠です。 本稿では,メタモデルの設計におけるモデラーの支援として,複数のモデリングシナリオにおいて関連するドメイン概念を推奨するアプローチを提案する。 私たちのアプローチでは、ドメインから知識を抽出したり、コンプリートルールを手作業で設計する必要はありません。 その代わりに、数千の独立したメタモデルのコーパスで構造的および語彙的メタモデルプロパティの両方から学習することで、ドメイン概念を抽象化できるディープラーニングモデルを使用して、完全なデータ駆動アプローチを設計します。 モデルトレーニング中に見つからない166のメタモデルを含むテストセットに対するアプローチを5000以上のテストサンプルを用いて評価した。 我々の予備的な結果は、トレーニングされたモデルが、コンセプトリネームシナリオに関する推奨事項のトップ5$のリストを正確に提供できることを示しています。 将来性はあるものの、メタモデルが反復的に構築されるシナリオに対して、その結果はより説得力に欠ける。

関連論文リスト

• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
  モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。 これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
  論文  参考訳（メタデータ） (2024-08-14T16:58:48Z)
• Aligning Models with Their Realization through Model-based Systems Engineering [0.0]
  本稿では,モデルに基づくシステム工学の適用を通じて,モデルとそれらの実現を整合させる手法を提案する。 私たちのアプローチは、モデルと実装をよりシームレスに統合し、ビジネスとITの整合性を高めます。
  論文  参考訳（メタデータ） (2024-06-18T06:50:36Z)
• Constraint based Modeling according to Reference Design [0.0]
  ベストプラクティスという形での参照モデルは、再利用のための設計としての知識を確保するための重要な要素である。 本稿では,セマンティック技術を用いた参照モデルの形式記述のための汎用的アプローチとその応用について述べる。 システム設計の文脈で複数の参照モデルを使用することが可能である。
  論文  参考訳（メタデータ） (2024-06-17T07:41:27Z)
• Has Your Pretrained Model Improved? A Multi-head Posterior Based Approach [25.927323251675386]
  我々は、世界的知識の源として各エンティティに関連するメタ機能を活用し、モデルからエンティティ表現を採用する。 本稿では,これらの表現とメタ機能との整合性を,事前学習モデルの評価指標として用いることを提案する。 提案手法の有効性は,関係データセットを用いたモデル,大規模言語モデル,画像モデルなど,様々な領域で実証されている。
  論文  参考訳（メタデータ） (2024-01-02T17:08:26Z)
• A Framework for Monitoring and Retraining Language Models in Real-World Applications [3.566775910781198]
  多くの現実世界のアプリケーションでは、継続的モデル監視とモデル再トレーニングが必要になります。 データやコンセプトドリフトなどの再トレーニングにはさまざまな理由があり、適切なメトリックによって監視されるモデルのパフォーマンスに反映される可能性がある。 マルチラベル分類モデルを用いて, モデル性能や資源利用などの重要な要因に対する各種リトレーニング決定点の影響について検討する。
  論文  参考訳（メタデータ） (2023-11-16T14:32:18Z)
• ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model Reuse [59.500060790983994]
  本稿では、PyTorchバックエンドを利用して、モデル再利用のための包括的でユーザフレンドリなツールボックスであるZhiJianを紹介する。 ZhiJianは、PTMによるターゲットアーキテクチャ構築、PTMによるターゲットモデルチューニング、およびPTMに基づく推論を含む、モデル再利用に関するさまざまな視点を統一する新しいパラダイムを提示している。
  論文  参考訳（メタデータ） (2023-08-17T19:12:13Z)
• PAMI: partition input and aggregate outputs for model interpretation [69.42924964776766]
  本研究では、深層学習モデルが局所的な特徴を集約してモデル予測を行うという観察に基づいて、PAMIと呼ばれるシンプルで効果的な可視化フレームワークを提案する。 基本的な考え方は、入力の大多数を隠蔽し、元のモデル予測に対する保存された入力部の相対的な寄与として対応するモデル出力を使用することである。 複数のタスクに対する大規模な実験により,提案手法は,クラス固有の入力領域をより正確に見つけるために,既存の可視化手法よりも優れていることを確認した。
  論文  参考訳（メタデータ） (2023-02-07T08:48:34Z)
• Minimal Value-Equivalent Partial Models for Scalable and Robust Planning in Lifelong Reinforcement Learning [56.50123642237106]
  モデルに基づく強化学習における一般的な実践は、エージェントの環境のあらゆる側面をモデル化するモデルを学ぶことである。 このようなモデルは、生涯にわたる強化学習シナリオにおいて、スケーラブルで堅牢な計画を実行するのに特に適していない、と我々は主張する。 我々は,「最小値部分モデル」と呼ぶ,環境の関連する側面のみをモデル化する新しい種類のモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-24T16:40:01Z)
• Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
  本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。 実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-05-30T16:55:59Z)
• An Ample Approach to Data and Modeling [1.0152838128195467]
  さまざまな分野の概念とメソッドを統合するモデルの構築方法をモデル化するためのフレームワークについて説明する。 参照M*メタモデルフレームワークは、厳密な同値関係の観点からデータセットと各モデルの関連付けに批判的に依存する。 開発されたフレームワークがデータクラスタリング、複雑性、共同研究、ディープラーニング、クリエイティビティに関する洞察を提供する方法について、いくつかの考察がなされている。
  論文  参考訳（メタデータ） (2021-10-05T01:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。