論文の概要: Cooperative data-driven modeling

• arxiv url: http://arxiv.org/abs/2211.12971v2
• Date: Fri, 8 Mar 2024 16:40:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 23:43:32.455269
• Title: Cooperative data-driven modeling
• Title（参考訳）: 協調データ駆動モデリング
• Authors: Aleksandr Dekhovich, O. Taylan Turan, Jiaxiang Yi, Miguel A. Bessa
• Abstract要約: メカニクスにおけるデータ駆動モデリングは、最近の機械学習の進歩に基づいて急速に進化している。 異なるグループによって作成された新しいデータとモデルが利用可能となり、協調モデリングの可能性が開ける。 人工ニューラルネットワークは、破滅的な忘れ、すなわち、新しいタスクでトレーニングされたときに古いタスクを実行する方法を忘れることに苦しむ。 これは、新しいタスクに既存のモデルを適用することが、誰かによって訓練された前のタスクのパフォーマンスに影響を与えるため、協力を妨げる。
• 参考スコア（独自算出の注目度）: 44.99833362998488
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-driven modeling in mechanics is evolving rapidly based on recent machine learning advances, especially on artificial neural networks. As the field matures, new data and models created by different groups become available, opening possibilities for cooperative modeling. However, artificial neural networks suffer from catastrophic forgetting, i.e. they forget how to perform an old task when trained on a new one. This hinders cooperation because adapting an existing model for a new task affects the performance on a previous task trained by someone else. The authors developed a continual learning method that addresses this issue, applying it here for the first time to solid mechanics. In particular, the method is applied to recurrent neural networks to predict history-dependent plasticity behavior, although it can be used on any other architecture (feedforward, convolutional, etc.) and to predict other phenomena. This work intends to spawn future developments on continual learning that will foster cooperative strategies among the mechanics community to solve increasingly challenging problems. We show that the chosen continual learning strategy can sequentially learn several constitutive laws without forgetting them, using less data to achieve the same error as standard (non-cooperative) training of one law per model.
• Abstract（参考訳）: メカニクスにおけるデータ駆動モデリングは、最近の機械学習の進歩、特に人工ニューラルネットワークに基づいて急速に進化している。 この分野が成熟するにつれて、異なるグループが作成した新しいデータとモデルが利用可能になり、協調モデリングの可能性が開けた。 しかし、ニューラルネットワークは破滅的な忘れ、すなわち新しいタスクでトレーニングされたときに古いタスクを実行する方法を忘れてしまう。 これは、新しいタスクに既存のモデルを適用することが、他の人が訓練した前のタスクのパフォーマンスに影響するため、協力を妨げる。 著者らはこの問題に対処する継続的学習法を開発し、固体力学に初めて適用した。 特に、この方法は、他のアーキテクチャ(フィードフォワード、畳み込みなど)で使用でき、他の現象を予測するために、履歴に依存した塑性挙動を予測するために、繰り返しニューラルネットワークに適用される。 本研究は, 機械工学コミュニティ間の協調戦略を育成し, ますます困難な課題を解決しようとする, 継続的な学習の今後の発展をめざすものである。 選択した連続学習戦略は、モデルを忘れずに連続的にいくつかの構成法則を学習し、少ないデータを用いて1モデル当たりの標準的(非協調的)訓練と同じ誤差を達成することを示す。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Adapt & Align: Continual Learning with Generative Models Latent Space Alignment [15.729732755625474]
  本稿では、生成モデルにおける潜在表現を整列させることにより、ニューラルネットワークの連続的な学習方法であるAdapt & Alignを紹介する。 ニューラルネットワークは、追加データで再トレーニングされた場合、突然のパフォーマンスが低下する。 生成モデルを導入し,その更新過程を2つの部分に分割することで,これらの問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-21T10:02:17Z)
• Negotiated Representations to Prevent Forgetting in Machine Learning Applications [0.0]
  破滅的な忘れは、機械学習の分野で重要な課題である。 本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:43:50Z)
• A Survey on Knowledge Editing of Neural Networks [43.813073385305806]
  最大の人工ニューラルネットワークでさえ間違いを犯し、世界が時間とともに進むにつれて、一度修正された予測が無効になる可能性がある。 知識編集は、訓練済みのターゲットモデルに対する信頼性、データ効率、迅速な変更の実現を目的とした、新しい研究分野として浮上している。 まず、ニューラルネットワークの編集の問題を紹介し、それを共通のフレームワークで形式化し、継続的学習のような悪名高い研究分野と区別する。
  論文  参考訳（メタデータ） (2023-10-30T16:29:47Z)
• Learning-based adaption of robotic friction models [48.453527255659296]
  我々は、可能な限り少ないデータを用いて、既存の摩擦モデルを新しいダイナミクスに適用するための新しいアプローチを導入する。 提案する推定器は,従来のモデルベースアプローチとベースニューラルネットワークを著しく上回る性能を示した。 本手法はトレーニング中に外部負荷を伴うデータに依存しないため,外部トルクセンサは不要である。
  論文  参考訳（メタデータ） (2023-10-25T14:50:15Z)
• Continual Learning with Transformers for Image Classification [12.028617058465333]
  コンピュータビジョンでは、ニューラルネットワークモデルは、過去に何を学んだかを忘れずに、新しい概念を継続的に学習する。 本研究では,適応型適応器の蒸留法 (ADA) を開発した。 本手法は,モデルを再学習することなく,優れた予測性能を維持することを実証的に示す。
  論文  参考訳（メタデータ） (2022-06-28T15:30:10Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Learning to Transfer Dynamic Models of Underactuated Soft Robotic Hands [15.481728234509227]
  転送学習は、別のドメインのデータを活用することによって、あるドメインのデータ制限をバイパスする一般的なアプローチである。 いくつかの状況では、これは単に適応なしで変換されたモデルを使用するよりも、はるかにパフォーマンスが悪くなることを示します。 我々は、訓練された遷移モデルのリャプノフ指数の上界を導出し、この知見を利用する2つのアプローチを実証する。
  論文  参考訳（メタデータ） (2020-05-21T01:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。