論文の概要: Mixture Manifold Networks: A Computationally Efficient Baseline for Inverse Modeling

• arxiv url: http://arxiv.org/abs/2211.14366v1
• Date: Fri, 25 Nov 2022 20:18:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 19:15:57.115520
• Title: Mixture Manifold Networks: A Computationally Efficient Baseline for Inverse Modeling
• Title（参考訳）: Mixture Manifold Networks: 逆モデリングのための計算効率の良いベースライン
• Authors: Gregory P. Spell, Simiao Ren, Leslie M. Collins, Jordan M. Malof
• Abstract要約: 汎用逆問題に対処する新しい手法を提案する。 近年の研究では、ディープラーニングによる顕著な結果が示されているが、モデルの性能と計算時間との間にはトレードオフがある。
• 参考スコア（独自算出の注目度）: 7.891408798179181
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose and show the efficacy of a new method to address generic inverse problems. Inverse modeling is the task whereby one seeks to determine the control parameters of a natural system that produce a given set of observed measurements. Recent work has shown impressive results using deep learning, but we note that there is a trade-off between model performance and computational time. For some applications, the computational time at inference for the best performing inverse modeling method may be overly prohibitive to its use. We present a new method that leverages multiple manifolds as a mixture of backward (e.g., inverse) models in a forward-backward model architecture. These multiple backwards models all share a common forward model, and their training is mitigated by generating training examples from the forward model. The proposed method thus has two innovations: 1) the multiple Manifold Mixture Network (MMN) architecture, and 2) the training procedure involving augmenting backward model training data using the forward model. We demonstrate the advantages of our method by comparing to several baselines on four benchmark inverse problems, and we furthermore provide analysis to motivate its design.
• Abstract（参考訳）: 汎用逆問題に対する新しい手法の提案と有効性を示す。 逆モデリング(英: inverse modeling)とは、与えられた観測値の集合を生成する自然システムの制御パラメータを決定するタスクである。 最近の研究はディープラーニングによる印象的な結果を示しているが、モデルの性能と計算時間の間にはトレードオフがある。 一部のアプリケーションでは、最高の性能を持つ逆モデリング手法の推論時の計算時間は、その使用を過剰に禁止する可能性がある。 本稿では,複数の多様体を前方モデルアーキテクチャにおける後方モデル(例えば逆モデル)の混合として利用する新しい手法を提案する。 これらの複数の後方モデルはすべて共通フォワードモデルを共有し、トレーニングはフォワードモデルからトレーニング例を生成することで緩和される。 提案手法には2つの革新がある。 1)多重多様体混合ネットワーク(mmn)アーキテクチャ、及び 2)前方モデルを用いた後方モデルトレーニングデータの拡張を含むトレーニング手順。 提案手法の利点は,4つのベンチマーク逆問題に対するいくつかのベースラインと比較することで示し,さらにその設計を動機付ける分析を行う。

関連論文リスト

• MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
  モデルマージは、同じトレーニング済みモデルから細調整された複数のシングルタスクモデルをマルチタスクモデルに結合する効果的なアプローチである。 既存のモデルマージ手法は、平均的なタスク精度の向上に重点を置いている。 Amortized Pareto Front (MAP) を用いた新しい低計算アルゴリズム Model Merging を導入する。
  論文  参考訳（メタデータ） (2024-06-11T17:55:25Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Solving Inverse Problems with Model Mismatch using Untrained Neural Networks within Model-based Architectures [14.551812310439004]
  モデルベースアーキテクチャでは,各インスタンスの計測領域におけるデータの一貫性を一致させるために,トレーニングされていないフォワードモデル残差ブロックを導入する。 提案手法は,パラメータ感受性が低く,追加データを必要としない統一解を提供し,前方モデルの同時適用と1パスの再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-07T19:02:13Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Merging Models with Fisher-Weighted Averaging [24.698591753644077]
  我々は、複数のモデルを1つに“マージ”するモデル間で知識を伝達する、根本的に異なる方法を紹介します。 提案手法は,モデルのパラメータの重み付け平均を効果的に計算する。 マージ手順により、これまで探索されていなかった方法でモデルを組み合わせることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-18T17:59:35Z)
• Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
  本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。 我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
  論文  参考訳（メタデータ） (2021-08-26T17:55:11Z)
• Sample Efficient Reinforcement Learning via Model-Ensemble Exploration and Exploitation [3.728946517493471]
  MEEEは楽観的な探索と重み付けによる搾取からなるモデルアンサンブル法である。 我々の手法は、特にサンプル複雑性において、他のモデルフリーおよびモデルベース最先端手法よりも優れています。
  論文  参考訳（メタデータ） (2021-07-05T07:18:20Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [55.28436972267793]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Using machine learning to correct model error in data assimilation and forecast applications [0.0]
  本稿では,既存の知識ベースモデルの誤りを訂正するために,この手法を提案する。 結果として得られるサロゲートモデルは、元の(知識ベース)モデルとMLモデルとのハイブリッドモデルである。 DAのハイブリッドサロゲートモデルを用いることで、元のモデルよりもはるかに優れた分析が得られる。
  論文  参考訳（メタデータ） (2020-10-23T18:30:45Z)
• Benchmarking deep inverse models over time, and the neural-adjoint method [3.4376560669160394]
  そこで本研究では,自然システムの隠れパラメータを決定するための一般的な逆問題について考察する。 我々はこれらのモデルを、効率的に、しかしランダムに、可能な逆解の空間を探索するための異なるスキームとして概念化する。 我々は,4つのベンチマークタスクについて,最先端の逆モデリング手法を比較した。
  論文  参考訳（メタデータ） (2020-09-27T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。