論文の概要: Sobolev Training for Operator Learning
- arxiv url: http://arxiv.org/abs/2402.09084v1
- Date: Wed, 14 Feb 2024 10:57:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 15:54:43.247352
- Title: Sobolev Training for Operator Learning
- Title(参考訳): オペレーター学習のためのソボレフ訓練
- Authors: Namkyeong Cho, Junseung Ryu, Hyung Ju Hwang
- Abstract要約: 本研究では,ソボレフ訓練がモデル性能向上のための演算子学習フレームワークに与える影響について検討する。
本研究は, 損失関数に導関数情報を統合することにより, 学習過程が向上することを明らかにする。
演算子学習における不規則メッシュ上の微分を近似する新しい枠組みを提案する。
- 参考スコア(独自算出の注目度): 4.97999729336721
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study investigates the impact of Sobolev Training on operator learning
frameworks for improving model performance. Our research reveals that
integrating derivative information into the loss function enhances the training
process, and we propose a novel framework to approximate derivatives on
irregular meshes in operator learning. Our findings are supported by both
experimental evidence and theoretical analysis. This demonstrates the
effectiveness of Sobolev Training in approximating the solution operators
between infinite-dimensional spaces.
- Abstract(参考訳): 本研究では,ソボレフトレーニングがモデル性能向上のためのオペレータ学習フレームワークに与える影響について検討する。
本研究は,損失関数に微分情報を統合することでトレーニングプロセスが向上することを示すとともに,演算子学習における不規則メッシュ上の微分を近似する新しい枠組みを提案する。
実験的な証拠と理論的分析の両方が得られた。
これは無限次元空間間の解作用素を近似するソボレフ訓練の有効性を示す。
関連論文リスト
- Task Arithmetic in the Tangent Space: Improved Editing of Pre-Trained
Models [96.9373147383119]
重みの絡み合いがタスク算術を効果的にするための重要な要素であることを示す。
それらの接空間における微調整モデルを線形化することにより、重みの絡み合いを増幅することを示した。
これにより、タスク演算ベンチマークや多種多様なモデルで大幅にパフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-05-22T08:39:25Z) - Towards Compute-Optimal Transfer Learning [82.88829463290041]
我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。
その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
論文 参考訳(メタデータ) (2023-04-25T21:49:09Z) - Neural DAEs: Constrained neural networks [4.212663349859165]
我々はいくつかの基本的なシナリオの違いにもかかわらず、残差ニューラルネットワークに関連した手法を実装した。
マルチボディ振り子と分子動力学シナリオのシミュレーションを含む実験に基づいて,どの手法をいつ使うかを示す。
既存のコードで実装するのは簡単で、トレーニングのパフォーマンスに制限がある一方、推論の面では大幅に向上しています。
論文 参考訳(メタデータ) (2022-11-25T18:58:28Z) - Batch Active Learning from the Perspective of Sparse Approximation [12.51958241746014]
アクティブな学習は、機械学習エージェントと人間のアノテーションとのインタラクションを活用することで、効率的なモデルトレーニングを可能にする。
スパース近似の観点からバッチアクティブラーニングを定式化する新しいフレームワークを提案し,提案する。
我々のアクティブラーニング手法は、ラベルのないデータプールから、対応するトレーニング損失関数が、そのフルデータプールに近似するように、情報的サブセットを見つけることを目的としている。
論文 参考訳(メタデータ) (2022-11-01T03:20:28Z) - Task-Free Continual Learning via Online Discrepancy Distance Learning [11.540150938141034]
本稿では,来訪したサンプルとモデルトレーニングに利用可能な情報全体との差分距離に基づく一般化境界を提供する,新しい理論解析フレームワークを開発する。
この理論モデルに着想を得て,混合モデルに対する動的成分展開機構,すなわちオンライン離散距離学習(ODDL)によって実現された新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-10-12T20:44:09Z) - A Free Lunch from the Noise: Provable and Practical Exploration for
Representation Learning [55.048010996144036]
ある雑音仮定の下では、対応するマルコフ遷移作用素の線型スペクトル特性を自由な閉形式で得られることを示す。
本稿では,スペクトルダイナミクス埋め込み(SPEDE)を提案する。これはトレードオフを破り,雑音の構造を利用して表現学習のための楽観的な探索を完遂する。
論文 参考訳(メタデータ) (2021-11-22T19:24:57Z) - Holistic Deep Learning [3.718942345103135]
本稿では、入力摂動、過度なパラメータ化、性能不安定といった脆弱性の課題に対処する、新しい総合的なディープラーニングフレームワークを提案する。
提案したフレームワークは、標準的なディープラーニングモデルよりも正確性、堅牢性、疎性、安定性を全面的に改善する。
論文 参考訳(メタデータ) (2021-10-29T14:46:32Z) - TRAIL: Near-Optimal Imitation Learning with Suboptimal Data [100.83688818427915]
オフラインデータセットを使用してファクタードトランジションモデルを学習するトレーニング目標を提案する。
我々の理論的分析は、学習された潜在行動空間が下流模倣学習のサンプル効率を高めることを示唆している。
実際に潜伏行動空間を学習するために、エネルギーベースの遷移モデルを学ぶアルゴリズムTRAIL(Transition-Reparametrized Actions for Imitation Learning)を提案する。
論文 参考訳(メタデータ) (2021-10-27T21:05:00Z) - Efficient Estimation of Influence of a Training Instance [56.29080605123304]
本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。
このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。
提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
論文 参考訳(メタデータ) (2020-12-08T04:31:38Z) - Guided Learning of Nonconvex Models through Successive Functional
Gradient Optimization [22.603803397940133]
本稿では,ニューラルネットワークのような非機能モデルに対する勾配最適化のためのフレームワークを提案する。
この枠組みから導出した理論的解析手法を提案する。
論文 参考訳(メタデータ) (2020-06-30T14:31:24Z) - On the Benefits of Invariance in Neural Networks [56.362579457990094]
データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。
また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
論文 参考訳(メタデータ) (2020-05-01T02:08:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。