Fugu-MT 論文翻訳(概要): Sobolev Training for Operator Learning

論文の概要: Sobolev Training for Operator Learning

arxiv url: http://arxiv.org/abs/2402.09084v1
Date: Wed, 14 Feb 2024 10:57:29 GMT
ステータス: 処理完了
システム内更新日: 2024-02-15 15:54:43.247352
Title: Sobolev Training for Operator Learning
Title（参考訳）: オペレーター学習のためのソボレフ訓練
Authors: Namkyeong Cho, Junseung Ryu, Hyung Ju Hwang
Abstract要約: 本研究では,ソボレフ訓練がモデル性能向上のための演算子学習フレームワークに与える影響について検討する。本研究は, 損失関数に導関数情報を統合することにより, 学習過程が向上することを明らかにする。演算子学習における不規則メッシュ上の微分を近似する新しい枠組みを提案する。
参考スコア（独自算出の注目度）: 4.97999729336721
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This study investigates the impact of Sobolev Training on operator learning frameworks for improving model performance. Our research reveals that integrating derivative information into the loss function enhances the training process, and we propose a novel framework to approximate derivatives on irregular meshes in operator learning. Our findings are supported by both experimental evidence and theoretical analysis. This demonstrates the effectiveness of Sobolev Training in approximating the solution operators between infinite-dimensional spaces.
Abstract（参考訳）: 本研究では,ソボレフトレーニングがモデル性能向上のためのオペレータ学習フレームワークに与える影響について検討する。本研究は,損失関数に微分情報を統合することでトレーニングプロセスが向上することを示すとともに,演算子学習における不規則メッシュ上の微分を近似する新しい枠組みを提案する。実験的な証拠と理論的分析の両方が得られた。これは無限次元空間間の解作用素を近似するソボレフ訓練の有効性を示す。

関連論文リスト

Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文参考訳（メタデータ） (2024-10-31T22:54:34Z)
DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
論文参考訳（メタデータ） (2024-05-22T15:52:52Z)
Task Arithmetic in the Tangent Space: Improved Editing of Pre-Trained Models [96.9373147383119]
重みの絡み合いがタスク算術を効果的にするための重要な要素であることを示す。それらの接空間における微調整モデルを線形化することにより、重みの絡み合いを増幅することを示した。これにより、タスク演算ベンチマークや多種多様なモデルで大幅にパフォーマンスが向上する。
論文参考訳（メタデータ） (2023-05-22T08:39:25Z)
Neural DAEs: Constrained neural networks [4.212663349859165]
我々はいくつかの基本的なシナリオの違いにもかかわらず、残差ニューラルネットワークに関連した手法を実装した。マルチボディ振り子と分子動力学シナリオのシミュレーションを含む実験に基づいて,どの手法をいつ使うかを示す。既存のコードで実装するのは簡単で、トレーニングのパフォーマンスに制限がある一方、推論の面では大幅に向上しています。
論文参考訳（メタデータ） (2022-11-25T18:58:28Z)
Batch Active Learning from the Perspective of Sparse Approximation [12.51958241746014]
アクティブな学習は、機械学習エージェントと人間のアノテーションとのインタラクションを活用することで、効率的なモデルトレーニングを可能にする。スパース近似の観点からバッチアクティブラーニングを定式化する新しいフレームワークを提案し,提案する。我々のアクティブラーニング手法は、ラベルのないデータプールから、対応するトレーニング損失関数が、そのフルデータプールに近似するように、情報的サブセットを見つけることを目的としている。
論文参考訳（メタデータ） (2022-11-01T03:20:28Z)
Task-Free Continual Learning via Online Discrepancy Distance Learning [11.540150938141034]
本稿では,来訪したサンプルとモデルトレーニングに利用可能な情報全体との差分距離に基づく一般化境界を提供する,新しい理論解析フレームワークを開発する。この理論モデルに着想を得て,混合モデルに対する動的成分展開機構,すなわちオンライン離散距離学習(ODDL)によって実現された新しいアプローチを提案する。
論文参考訳（メタデータ） (2022-10-12T20:44:09Z)
A Free Lunch from the Noise: Provable and Practical Exploration for Representation Learning [55.048010996144036]
ある雑音仮定の下では、対応するマルコフ遷移作用素の線型スペクトル特性を自由な閉形式で得られることを示す。本稿では,スペクトルダイナミクス埋め込み(SPEDE)を提案する。これはトレードオフを破り,雑音の構造を利用して表現学習のための楽観的な探索を完遂する。
論文参考訳（メタデータ） (2021-11-22T19:24:57Z)
Holistic Deep Learning [3.718942345103135]
本稿では、入力摂動、過度なパラメータ化、性能不安定といった脆弱性の課題に対処する、新しい総合的なディープラーニングフレームワークを提案する。提案したフレームワークは、標準的なディープラーニングモデルよりも正確性、堅牢性、疎性、安定性を全面的に改善する。
論文参考訳（メタデータ） (2021-10-29T14:46:32Z)
Efficient Estimation of Influence of a Training Instance [56.29080605123304]
本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
論文参考訳（メタデータ） (2020-12-08T04:31:38Z)
Guided Learning of Nonconvex Models through Successive Functional Gradient Optimization [22.603803397940133]
本稿では,ニューラルネットワークのような非機能モデルに対する勾配最適化のためのフレームワークを提案する。この枠組みから導出した理論的解析手法を提案する。
論文参考訳（メタデータ） (2020-06-30T14:31:24Z)
On the Benefits of Invariance in Neural Networks [56.362579457990094]
データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
論文参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。