論文の概要: Learning Functional Transduction
- arxiv url: http://arxiv.org/abs/2302.00328v1
- Date: Wed, 1 Feb 2023 09:14:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-02 13:15:57.545512
- Title: Learning Functional Transduction
- Title(参考訳): 関数変換の学習
- Authors: Mathieu Chalvidal, Thomas Serre and Rufin VanRullen
- Abstract要約: 本研究では, 伝達原理が勾配降下によって誘導され, 効率的な神経近似器が形成されることを示す。
我々は、データが少ない外部要因の影響を受け、複雑な物理システムをモデル化するトランスダクティブアプローチの利点を実証する。
- 参考スコア(独自算出の注目度): 9.926231893220063
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Research in Machine Learning has polarized into two general regression
approaches: Transductive methods derive estimates directly from available data
but are usually problem unspecific. Inductive methods can be much more
particular, but generally require tuning and compute-intensive searches for
solutions. In this work, we adopt a hybrid approach: We leverage the theory of
Reproducing Kernel Banach Spaces (RKBS) and show that transductive principles
can be induced through gradient descent to form efficient \textit{in-context}
neural approximators. We apply this approach to RKBS of function-valued
operators and show that once trained, our \textit{Transducer} model can capture
on-the-fly relationships between infinite-dimensional input and output
functions, given a few example pairs, and return new function estimates. We
demonstrate the benefit of our transductive approach to model complex physical
systems influenced by varying external factors with little data at a fraction
of the usual deep learning training computation cost for partial differential
equations and climate modeling applications.
- Abstract(参考訳): 機械学習の研究は、次の2つの一般的な回帰アプローチに偏った。 トランスダクティブメソッドは、利用可能なデータから直接見積を導出するが、通常は問題なしである。
帰納的手法はより特別であるが、一般にソリューションのチューニングと計算集約的な検索が必要である。
本稿では, カーネルバナッハ空間 (RKBS) の再現理論を応用し, 過渡的原理が勾配降下によって誘導され, 効率的な 'textit{in-context} 神経近似器を形成することを示す。
この手法を関数値演算子のRKBSに適用することにより、トレーニングが完了すれば、無限次元の入力関数と出力関数のオンザフライ関係をキャプチャし、いくつかの例を挙げて新しい関数推定値を返すことができることを示す。
偏微分方程式や気候モデリングアプリケーションのための通常の深層学習計算計算コストのごく一部で,データ量が少ない外部要因が影響する複雑な物理系をモデル化するトランスダクティブ・アプローチの利点を実証する。
関連論文リスト
- Nonlinear functional regression by functional deep neural network with
kernel embedding [20.306390874610635]
本稿では,効率的かつ完全なデータ依存型次元減少法を備えた機能的ディープニューラルネットワークを提案する。
機能ネットのアーキテクチャは、カーネル埋め込みステップ、プロジェクションステップ、予測のための深いReLUニューラルネットワークで構成される。
スムーズなカーネル埋め込みを利用することで、我々の関数ネットは離散化不変であり、効率的で、頑健でノイズの多い観測が可能となる。
論文 参考訳(メタデータ) (2024-01-05T16:43:39Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳(メタデータ) (2023-07-08T15:41:48Z) - Learning to Extrapolate: A Transductive Approach [44.74850954809099]
パラメータ化関数近似器のパワーを保った機械学習システムを開発する際の課題に対処する。
このような一般化を実現するために,バイリニア埋め込みに基づく簡単な戦略を提案する。
様々な教師付き学習や模倣学習タスクに適用可能な,単純で実用的なアルゴリズムをインスタンス化する。
論文 参考訳(メタデータ) (2023-04-27T17:00:51Z) - Offline Reinforcement Learning with Differentiable Function
Approximation is Provably Efficient [65.08966446962845]
歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。
微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。
最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
論文 参考訳(メタデータ) (2022-10-03T07:59:42Z) - Transformer Meets Boundary Value Inverse Problems [4.165221477234755]
変圧器を用いた深部直接サンプリング法は境界値逆問題のクラスを解くために提案される。
慎重に設計されたデータと再構成された画像の間に学習した逆演算子を評価することにより、リアルタイムな再構成を実現する。
論文 参考訳(メタデータ) (2022-09-29T17:45:25Z) - On Hypothesis Transfer Learning of Functional Linear Models [8.557392136621894]
再生カーネル空間(RKHS)フレームワークを用いて,関数線形回帰(FLR)のための伝達学習(TL)について検討する。
我々は、RKHS距離を用いてタスク間の類似度を測定し、RKHSの特性に関連付けられた情報の転送を行う。
2つのアルゴリズムが提案され、1つは正のソースが分かっているときに転送を行い、もう1つはアグリゲーションを利用してソースに関する事前情報なしでロバストな転送を行う。
論文 参考訳(メタデータ) (2022-06-09T04:50:16Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳(メタデータ) (2022-06-01T23:26:51Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Deep Learning with Functional Inputs [0.0]
本稿では,機能データをフィードフォワードニューラルネットワークに統合する手法を提案する。
この手法の副産物は、最適化プロセス中に可視化できる動的な機能的重みの集合である。
このモデルは、新しいデータの予測や真の機能的重みの回復など、多くの文脈でうまく機能することが示されている。
論文 参考訳(メタデータ) (2020-06-17T01:23:00Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳(メタデータ) (2020-03-05T14:33:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。