論文の概要: Function Encoders: A Principled Approach to Transfer Learning in Hilbert Spaces

• arxiv url: http://arxiv.org/abs/2501.18373v1
• Date: Thu, 30 Jan 2025 14:26:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:14:29.491019
• Title: Function Encoders: A Principled Approach to Transfer Learning in Hilbert Spaces
• Title（参考訳）: 関数エンコーダ:ヒルベルト空間における伝達学習の原理的アプローチ
• Authors: Tyler Ingebrand, Adam J. Thorpe, Ufuk Topcu,
• Abstract要約: ヒルベルト空間における移動の幾何学的特徴付けを導入し、3種類の帰納的移動を定義する。 本稿では,関数エンコーダの理論に基づく3種類の転送を実現する手法を提案する。 実験の結果,関数エンコーダは4つのベンチマークタスクと3種類の転送において,最先端の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 16.849614123426772
• License:
• Abstract: A central challenge in transfer learning is designing algorithms that can quickly adapt and generalize to new tasks without retraining. Yet, the conditions of when and how algorithms can effectively transfer to new tasks is poorly characterized. We introduce a geometric characterization of transfer in Hilbert spaces and define three types of inductive transfer: interpolation within the convex hull, extrapolation to the linear span, and extrapolation outside the span. We propose a method grounded in the theory of function encoders to achieve all three types of transfer. Specifically, we introduce a novel training scheme for function encoders using least-squares optimization, prove a universal approximation theorem for function encoders, and provide a comprehensive comparison with existing approaches such as transformers and meta-learning on four diverse benchmarks. Our experiments demonstrate that the function encoder outperforms state-of-the-art methods on four benchmark tasks and on all three types of transfer.
• Abstract（参考訳）: トランスファーラーニングにおける中心的な課題は、再トレーニングなしに新しいタスクに迅速に適応し、一般化できるアルゴリズムを設計することである。 しかし、アルゴリズムがいつ、どのようにして新しいタスクに効果的に移行できるかという条件は、不十分である。 ヒルベルト空間における移動の幾何学的特徴を導入し、凸体内の補間、線形スパンへの補間、スパンの外補間という3種類の帰納的移動を定義する。 本稿では,関数エンコーダの理論に基づく3種類の転送を実現する手法を提案する。 具体的には、最小二乗最適化を用いた関数エンコーダの新しいトレーニング手法を導入し、関数エンコーダの普遍近似定理を証明し、4つの異なるベンチマーク上で、トランスフォーマーやメタラーニングのような既存のアプローチと包括的に比較する。 実験の結果,関数エンコーダは4つのベンチマークタスクと3種類の転送において,最先端の手法よりも優れていた。

関連論文リスト

• State-Free Inference of State-Space Models: The Transfer Function Approach [132.83348321603205]
  状態のない推論では、状態サイズが大きくなると大きなメモリや計算コストは発生しない。 提案した周波数領域転送関数のパラメトリゼーション特性を用いてこれを実現する。 長い畳み込みハイエナベースライン上での言語モデリングにおける難易度の改善を報告した。
  論文  参考訳（メタデータ） (2024-05-10T00:06:02Z)
• EulerFormer: Sequential User Behavior Modeling with Complex Vector Attention [88.45459681677369]
  複素ベクトル注意を持つ新しい変圧器変圧器(EulerFormer)を提案する。 意味的差と位置的差の両方を定式化するための統一的な理論的枠組みを提供する。 意味的変動に対してより堅牢であり、原理上はより上述の理論的性質を持つ。
  論文  参考訳（メタデータ） (2024-03-26T14:18:43Z)
• Invertible Fourier Neural Operators for Tackling Both Forward and Inverse Problems [18.48295539583625]
  前方および逆問題の両方に対処する可逆フーリエニューラル演算子(iFNO)を提案する。 我々は,入力空間内の固有構造を捕捉し,後部推論を可能にする変分自動エンコーダを統合した。 5つのベンチマーク問題に対する評価は,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-02-18T22:16:43Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Learning Functional Transduction [9.926231893220063]
  そこで本研究では,トランスダクティブ回帰の原理を勾配降下によりメタ学習し,より効率的なインコンテキスト・ニューラル近似器を構築できることを示す。 我々は、データが少ない外部要因の影響を受け、複雑な物理システムをモデル化するためのメタ学習型トランスダクティブアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-02-01T09:14:28Z)
• Quantifying and Improving Transferability in Domain Generalization [53.16289325326505]
  アウト・オブ・ディストリビューションの一般化は、実験室から現実世界にモデルを移す際の重要な課題の1つである。 我々は、領域一般化において量子化と計算が可能な転送可能性を正式に定義する。 転送可能な特徴を学習し、様々なベンチマークデータセット上でテストするための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T14:04:32Z)
• Choose a Transformer: Fourier or Galerkin [0.0]
  我々は,データ駆動型演算子学習問題に対して,最新技術であるTransformer in Attention Is All You Needの自己注意を適用した。 スケールしたドット積の注意におけるソフトマックス正規化は十分であるが必要ではないことを示し、ペトロフ・ガレルキン射影として線形変項の近似能力を証明した。 本稿では,ビルガース方程式,インターフェースダーシー流,および逆インターフェース係数同定問題を含む3つの演算子学習実験について述べる。
  論文  参考訳（メタデータ） (2021-05-31T14:30:53Z)
• Real-Time Topology Optimization in 3D via Deep Transfer Learning [0.0]
  本稿では,畳み込みニューラルネットワークに基づく伝達学習手法を提案する。 さまざまな形状やトポロジの高解像度3Dデザイン領域に対応できることを示します。 実験では,平均二進法精度を95%程度,実時間予測速度で達成した。
  論文  参考訳（メタデータ） (2021-02-11T21:09:58Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。