論文の概要: DeepOSets: Non-Autoregressive In-Context Learning with Permutation-Invariance Inductive Bias

• arxiv url: http://arxiv.org/abs/2410.09298v4
• Date: Thu, 30 Oct 2025 23:09:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 15:46:16.746121
• Title: DeepOSets: Non-Autoregressive In-Context Learning with Permutation-Invariance Inductive Bias
• Title（参考訳）: DeepOSets: 置換不変誘導バイアスを用いた非自己回帰型インコンテキスト学習
• Authors: Shao-Ting Chiu, Junyuan Hong, Ulisses Braga-Neto,
• Abstract要約: In-context Learning(ICL)は、いくつかの機械学習モデルによって、モデルパラメータの更新なしに学習できる注目すべき能力である。 本稿では、ICLが非自己回帰型ニューラルアーキテクチャにおいて、ハードコードな置換不変分散帰納バイアスで現れることを実証する。 本稿では、置換不変回帰学習演算子を表現し、DeepOSetsが演算子のクラスの普遍近似子であることを証明する。
• 参考スコア（独自算出の注目度）: 11.62236892910114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) is the remarkable ability displayed by some machine learning models to learn from examples provided in a user prompt without any model parameter updates. ICL was first observed in the domain of large language models, and it has been widely assumed that it is a product of the attention mechanism in autoregressive transformers. In this paper, using stylized regression learning tasks, we demonstrate that ICL can emerge in a non-autoregressive neural architecture with a hard-coded permutation-invariance inductive bias. This novel architecture, called DeepOSets, combines the set learning properties of the DeepSets architecture with the operator learning capabilities of Deep Operator Networks (DeepONets). We provide a representation theorem for permutation-invariant regression learning operators and prove that DeepOSets are universal approximators of this class of operators. We performed comprehensive numerical experiments to evaluate the capabilities of DeepOSets in learning linear, polynomial, and shallow neural network regression, under varying noise levels, dimensionalities, and sample sizes. In the high-dimensional regime, accuracy was enhanced by replacing the DeepSets layer with a Set Transformer. Our results show that DeepOSets deliver accurate and fast results with an order of magnitude fewer parameters than a comparable transformer-based alternative.
• Abstract（参考訳）: In-context Learning(ICL)は、いくつかの機械学習モデルによって、モデルパラメータを更新することなく、ユーザープロンプトで提供される例から学習する注目すべき機能である。 ICLは大規模言語モデルの領域で最初に観測され、自己回帰変換器の注意機構の産物であると考えられてきた。 本論文では, 適応型回帰学習タスクを用いて, ICLが非自己回帰型ニューラルアーキテクチャにおいて, ハードコードな置換不変分散帰納バイアスで出現できることを実証する。 この新しいアーキテクチャはDeepOSetsと呼ばれ、DeepSetsアーキテクチャのセットラーニング特性とDeep Operator Networks (DeepONets)のオペレータラーニング能力を組み合わせる。 我々は、置換不変回帰学習作用素の表現定理を提案し、DeepOSetsが演算子のクラスの普遍近似であることを示す。 線形, 多項式, 浅層ニューラルネットワークの回帰学習におけるDeepOSetsの能力を, 様々なノイズレベル, 次元, サンプルサイズで評価するために, 総合的な数値実験を行った。 高次元状態では、DeepSets層をSet Transformerに置き換えることで精度が向上した。 以上の結果から,DeepOSetsの精度と高速性は,ほぼ同等のトランスフォーマーベースの代替手段よりも桁違いに少ないことがわかった。

関連論文リスト

• A Library for Learning Neural Operators [75.14579433742178]
  我々は、演算子学習のためのオープンソースのPythonライブラリであるNeuralOperatorを紹介する。 ニューラルネットワークは有限次元ユークリッド空間の代わりに関数空間間の写像に一般化される。 PyTorch上に構築されたNeuralOperatorは、ニューラルオペレータモデルのトレーニングとデプロイのためのツールをすべて提供する。
  論文  参考訳（メタデータ） (2024-12-13T18:49:37Z)
• On the training and generalization of deep operator networks [11.159056906971983]
  深層演算ネットワーク(DeepONets)のための新しいトレーニング手法を提案する。 DeepONetsは2つのサブネットワークによって構築されている。 入力データの観点から幅誤差推定値を確立する。
  論文  参考訳（メタデータ） (2023-09-02T21:10:45Z)
• Reliable extrapolation of deep neural operators informed by physics or sparse observations [2.887258133992338]
  ディープニューラルネットワークは、ディープニューラルネットワークを介して無限次元関数空間間の非線形マッピングを学習することができる。 DeepONetsは科学と工学の新しいシミュレーションパラダイムを提供する。 本稿では,外挿下での安全な予測を保証する5つの信頼性学習手法を提案する。
  論文  参考訳（メタデータ） (2022-12-13T03:02:46Z)
• Transfer Learning Enhanced DeepONet for Long-Time Prediction of Evolution Equations [9.748550197032785]
  ディープオペレータネットワーク(DeepONet)は,様々な学習タスクにおいて大きな成功を収めている。 本稿では,DeepONetを用いたエミュレーション学習による安定性向上を提案する。
  論文  参考訳（メタデータ） (2022-12-09T04:37:08Z)
• What learning algorithm is in-context learning? Investigations with linear models [87.91612418166464]
  本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。 訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。 文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
  論文  参考訳（メタデータ） (2022-11-28T18:59:51Z)
• Multifidelity deep neural operators for efficient learning of partial differential equations with application to fast inverse design of nanoscale heat transport [2.512625172084287]
  深部演算子ネットワーク(DeepONet)に基づく多要素ニューラル演算子の開発 多重忠実度DeepONetは、要求される高忠実度データの量を大幅に削減し、同じ量の高忠実度データを使用する場合の1桁の誤差を1桁小さくする。 ナノスケール熱輸送を計算するためのフレームワークであるフォノンボルツマン輸送方程式 (BTE) の学習に多要素DeepONetを適用した。
  論文  参考訳（メタデータ） (2022-04-14T01:01:24Z)
• MultiAuto-DeepONet: A Multi-resolution Autoencoder DeepONet for Nonlinear Dimension Reduction, Uncertainty Quantification and Operator Learning of Forward and Inverse Stochastic Problems [12.826754199680474]
  本稿では,微分方程式(SDE)の演算子学習のための新しいデータ駆動手法を提案する。 中心的な目標は、限られたデータを使ってより効果的に前方および逆問題を解決することである。
  論文  参考訳（メタデータ） (2022-04-07T03:53:49Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Improved architectures and training algorithms for deep operator networks [0.0]
  演算子学習技術は無限次元バナッハ空間間の写像を学習するための強力なツールとして登場した。 我々は,ニューラルタンジェントカーネル(NTK)理論のレンズを用いて,ディープオペレータネットワーク(DeepONets)のトレーニングダイナミクスを解析した。
  論文  参考訳（メタデータ） (2021-10-04T18:34:41Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Training Deep Neural Networks with Constrained Learning Parameters [4.917317902787792]
  ディープラーニングタスクのかなりの部分はエッジコンピューティングシステムで実行される。 我々は, Combinatorial Neural Network Training Algorithm (CNNTrA)を提案する。 CoNNTrAは、MNIST、Iris、ImageNetデータセット上で、第三次学習パラメータでディープラーニングモデルをトレーニングする。 以上の結果から,CNNTrAモデルはメモリを32倍に削減し,バックプロパゲーションモデルと同程度の誤差を有することがわかった。
  論文  参考訳（メタデータ） (2020-09-01T16:20:11Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Deep Transfer Learning with Ridge Regression [7.843067454030999]
  大量のデータで訓練されたディープモデルは、関連するドメインから見えないデータに対して有望な一般化能力を示す。 我々は、深層ニューラルネットワーク(DNN)から生成された学習特徴ベクトルの低ランク性と、カーネルリッジ回帰(KRR)で提供されるクローズドフォームソリューションを活用することで、この問題に対処する。 本手法は、教師あり半教師ありのトランスファー学習タスクにおいて成功している。
  論文  参考訳（メタデータ） (2020-06-11T20:21:35Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。