論文の概要: In-Context Multi-Operator Learning with DeepOSets

• arxiv url: http://arxiv.org/abs/2512.16074v1
• Date: Thu, 18 Dec 2025 01:48:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-19 18:10:31.870653
• Title: In-Context Multi-Operator Learning with DeepOSets
• Title（参考訳）: DeepOSetsを用いたインコンテキストマルチオペレータ学習
• Authors: Shao-Ting Chiu, Aditya Nambiar, Ali Syed, Jonathan W. Siegel, Ulisses Braga-Neto,
• Abstract要約: In-context Learning(ICL)は、いくつかの機械学習モデルによって、追加の重み付けをすることなく、プロンプト内の例から学習する注目すべき機能である。 DeepOSetsは、DeepSetsアーキテクチャによるセットラーニングとDeepONetsによるオペレータラーニングを組み合わせた、非自律的で非アテンションベースのニューラルアーキテクチャである。
• 参考スコア（独自算出の注目度）: 8.11207891651152
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In-context Learning (ICL) is the remarkable capability displayed by some machine learning models to learn from examples in a prompt, without any further weight updates. ICL had originally been thought to emerge from the self-attention mechanism in autoregressive transformer architectures. DeepOSets is a non-autoregressive, non-attention based neural architecture that combines set learning via the DeepSets architecture with operator learning via Deep Operator Networks (DeepONets). In a previous study, DeepOSets was shown to display ICL capabilities in supervised learning problems. In this paper, we show that the DeepOSets architecture, with the appropriate modifications, is a multi-operator in-context learner that can recover the solution operator of a new PDE, not seen during training, from example pairs of parameter and solution placed in a user prompt, without any weight updates. Furthermore, we show that DeepOSets is a universal uniform approximator over a class of continuous operators, which we believe is the first result of its kind in the literature of scientific machine learning. This means that a single DeepOSets architecture exists that approximates in-context any continuous operator in the class to any fixed desired degree accuracy, given an appropriate number of examples in the prompt. Experiments with Poisson and reaction-diffusion forward and inverse boundary-value problems demonstrate the ability of the proposed model to use in-context examples to predict accurately the solutions corresponding to parameter queries for PDEs not seen during training.
• Abstract（参考訳）: In-context Learning(ICL)は、いくつかの機械学習モデルによって、追加の重み付けをすることなく、プロンプト内の例から学習する注目すべき機能である。 ICLはもともと、自己回帰型トランスフォーマーアーキテクチャにおける自己保持機構から生まれたと考えられていた。 DeepOSetsは、DeepSetsアーキテクチャによるセットラーニングとDeep Operator Networks (DeepONets)によるオペレータラーニングを組み合わせた、非自己回帰的で非アテンションベースのニューラルアーキテクチャである。 前回の研究では、DeepOSetsは教師付き学習問題におけるICL機能を示すことを示した。 本稿では、DeepOSetsアーキテクチャが、適切な修正を加えて、トレーニング中に見えない新しいPDEのソリューション演算子を、重み更新なしでユーザプロンプトに配置されたパラメータとソリューションのペアから復元できるマルチオペレータインコンテキスト学習者であることを示す。 さらに、DeepOSetsは連続演算子のクラスに対する普遍的な一様近似であり、科学機械学習の文献におけるその種の最初の結果であると考えている。 これは、1つのDeepOSetsアーキテクチャが存在し、クラスの任意の連続演算子を任意の固定された所望の精度に近似することを意味する。 Poissonと反応拡散の前方および逆境界値問題を用いた実験は、トレーニング中に見られないPDEのパラメータクエリに対応する解を正確に予測するために、提案モデルがコンテキスト内例を使用する能力を示している。

関連論文リスト

• DeepOSets: Non-Autoregressive In-Context Learning with Permutation-Invariance Inductive Bias [11.62236892910114]
  In-context Learning(ICL)は、いくつかの機械学習モデルによって、モデルパラメータの更新なしに学習できる注目すべき能力である。 本稿では、ICLが非自己回帰型ニューラルアーキテクチャにおいて、ハードコードな置換不変分散帰納バイアスで現れることを実証する。 本稿では、置換不変回帰学習演算子を表現し、DeepOSetsが演算子のクラスの普遍近似子であることを証明する。
  論文  参考訳（メタデータ） (2024-10-11T23:07:19Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• NNsight and NDIF: Democratizing Access to Open-Weight Foundation Model Internals [58.83169560132308]
  NNsightとNDIFを導入し、非常に大きなニューラルネットワークによって学習された表現と計算の科学的研究を可能にする。
  論文  参考訳（メタデータ） (2024-07-18T17:59:01Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Improved architectures and training algorithms for deep operator networks [0.0]
  演算子学習技術は無限次元バナッハ空間間の写像を学習するための強力なツールとして登場した。 我々は,ニューラルタンジェントカーネル(NTK)理論のレンズを用いて,ディープオペレータネットワーク(DeepONets)のトレーニングダイナミクスを解析した。
  論文  参考訳（メタデータ） (2021-10-04T18:34:41Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。