論文の概要: Graph In-Context Operator Networks for Generalizable Spatiotemporal Prediction
- arxiv url: http://arxiv.org/abs/2603.12725v1
- Date: Fri, 13 Mar 2026 07:16:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-16 17:38:11.961157
- Title: Graph In-Context Operator Networks for Generalizable Spatiotemporal Prediction
- Title（参考訳）: 一般化可能な時空間予測のためのグラフインコンテキスト演算子ネットワーク
- Authors: Chenghan Wu, Zongmin Yu, Boai Sun, Liu Yang,
- Abstract要約: コンテキスト内演算子学習により、ニューラルネットワークは、重み更新なしで、コンテキスト上の例からソリューション演算子を推論できる。
テキスト内演算子学習と古典演算子学習を、同じトレーニングステップとデータセットで比較する。
2つの中国地域での空気質予測実験により、コンテキスト内演算子学習は、複雑なタスクにおいて古典的演算子学習よりも優れていることが示された。
- 参考スコア（独自算出の注目度）: 7.305403535510848
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In-context operator learning enables neural networks to infer solution operators from contextual examples without weight updates. While prior work has demonstrated the effectiveness of this paradigm in leveraging vast datasets, a systematic comparison against single-operator learning using identical training data has been absent. We address this gap through controlled experiments comparing in-context operator learning against classical operator learning (single-operator models trained without contextual examples), under the same training steps and dataset. To enable this investigation on real-world spatiotemporal systems, we propose GICON (Graph In-Context Operator Network), combining graph message passing for geometric generalization with example-aware positional encoding for cardinality generalization. Experiments on air quality prediction across two Chinese regions show that in-context operator learning outperforms classical operator learning on complex tasks, generalizing across spatial domains and scaling robustly from few training examples to 100 at inference.
- Abstract（参考訳）: コンテキスト内演算子学習により、ニューラルネットワークは、重み更新なしで、コンテキスト上の例からソリューション演算子を推論できる。
これまでの研究では、このパラダイムが膨大なデータセットを活用する上で有効であることを示してきたが、同一のトレーニングデータを用いたシングルオペレーティング学習に対する体系的な比較は行われていない。
このギャップは、コンテキスト内演算子学習と古典的演算子学習(文脈実例なしで訓練された単一演算子モデル)を比較して、同じトレーニングステップとデータセットを用いて、制御された実験を通して解決する。
本稿では,グラフメッセージパッシングを幾何学的一般化に用いるGICON(Graph In-Context Operator Network)を提案する。
2つの中国地域での空気質予測実験により、コンテキスト内演算子学習は、複雑なタスクにおいて古典的演算子学習よりも優れ、空間領域をまたいで一般化し、少数のトレーニング例から100までしっかりとスケールすることを示した。
関連論文リスト
- Predicting Task Performance with Context-aware Scaling Laws [56.6850444554434]
本稿では、トレーニング計算と提供されたコンテキストの関数として、下流のパフォーマンスを協調的にモデル化する、単純かつ解釈可能なフレームワークを提案する。
我々は,Llama-2-7BおよびLlama-2-13Bの拡張コンテキスト変種について,観測された下流性能に適合させることで,我々の枠組みを実証的に検証した。
以上の結果から,我々のフレームワークは,配信中のダウンストリーム性能を正確にモデル化し,トレーニング計算において3桁の規模で一般化し,コンテキストの増大とともに性能を確実に外挿することを示す。
論文 参考訳（メタデータ） (2025-10-16T17:35:18Z) - In-context Learning in Presence of Spurious Correlations [8.055478206164105]
本研究では,突発的特徴を含む分類課題に対して,文脈内学習者を訓練する可能性について検討する。
従来の文脈内学習者の訓練手法は、刺激的な特徴に影響を受けやすいことが判明した。
与えられた分類タスクに対して,そのような学習者を訓練するための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-10-04T04:26:36Z) - Bayes' Power for Explaining In-Context Learning Generalizations [46.17844703369127]
本稿では、この時代のニューラルネットワークの振る舞いをより有用な解釈は、真の後部の近似であると論じる。
トレーニングデータから知識を効果的に構築することにより,モデルがコンテキスト内学習者に対して堅牢になることを示す。
論文 参考訳（メタデータ） (2024-10-02T14:01:34Z) - The mechanistic basis of data dependence and abrupt learning in an
in-context classification task [0.3626013617212666]
本研究では,言語固有の特定の分布特性が,2種類の学習のトレードオフや同時出現を制御していることを示す。
インコンテキスト学習は、誘導ヘッドの突然の出現によって駆動され、その後、インウェイト学習と競合する。
注意に基づくネットワークの急激な遷移は、ICLを実現するのに必要な多層演算の特定の連鎖によって生じると提案する。
論文 参考訳（メタデータ） (2023-12-03T20:53:41Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - Learning Operators with Coupled Attention [9.715465024071333]
本稿では,近年の注目機構の成功を動機とした,新しい演算子学習手法であるLOCAを提案する。
我々のアーキテクチャでは、入力関数は有限個の特徴にマッピングされ、その特徴は出力クエリの場所に依存する注意重みで平均化される。
これらの注意重みを積分変換と組み合わせることで、LOCAは目標出力関数の相関関係を明示的に学習することができる。
論文 参考訳（メタデータ） (2022-01-04T08:22:03Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Network Classifiers Based on Social Learning [71.86764107527812]
空間と時間に対して独立に訓練された分類器を結合する新しい手法を提案する。
提案したアーキテクチャは、ラベルのないデータで時間とともに予測性能を改善することができる。
この戦略は高い確率で一貫した学習をもたらすことが示され、未訓練の分類器に対して頑健な構造が得られる。
論文 参考訳（メタデータ） (2020-10-23T11:18:20Z) - Learning the Travelling Salesperson Problem Requires Rethinking
Generalization [9.176056742068813]
トラベリングセールスパーソン問題(TSP)のようなグラフ最適化問題に対するニューラルネットワークソルバのエンドツーエンドトレーニングは近年,関心が高まっている。
最先端の学習駆動アプローチは、自明に小さなサイズで訓練された場合、古典的な解法と密接に関係するが、実践的な規模で学習ポリシーを大規模に一般化することはできない。
この研究は、トレーニングで見られるものよりも大きいインスタンスへの一般化を促進する、原則化されたバイアス、モデルアーキテクチャ、学習アルゴリズムを特定するために、最近の論文を統一するエンドツーエンドのニューラルネットワークパイプラインを提示している。
論文 参考訳（メタデータ） (2020-06-12T10:14:15Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。