論文の概要: Mesh-Native Tokenisation: Retrofitting Foundation Models to Unstructured Data
- arxiv url: http://arxiv.org/abs/2610.12618v1
- Date: Thu, 08 Oct 2026 18:37:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.250703
- Title: Mesh-Native Tokenisation: Retrofitting Foundation Models to Unstructured Data
- Title（参考訳）: Mesh-Native Tokenisation: ファンデーションモデルを非構造化データに再適合させる
- Abstract要約: 我々は、非構造化データをCNNに類似した方法でエンコードするローカリティ対応のトークン化層を導入する。
このトークン化手法は,非構造メッシュ上でのグリッド予測基盤モデルの効率向上に有効であることを示す。
- 参考スコア（独自算出の注目度）: 0.35213072895168823
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Physics foundation models are an increasingly popular approach for building versatile emulators for spatiotemporal systems. They require tokenisation layers that lift physical field data into a latent representation suitable for dynamic processing. A typical choice for this layer is a convolutional encoder, which lifts field information in a locality-aware way and can be trained very efficiently. However, this choice cannot be applied to a large class of scientific computing problems where data are represented on unstructured meshes, for example simulations on domains with curved boundaries. Such data typically require graph neural network architectures, which are more expensive to train and, in the form currently used, encode information differently from their CNN counterparts, thus limiting the portability of physics emulators between these data regimes. In this work we introduce Mesh-Native Convolution (MNC), a locality-aware tokenisation layer that encodes unstructured mesh-based data in a way that is analogous to CNNs. This approach leads to models that can be trained once on mesh data and then deployed to arbitrary unstructured meshes, even if these are irregular, with minimal retraining. We show that this tokenisation approach can be used to retrofit grid-pretrained foundation models efficiently on unstructured meshes and provide theoretical results to confirm the consistency of this approach with classical CNN encoders. We demonstrate the favourable performance of this retrofitting approach, which in many cases reaches acceptable accuracy even in zero-shot deployment, and outperforms existing baselines after only a few epochs of fine-tuning, thus providing an efficient bridge between the two data regimes.
- Abstract（参考訳）: 物理基礎モデルは、時空間系のための多用途エミュレータを構築するために、ますます一般的なアプローチである。
それらは、物理フィールドデータを動的処理に適した潜在表現に上げるトークン層を必要とする。
このレイヤの典型的な選択は畳み込みエンコーダであり、局所性を認識したフィールド情報を持ち上げ、非常に効率的に訓練することができる。
しかし、この選択は、非構造化メッシュ上にデータが表現される、例えば湾曲した境界を持つ領域のシミュレーションのような、大規模な科学計算問題には適用できない。
このようなデータは通常、トレーニングにコストがかかるグラフニューラルネットワークアーキテクチャを必要とし、現在の形式では、CNNと異なる情報をエンコードすることで、これらのデータ構造間の物理エミュレータのポータビリティを制限している。
この作業では、非構造化メッシュベースのデータをCNNに似た方法でエンコードする、ローカリティ対応のトークン層であるMesh-Native Convolution(MNC)を紹介します。
このアプローチは、メッシュデータ上で一度トレーニングされ、任意の非構造化メッシュにデプロイされるモデルにつながります。
このトークン化手法は,非構造メッシュ上でのグリッド予測基礎モデルの効率向上と,従来のCNNエンコーダによるこのアプローチの整合性検証に有効であることを示す。
本手法は,ゼロショット配置においても許容精度を達成し,数回の微調整の後に既存のベースラインを上回り,二つのデータ構造間の効率的なブリッジを提供する。
関連論文リスト
- Quantifying and Inducing Shape Bias in CNNs via Max-Pool Dilation [0.9176056742068813]
畳み込みニューラルネットワーク(CNN)は強いテクスチャバイアスを示し、グローバルな形状情報よりも局所的なパターンを好むことが知られている。
構造類似度指数(SSIM)の計算によりデータセットの形状・テクスチャバランスを定量化するデータ駆動計量を提案する。
本稿では,畳み込み重みを凍結したまま最大プール演算のディレーションを変更することにより,形状バイアスを促進する計算効率のよい適応法を提案する。
論文 参考訳（メタデータ） (2026-01-09T07:36:29Z) - Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。
NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。
我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
論文 参考訳（メタデータ） (2025-09-22T15:13:14Z) - Fusing CFD and measurement data using transfer learning [49.1574468325115]
本稿では,伝送学習によるシミュレーションと計測データを組み合わせたニューラルネットワークに基づく非線形手法を提案する。
最初のステップでは、ニューラルネットワークがシミュレーションデータに基づいてトレーニングされ、分散量の空間的特徴を学習する。
第2のステップは、ニューラルネットワークモデル全体の小さなサブセットを再トレーニングするだけで、シミュレーションと測定の間の体系的なエラーを修正するために、測定データ上での変換学習である。
論文 参考訳（メタデータ） (2025-07-28T07:21:46Z) - Private Training & Data Generation by Clustering Embeddings [74.00687214400021]
差分プライバシー(DP)は、個々のデータを保護するための堅牢なフレームワークを提供する。
本稿では,DP合成画像埋め込み生成のための新しい原理的手法を提案する。
経験的に、合成的に生成された埋め込みに基づいて訓練された単純な2層ニューラルネットワークは、最先端(SOTA)分類の精度を達成する。
論文 参考訳（メタデータ） (2025-06-20T00:17:14Z) - Adaptable Embeddings Network (AEN) [49.1574468325115]
我々はカーネル密度推定(KDE)を用いた新しいデュアルエンコーダアーキテクチャであるAdaptable Embeddings Networks (AEN)を紹介する。
AENは、再トレーニングせずに分類基準のランタイム適応を可能にし、非自己回帰的である。
アーキテクチャのプリプロセスとキャッシュ条件の埋め込み能力は、エッジコンピューティングアプリケーションやリアルタイム監視システムに最適である。
論文 参考訳（メタデータ） (2024-11-21T02:15:52Z) - Mean flow data assimilation using physics-constrained Graph Neural Networks [0.0]
本研究では,グラフニューラルネットワーク(GNN)と最適化手法を統合し,平均流路復元の精度を高める新しいデータ同化手法を提案する。
GNNフレームワークは非構造化データを扱うのに適しており、計算流体力学(CFD)で遭遇する複雑な測地に共通している。
その結果,データ駆動モデルに類似するモデルと比較して,訓練データに制限がある場合でも,平均フロー再構成の精度は著しく向上した。
論文 参考訳（メタデータ） (2024-11-14T14:31:52Z) - Interpretable A-posteriori Error Indication for Graph Neural Network Surrogate Models [0.0]
本稿では,グラフニューラルネットワーク(GNN)の解釈可能性向上手法を提案する。
最終結果は、予測タスクに本質的に関連付けられたサブグラフに対応する物理空間内の領域を分離する解釈可能なGNNモデルである。
解釈可能なGNNは、推論中に予測される予測エラーの大部分に対応するグラフノードを特定するためにも使用できる。
論文 参考訳（メタデータ） (2023-11-13T18:37:07Z) - Privacy-preserving machine learning with tensor networks [37.01494003138908]
テンソルネットワークアーキテクチャは、特にプライバシー保護機械学習に期待できる特性を持つことを示す。
まず、フィードフォワードニューラルネットワークに存在する新たなプライバシ脆弱性を説明し、それを合成および実世界のデータセットで説明する。
このような条件がテンソルネットワークアーキテクチャによって満たされていることを厳密に証明する。
論文 参考訳（メタデータ） (2022-02-24T19:04:35Z) - Understanding Dynamics of Nonlinear Representation Learning and Its
Application [12.697842097171119]
暗黙的非線形表現学習のダイナミクスについて検討する。
我々は,データ構造アライメント条件がグローバル収束に十分であることを示す。
我々はデータ構造アライメント条件を満たす新しいトレーニングフレームワークを作成した。
論文 参考訳（メタデータ） (2021-06-28T16:31:30Z) - Neural Subdivision [58.97214948753937]
本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。
すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。
単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
論文 参考訳（メタデータ） (2020-05-04T20:03:21Z) - Causality-aware counterfactual confounding adjustment for feature
representations learned by deep models [14.554818659491644]
因果モデリングは機械学習(ML)における多くの課題に対する潜在的な解決策として認識されている。
深層ニューラルネットワーク(DNN)モデルによって学習された特徴表現を分解するために、最近提案された対実的アプローチが依然として使われている方法について説明する。
論文 参考訳（メタデータ） (2020-04-20T17:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。