論文の概要: Learning and extrapolating scale-invariant processes

• arxiv url: http://arxiv.org/abs/2601.14810v1
• Date: Wed, 21 Jan 2026 09:35:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-22 21:27:50.317754
• Title: Learning and extrapolating scale-invariant processes
• Title（参考訳）: スケール不変過程の学習と外挿
• Authors: Anaclara Alvez-Canepa, Cyril Furtlehner, François Landes,
• Abstract要約: 地震や雪崩のような力の法則の振る舞いを示すプロセスは、どのようにして、どれくらいの程度でスケールフリーなプロセスが適用できるのかという問題に取り組む。 我々は、モデルの外挿能力を必要とするトレーニングセットにおける希少事象など、大きな事象を予測することに興味を持っている。
• 参考スコア（独自算出の注目度）: 3.331543293568139
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Machine Learning (ML) has deeply changed some fields recently, like Language and Vision and we may expect it to be relevant also to the analysis of of complex systems. Here we want to tackle the question of how and to which extent can one regress scale-free processes, i.e. processes displaying power law behavior, like earthquakes or avalanches? We are interested in predicting the large ones, i.e. rare events in the training set which therefore require extrapolation capabilities of the model. For this we consider two paradigmatic problems that are statistically self-similar. The first one is a 2-dimensional fractional Gaussian field obeying linear dynamics, self-similar by construction and amenable to exact analysis. The second one is the Abelian sandpile model, exhibiting self-organized criticality. The emerging paradigm of Geometric Deep Learning shows that including known symmetries into the model's architecture is key to success. Here one may hope to extrapolate only by leveraging scale invariance. This is however a peculiar symmetry, as it involves possibly non-trivial coarse-graining operations and anomalous scaling. We perform experiments on various existing architectures like U-net, Riesz network (scale invariant by construction), or our own proposals: a wavelet-decomposition based Graph Neural Network (with discrete scale symmetry), a Fourier embedding layer and a Fourier-Mellin Neural Operator. Based on these experiments and a complete characterization of the linear case, we identify the main issues relative to spectral biases and coarse-grained representations, and discuss how to alleviate them with the relevant inductive biases.
• Abstract（参考訳）: 機械学習(ML)は最近、LanguageやVisionといったいくつかの分野を深く変えています。 ここでは、スケールフリーなプロセス、すなわち地震や雪崩のような力の法則的な振る舞いを示すプロセスをどのように、どの程度の程度で維持できるのかという問題に取り組みたい。 我々は、モデルの外挿能力を必要とするトレーニングセットにおける希少事象など、大きな事象を予測することに興味を持っている。 このため、統計的に自己相似な2つのパラダイム的問題を考察する。 1つは線型力学に従う2次元分数体ガウス場であり、構成によって自己相似であり、正確な解析が可能である。 2つ目はアベリアのサンドパイルモデルで、自己組織的臨界を示す。 Geometric Deep Learningの新たなパラダイムは、モデルアーキテクチャに既知の対称性を含めることが成功の鍵であることを示している。 ここでは、スケール不変性を活用することでのみ、外挿を希望するかもしれない。 しかし、これは特異な対称性であり、非自明な粗粒の演算や異常なスケーリングを含む。 我々は、U-net、Riesz Network(構築によるスケール不変量)、あるいはウェーブレット分解に基づくグラフニューラルネットワーク(離散スケール対称性を持つ)、フーリエ埋め込み層、フーリエ-メリンニューラルネットワーク演算子といった既存のアーキテクチャの実験を行う。 これらの実験と線形ケースの完全な評価に基づいて、スペクトルバイアスと粗粒度表現の主な問題を特定し、関連する帰納的バイアスを緩和する方法について議論する。

関連論文リスト

• Disordered Dynamics in High Dimensions: Connections to Random Matrices and Machine Learning [52.26396748560348]
  ランダム行列によって駆動される高次元力学系について概説する。 機械学習理論における学習と一般化の単純なモデルへの応用に焦点を当てる。
  論文  参考訳（メタデータ） (2026-01-03T00:12:32Z)
• Scaling Laws and Symmetry, Evidence from Neural Force Fields [14.109815254143205]
  アーキテクチャに依存した指数によるデータ、パラメータ、計算について、明確なパワールールのスケーリング動作を示します。 特に、タスク対称性を利用する同変アーキテクチャは、非同変モデルよりもスケールが優れていることを観察する。 我々の分析は、計算最適トレーニングでは、データサイズとモデルサイズはアーキテクチャに関わらず、瞬時にスケールする必要があることを示唆している。
  論文  参考訳（メタデータ） (2025-10-10T18:22:00Z)
• Bayesian Double Descent [0.0]
  ディープニューラルネットワークはリスク関数に再帰性を持つことを示す。 モデルの複雑さが増加するにつれて、リスクはU字型の領域を示す。 パラメータの数が観測数と等しくなると、モデルはリスクを非バウンドにできるものの1つとなり、再帰する。
  論文  参考訳（メタデータ） (2025-07-09T23:47:26Z)
• Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
  驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。 以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。 我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。 この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
  論文  参考訳（メタデータ） (2025-06-28T01:46:36Z)
• Analyzing Deep Transformer Models for Time Series Forecasting via Manifold Learning [4.910937238451485]
  トランスフォーマーモデルは、自然言語処理やコンピュータビジョンといった様々な領域において、一貫して顕著な成果を上げてきた。 これらのモデルをよりよく理解するための継続的な研究努力にもかかわらず、この分野はいまだに包括的な理解を欠いている。 画像やテキスト情報とは異なり、時系列データは解釈し分析することがより困難である。
  論文  参考訳（メタデータ） (2024-10-17T17:32:35Z)
• From system models to class models: An in-context learning paradigm [0.0]
  本稿では,1段階の予測と複数段階のシミュレーションという2つの主要な課題に対処する,システム識別のための新しいパラダイムを提案する。 動的システムのクラスを表すメタモデルを学ぶ。 一段階の予測では、GPTのようなデコーダのみのアーキテクチャを使用し、シミュレーション問題ではエンコーダ-デコーダ構造を用いる。
  論文  参考訳（メタデータ） (2023-08-25T13:50:17Z)
• Learning Physical Dynamics with Subequivariant Graph Neural Networks [99.41677381754678]
  グラフニューラルネットワーク(GNN)は、物理力学を学習するための一般的なツールとなっている。 物理法則は、モデル一般化に必須な帰納バイアスである対称性に従属する。 本モデルは,RigidFall上でのPhysylonと2倍低ロールアウトMSEの8つのシナリオにおいて,平均3%以上の接触予測精度の向上を実現している。
  論文  参考訳（メタデータ） (2022-10-13T10:00:30Z)
• Perspective: A Phase Diagram for Deep Learning unifying Jamming, Feature Learning and Lazy Training [4.318555434063275]
  ディープラーニングアルゴリズムは、画像認識やgoプレイなど、さまざまなタスクにおける技術革命の責任を負う。 しかし、なぜ働くのかは分かっていない。 最終的に、彼らは高い次元に横たわるデータを分類することに成功しました。 我々は、異なる学習体制をフェーズダイアグラムにまとめることができると論じる。
  論文  参考訳（メタデータ） (2020-12-30T11:00:36Z)
• Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
  半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
  論文  参考訳（メタデータ） (2020-03-02T16:40:36Z)
• Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
  画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。 そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。 画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
  論文  参考訳（メタデータ） (2020-02-18T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。