論文の概要: Is spectral predictability enough? Testing Ω-matching for synthetic pretraining under distribution shift
- arxiv url: http://arxiv.org/abs/2610.30802v1
- Date: Thu, 22 Oct 2026 06:27:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.237107
- Title: Is spectral predictability enough? Testing Ω-matching for synthetic pretraining under distribution shift
- Title（参考訳）: スペクトル予測性は十分か?分布シフト下での合成プレトレーニングのためのΩマッチング試験
- Abstract要約: 制御された設定では$$ matchingが役立ちますが、ソース間の転送を予測するには不十分です。
我々は、ソース選択基準が考慮すべき追加の信号特性について論じる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Synthetic pretraining under distribution shift requires deciding what synthetic data to use. A natural criterion is to match the spectral predictability $Ω$ of the source to the target, but is $Ω$ sufficient? We test this hypothesis, which we call predictability-aware pretraining, across three architectures (LSTM, PatchTST, TCN) and three seeds. Under ideal synthetic-to-synthetic conditions, $Ω$-matched pretraining can outperform even an oracle baseline (+46.8% MSE reduction, LSTM), though the benefit is already architecture-dependent. On the real-world ETTm1 benchmark, however, this relationship does not hold: sine-plus-noise pretraining at matched $Ω$ yields only a marginal mean improvement +2.3% averaged over all three architectures, up to +65.5% on individual channels), whereas $Ω$ matched chaotic ODE trajectories systematically degrade performance -13.2%). The two sources agree on the direction of transfer for only 53% of configurations across all three architectures (Pearson r=-0.02), indicating that $Ω$ carries little information about which source will transfer beneficially. We further observe an architecture-dependent asymmetry in the response to the direction of the $Ω$ gap. We conclude that $Ω$ matching can help in controlled settings but is not sufficient to predict transfer across sources, and we discuss additional signal properties that a source-selection criterion may need to consider.
- Abstract（参考訳）: 分散シフト下での合成事前トレーニングでは、どの合成データを使用するかを決定する必要がある。
自然な基準は、ソースのスペクトル予測可能性$Ω$をターゲットに合わせることであるが、$Ω$は十分か?
この仮説は,3つのアーキテクチャ(LSTM, PatchTST, TCN)と3つのシードに対して,予測可能性を考慮した事前学習(pretraining)と呼ばれる。
理想的な合成合成条件下では、$Ω$-matched Pretrainingは、既にアーキテクチャに依存しているにもかかわらず、オラクルベースライン(+46.8% MSE 還元、LSTM)よりも優れている。
しかし、実世界のETTm1ベンチマークでは、この関係は成り立たない: 適合した$Ω$でのシネプラスノイズプレトレーニングは、3つのアーキテクチャで平均2.3%、個々のチャネルで+65.5%まで、限界平均改善+2.3%、体系的に性能を劣化させる$Ω$マッチしたODEトラジェクトリは13.2%である。
2つの情報源は、すべての3つのアーキテクチャ(ピアソン r=-0.02)にまたがる構成のわずか53%で転送の方向について合意しており、$Ω$はどのソースが有益に転送されるかについてはほとんど情報を持たないことを示している。
さらに、$Ω$ギャップの向きに対するアーキテクチャ依存的な非対称性を観察する。
我々は、$Ω$マッチングは制御された設定で有効であるが、ソース間の転送を予測するには十分ではないと結論し、ソース選択基準を検討する必要があるかもしれない追加の信号特性について議論する。
関連論文リスト
- Multi-Modal Spatio-Temporal Graph Neural Network with Mixture of Experts for Soil Organic Carbon Prediction [0.0]
既存のアプローチでは、手作りのコモーダルを古典的なMLとペアリングするか、豊富なスペクトルと時間情報を見逃す単一モードのディープモデルである。
本稿では,SpTGNNとグリッドベースアーキテクチャの両方に対処するマルチテンポラルグラフニューラルネットワークであるSpTG-NNを紹介する。
微調整されたTerraMindエンコーダは、Sentinel-2、Sentinel-1、DEM信号からノード特徴を抽出する。
論文 参考訳（メタデータ） (2026-06-15T11:25:38Z) - The Deterministic Horizon: When Extended Reasoning Fails and Tool Delegation Becomes Necessary [13.891522069967507]
拡張連鎖推論は決定論的状態追跡タスクのパフォーマンスを低下させる。
ツール統合推論がニューラル・チェーン・オブ・シントを一貫して上回ることを示す。
本研究は, エージェントシステムにおいて, 純粋なニューラル推論がハイブリッドアプローチにいつ適用されるべきかについて, 基本的ガイダンスを提供する。
論文 参考訳（メタデータ） (2026-05-29T21:35:23Z) - Convergence Theory for Iterative LLM-Based Neural Architecture Search: A Parametric Cross-Entropy Framework with Closed-Form Proxy Reliability [48.83701310501069]
大規模言語モデル(LLM)は、反復型ニューラルアーキテクチャサーチ(NAS)におけるジェネレータとしてますます使われている。
我々は,LCM-NASを,実行可能プログラム上でのパラメトリッククロスエントロピー(CE)法としてモデル化する。
我々は,(1)エリートアーキテクチャの反復LEM微調整は,LLMファミリーに制限されたCE更新と同等であり,(2)期待されるアーキテクチャ品質はサイクル毎に単調に低下せず,(3)エリートセットの確率は幾何率で一定点に収束する,という6つの結果を示した。
論文 参考訳（メタデータ） (2026-05-28T15:45:19Z) - Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。
自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。
我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
論文 参考訳（メタデータ） (2026-05-14T20:27:32Z) - What Do EEG Foundation Models Capture from Human Brain Signals? [64.48249643001402]
現代の脳波基礎モデルは、自己教師付き事前訓練を通じて生信号から直接学習する。
我々は3つのサブクエストに分解する: モデルが何を学習するか、モデルを何に使用するのか、そしてどのように説明できるのか。
3つの基礎モデル(CSBrain, CBraMod, LaBraM),5つの臨床タスク(MDD, Stress, ISRUC-Sleep, TUSL, Siena)と6ファミリー63機能レキシコンを含む。
論文 参考訳（メタデータ） (2026-05-12T01:57:53Z) - Minimax Optimality and Spectral Routing for Majority-Vote Ensembles under Markov Dependence [6.908972852063454]
主要声楽アンサンブルは、多種多様なほぼ独立した基礎学習者に対して平均化することにより、ばらつきの低減を実現する。
固定次元マルコフ集合における離散的な分類のために、この現象のミニマックス的特徴付けを行う。
合成マルコフ連鎖、2次元空間格子、128データセットのUCRアーカイブ、アタリDQNアンサンブルに関する実験は、理論的な予測を検証している。
論文 参考訳（メタデータ） (2026-04-15T02:32:30Z) - Constructive Lyapunov Functions via Topology-Preserving Neural Networks [0.0]
ONNは収束率、エッジ効率、計算複雑性の順序-最適性能を達成する。
3Mノードのセマンティックネットワークにおける実証的な検証は、ベースライン法よりも99.75%改善されている。
ORTSFをトランスに組み込むことで、14.7%のパープレキシティ低減と2.3の高速化を実現している。
論文 参考訳（メタデータ） (2025-10-10T17:46:52Z) - Predicting the Stability of Hierarchical Triple Systems with
Convolutional Neural Networks [68.8204255655161]
本稿では,階層型三重項の安定性を予測する畳み込みニューラルネットワークモデルを提案する。
すべてのトレーニングされたモデルは公開されており、純粋な$N$-bodyメソッドよりも200ドルの速さで階層的な3重システムの安定性を予測することができる。
論文 参考訳（メタデータ） (2022-06-24T17:58:13Z) - Permutation Compressors for Provably Faster Distributed Nonconvex
Optimization [68.8204255655161]
本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。
MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
論文 参考訳（メタデータ） (2021-10-07T09:38:15Z) - Asynchronous Advantage Actor Critic: Non-asymptotic Analysis and Linear
Speedup [56.27526702716774]
本稿では、A3CアルゴリズムをTD(0)で修正し、A3C-TD(0)と呼ばれ、証明可能な収束を保証する。
i.i.d.
サンプリング a3c-td(0) は、作業者あたり $mathcalo(epsilon-2.5/n)$ のサンプル複雑性を取得して $epsilon$ 精度を達成する。
2 に対して $mathcalO(epsilon-2.5/N)$ の最もよく知られたサンプル複雑性との比較
論文 参考訳（メタデータ） (2020-12-31T09:07:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。