論文の概要: Structure, Dimensionality, and Distribution Shape - What Makes Pretraining Data Transferable, and Why the Input Pipeline Decides Which
- arxiv url: http://arxiv.org/abs/2611.04106v1
- Date: Tue, 03 Nov 2026 00:29:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 01:55:03.299211
- Title: Structure, Dimensionality, and Distribution Shape - What Makes Pretraining Data Transferable, and Why the Input Pipeline Decides Which
- Title(参考訳): 構造, 次元, 分布形状 - データの事前学習を可能にするもの, 入力パイプラインが決定する理由
- Abstract要約: コーパスは、その構造、次元、各単位の値の分布形状の3つの特性によって記述される。
移乗不変性原理(Transfer-Invariance Principle):同じ性質が1つの入力変換の下での移動とは無関係であり、もう1つの入力変換の下で決定的な性質を持つ。
- 参考スコア(独自算出の注目度): 3.1641441457189496
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: What makes a pretraining corpus transferable? We describe a corpus by three properties: its structure, its dimensionality, and the distribution shape of each unit's values. We propose the Transfer-Invariance Principle: the same property can be irrelevant to transfer under one input transform and decisive under another, so the model's input transform, not the data modality, decides which properties can matter. To test it we build TransferForge, a generator that places a synthetic population at any prescribed structure, dimensionality, and distribution shape. KernelSynth, the synthetic prior of Chronos, cannot, because it draws independent series. When the model standardizes each input window (PatchTST on UCR), the distribution shape is inert and the structural setting governs. Synthetic pretraining then matches a real corpus of the same size and exceeds it once scaled. When the model encodes calcium fluorescence signals without normalization (POYO Plus), the shape becomes a governing constraint, and a shape-matched synthetic corpus replaces real pretraining with zero real neural activity. Flipping only the input normalization, with the model and data fixed, changes the effect of a shape manipulation by a factor of 5.3, so the pipeline, not the modality, sets the switch. The principle yields a recipe that chooses what to synthesize before any training. Pretraining data then becomes something to manufacture for the model, most valuably where real data is scarce, expensive, or private.
- Abstract(参考訳): プレトレーニングコーパスの転送はなぜ可能か?
コーパスは、その構造、次元、各単位の値の分布形状の3つの特性によって記述される。
我々は、同じ特性が1つの入力変換の下で移動することとは無関係であり、別の入力変換で決定されるので、モデルの入力変換は、データモダリティではなく、どの特性が重要かを決定できる。
テストするためにTransferForgeという,任意の所定の構造,寸法,分布形状に合成人口を配置するジェネレータを構築しました。
クロノスの合成前駆体であるケルネルシンス(英語版)は、独立級数を引き出すため、不可能である。
モデルが各入力ウィンドウ(UCR上のPatchTST)を標準化すると、分布形状は不活性となり、構造的設定が支配される。
合成事前学習は、同じ大きさの実際のコーパスと一致し、かつてはスケールしていた。
モデルが正常化せずにカルシウム蛍光信号を符号化する(POYO Plus)と、形状は支配的制約となり、形状整合された合成コーパスは実際の事前学習をゼロの実際の神経活動に置き換える。
入力正規化のみをフリップすると、モデルとデータが固定され、5.3の因子による形状操作の効果が変化するため、パイプラインはモダリティではなくスイッチを設定する。
原則は、どんなトレーニングの前に何を合成するかを選択するレシピを与える。
データの事前トレーニングは、実際のデータが不足し、高価で、プライベートであるモデルのために製造されるものになります。
関連論文リスト
- The Quantum Shortcut: Complex Phase-State Dynamics Reduce the Optimization Steps of Sequence Models [0.0]
シーケンスモデルは、位置をまたいで情報をルーティングするメカニズムであるバックボーンによって区別される。
本論文は、バックボーンに先立って、ほぼ全ての現行モデルで共有される選択を異にする。
量子論の数学から引き出された複素値の代替法について検討し、そこでは状態の位相によって情報を伝達する。
論文 参考訳(メタデータ) (2026-08-07T15:12:36Z) - What Does a Discrete Diffusion Model Learn? [71.03603607324338]
離散拡散モデルは、デノイザ、スコア比、ブリッジプラグイン予測器などを学ぶ。
まず, 連続時間マルコフ連鎖 (CTMC) ELBO の任意のノイズ発生過程に対する厳密な導出から始める。
すべてのアイデンティティは、正確に解けるモデル上で近似なしで数値的に検証される。
論文 参考訳(メタデータ) (2026-07-06T17:56:11Z) - Data-Constrained Language Model Pretraining: Improved Regularization and Scaling Laws [41.26396818761427]
正規化とスケーリングという2つの軸に沿ったデータ制約付き事前学習について検討した。
モデルサイズとデータサイズを結合して、繰り返しデータの下でのインタラクションをキャプチャするスケーリング法則であるSoftQを提案する。
論文 参考訳(メタデータ) (2026-06-05T04:10:09Z) - Synthics: Synthetic Physics-like Datasets for Machine Learning [0.18275108630751835]
与えられた方程式コーパスから物理方程式に構造的に類似した合成回帰データセットを生成する。
生成された方程式は、研究された8つの構造的特徴の全てでコーパスと一致する。
合成データピックを調整した勾配式回帰器は、実データでは20個中6個目だ。
論文 参考訳(メタデータ) (2026-06-04T21:20:08Z) - Transformers learn factored representations [62.86679034549244]
トランスフォーマーは次のトークン予測を通じて事前訓練を受け、自分の世界を部品に分解する。
1) すべての因子の積空間における表現であり、その次元は成分の数とともに指数関数的に増加する。
我々は,部分空間の数,次元,文脈埋め込みの配置など,各活性化の幾何学的構造に関する正確な予測を導出する。
このことは、トランスフォーマーがなぜ世界を部品に分解するかを原理的に説明し、複雑なデータで訓練されたモデルでも解釈可能な低次元構造が持続する可能性があることを示唆している。
論文 参考訳(メタデータ) (2026-02-02T17:49:06Z) - Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。
入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
論文 参考訳(メタデータ) (2024-10-07T23:53:25Z) - OCD: Learning to Overfit with Conditional Diffusion Models [95.1828574518325]
入力サンプルxに重みを条件付けした動的モデルを提案する。
基本モデルを x とそのラベル y 上で微調整することで得られる重みに一致することを学習する。
論文 参考訳(メタデータ) (2022-10-02T09:42:47Z) - Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。
本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。
実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
論文 参考訳(メタデータ) (2021-07-07T11:43:59Z) - UnrealPerson: An Adaptive Pipeline towards Costless Person
Re-identification [102.58619642363959]
本稿では,unrealpersonという,非現実的な画像データをフル活用して,トレーニングとデプロイメントの両面でコストを削減する新しいパイプラインを提案する。
3,000のIDと12万のインスタンスで、MSMT17に直接転送されると38.5%のランク-1の精度が得られる。
論文 参考訳(メタデータ) (2020-12-08T08:15:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。