論文の概要: A JEPA Recipe for Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2609.25541v1
• Date: Tue, 22 Sep 2026 01:18:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.168688
• Title: A JEPA Recipe for Tabular Foundation Models
• Title（参考訳）: タブラル基礎モデルのためのJEPAレシピ
• Abstract要約: 共同埋め込み予測アーキテクチャ(JEPA)のレシピを示す。 アーム毎に1回の実行で、JEPAアームは147の実際のデータセットに価値のみのアームをパスする。 JEPAアームは価値のみのアーム(ds)の1.42倍のステップと壁面時計の1.66倍のステップを必要とする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular foundation models learn to predict cell values in context, whereas world-model self-supervision asks for prediction in representation space (LeCun, 2022; Assran et al., 2023). On a tabular foundation-model prior, the latent term of a joint-embedding predictive architecture (JEPA) collapsed in our earlier runs and took the encoder with it to a constant map. We report a recipe under which the latent term survives to convergence beside the value objective: the value head reads the encoder field rather than the predictor, and the target is an exponential moving average (EMA) difference. To bound its cost against the value-only arm, both arms train until a plateau rule stops them, with no fixed step budget. A fixed horizon had confounded a slowdown with a ceiling, since the value-only arm was still improving well past the usual budget. At convergence, in one run per arm, the JEPA arm trails the value-only arm across 147 real datasets, 32:70 wins to losses on classification (29:63 with one entry per dataset name) and 8:24 on regression, the margin small on classification and wider on regression, and the count leans the same way in each stratum and each benchmark. The JEPA arm (jepa) needs 1.42 times as many steps as the value-only arm (ds), and 1.66 times its wall-clock, to reach its plateau.
• Abstract（参考訳）: タブラル基礎モデルは文脈における細胞価値の予測を学習するが、世界モデル自己スーパービジョンは表現空間における予測を求める(LeCun, 2022; Assran et al , 2023)。 前述した表形式の基盤モデルでは,JEPA(Command-embedding predictive Architecture)の潜伏期間が,私たちの初期の作業で崩壊し,エンコーダを一定のマップに導いた。 本稿では,値ヘッドが予測値ではなくエンコーダフィールドを読み出し,目標が指数移動平均(EMA)差であることを示す。 価値のみの腕に費用を掛け合わせるため、両腕は固定ステップの予算なしで高原の規則が効くまで訓練する。 固定水平線は、価値のみのアームが通常の予算よりも良く改善されていたため、天井と共に減速を固めていた。 収束すると、JEPAアームは147の実際のデータセットにまたがって値のみのアームをパスし、32:70は分類上の損失(データセット名毎に1つのエントリを持つ29:63)、8:24は回帰、分類上のマージンは小さく、回帰時の差は大きい。 JEPAアーム(jepa)は価値のみのアーム(ds)の1.42倍のステップと壁面時計の1.66倍のステップを必要とする。

関連論文リスト

• SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
  Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。 我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
  論文  参考訳（メタデータ） (2026-08-23T10:41:07Z)
• Orthogonal JEPA: Factorized Predictive States for Latent World Models [95.20158869896393]
  予測因数分解に基づく潜在的世界モデリングフレームワークであるメソッドを導入する。 そこで本研究では,予測構造を弱め,あるいは矛盾する勾配を抑えつつ,冗長なキャパシティを支配的信号に割り当てる手法を提案する。 制御された視覚、単細胞転写学、縦断的な健康記録、連続的な制御、分子動力学の実験は、表現品質、予測、計画、長期安定性を評価する。
  論文  参考訳（メタデータ） (2026-08-20T13:59:57Z)
• The Objective Is the Bottleneck: Latent World Models Encode What Their Planners Cannot Use [0.0]
  長い地平線で計画が失敗すると、自然読影器は劣化する。 代わりに、バインディング制約がプランナーの目的であることを示す。 横-エントロピー・メソド計画ミニミセス2乗潜距離
  論文  参考訳（メタデータ） (2026-08-13T08:43:54Z)
• RynnValue: Scaling Robotic Value Foundation Models with Temporal Distance [84.26294415726723]
  汎用報酬モデルが、ロボット学習のスケーリングのボトルネックになりつつある。 ロボット操作のためのオープンソースのバリューファンデーションモデルであるRynnValueを紹介した。 RynnValueは7000時間以上、好みやプログレッシブアノテーションなしで約3Mの命令条件付きクリップにスケールする。
  論文  参考訳（メタデータ） (2026-08-10T17:09:37Z)
• Covariance Last-Layer Ensembles: Function-Space Diversity for Efficient Uncertainty Quantification [0.8803840644459077]
  Cov-LLEは、ウェイト・オルソノーマル性が不可能な関数空間の多様性を復元し、マッチした$K$は深いアンサンブルの多様性と校正の多くを回復する。 OCを最終層アンサンブルと見なすと、検出器を2軸の分類に整理する。
  論文  参考訳（メタデータ） (2026-07-26T21:56:02Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
  JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。 自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。 我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
  論文  参考訳（メタデータ） (2026-05-14T20:27:32Z)
• Geometric Properties of the Voronoi Tessellation in Latent Semantic Manifolds of Large Language Models [0.0]
  Qwen3.5-4B-Base上での表現多様体上のボロノイテッセルレーション ヴォロノワ・テッセルレーションはマージンリファインメント法により緩和可能であることを示す。
  論文  参考訳（メタデータ） (2026-04-08T07:36:04Z)
• LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels [49.35636088613484]
  JEPA(Joint Embedding Predictive Architectures)は、コンパクトな潜在空間で世界モデルを学習するための魅力的なフレームワークを提供する。 最初のJEPAであるLeModelWorldを紹介します。 数時間で1つのGPU上で15万のパラメータをトレーニングできるため、LeWMはファンデーションモデルベースの世界モデルよりも48倍高速に計画している。
  論文  参考訳（メタデータ） (2026-03-13T19:48:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。