論文の概要: From Objectives to What Models Learn: A Landau Theory of Invariant Learning

• arxiv url: http://arxiv.org/abs/2608.09396v1
• Date: Mon, 10 Aug 2026 10:22:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.206336
• Title: From Objectives to What Models Learn: A Landau Theory of Invariant Learning
• Title（参考訳）: 目的からモデルへ:不変学習のランドー理論
• Abstract要約: 不変学習は環境全体にわたって予測的な表現を求めるが、正規化経路に沿った目的の振る舞いはしばしば不透明である。 表現学習を多モード磁化として捉え,具体的不変な学習目標から導出することにより,この目的-行動ギャップに対処する。 1層と2層のReLUネットワークでは、スケールの深さ依存的なシフトにもかかわらず、同じシグネチャが定性的正則化パスの挙動を予測し続けている。
• 参考スコア（独自算出の注目度）: 13.862849637472076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Invariant learning seeks representations that remain predictive across environments, yet the behavior of its objectives along the regularization path is often opaque. We address this objective-behavior gap by viewing representation learning as multimode magnetization and deriving, from concrete invariant-learning objectives, a Landau-type effective free energy whose low-order coefficients form objective signatures and induce distinct regularization phenotypes. Effective quadratic corrections move the phase boundary and enable finite-strength mode elimination; quartic corrections regulate post-onset amplitude and typically leave residual loading at finite strength; higher-order structure governs non-monotone tails, instability, and collapse at large regularization. In a canonical bilinear model, the theory yields closed-form phase boundaries and steady-state loadings, as well as distinct critical strengths for shortcut and stable modes that define a selective-retention window. Controlled experiments confirm the predicted phase boundaries, loadings, and regularization phenotypes. In one- and two-hidden-layer ReLU networks, the same signatures remain predictive of qualitative regularization-path behavior despite depth-dependent shifts in scale. A matrix extension generalizes the framework to coupled collective modes and yields a spectral phase-boundary criterion. Together, the framework turns low-order objective signatures into predictions of regularization phenotypes and, ultimately, of what models learn as regularization varies.
• Abstract（参考訳）: 不変学習は環境全体にわたって予測的な表現を求めるが、正規化経路に沿った目的の振る舞いはしばしば不透明である。 本研究では,多モード磁化としての表現学習と,低次係数が客観的なシグネチャを形成するランダウ型実効自由エネルギーの導出により,表現学習を多モード磁化として捉えることにより,この目標-行動ギャップに対処し,異なる正規化表現型を誘導する。 効果的な二次補正は位相境界を移動し、有限強度モードの除去を可能にする;クォート補正はポストオンセット振幅を規制し、通常有限強度で残留荷重を残す;高次構造は非モノトンテール、不安定性、大規模な正規化で崩壊する。 正準双線型モデルでは、この理論は閉形式位相境界と定常状態荷重、および選択保持窓を定義するショートカットモードと安定モードの異なる臨界強度をもたらす。 制御された実験は、予測された位相境界、負荷、正規化表現型を確認する。 1層と2層のReLUネットワークでは、スケールの深さ依存的なシフトにもかかわらず、同じシグネチャが定性的正則化パスの挙動を予測し続けている。 行列拡張は、フレームワークを結合された集合モードに一般化し、スペクトル位相境界基準を与える。 このフレームワークは、低次客観的シグネチャを正規化表現型の予測に変換し、最終的に、正規化によってモデルが学習するものは様々である。

関連論文リスト

• Finite-Sample Metric Non-Collapse for Geometrically Supervised Latent World Models in Control [0.0]
  非線形決定論系の幾何学的教師付き潜在モデルに対する有限サンプル学習制御理論を確立する。 本稿では,方向分解能と分離状態判別を強制するエンコーダのみの局所的計量ヒンジを提案する。 モジュラー決定論は、学習した証明書を軌跡、有限水平コスト、学習コストヘッド、および論理的保証に転送する一方、検証された有限ネットの結果は、よりシャープなモデル固有の認証を可能にする。
  論文  参考訳（メタデータ） (2026-08-07T14:25:33Z)
• GatedLinear: Adaptive Routing of Complementary Linear Bases for Time Series Forecasting [11.155508081323694]
  時系列予測は、様々な、しばしば相互排他的で時間的ダイナミクスを捉えるモデルを必要とする。 最近のディープラーニングモデルでは精度が向上しているが、通常はこれらの多様なパターンを単一の計算バックボーンで強制する。 GatedLinear - 相補的線形基底の適応的ルーティングとして予測をフレーム化する軽量フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-10T15:42:01Z)
• Predictable GRPO: A Closed-Form Model of Training Dynamics [1.0537323885285492]
  我々はこれらの力学の第一原理還元次モデルを開発する。 グループサイズは、ノイズ温度として、先行順に入力される。 3つのモデルと2つのグループサイズで、クローズドフォームの軌道はトレーニング報酬をR2 geq 0.91$に適合させる。
  論文  参考訳（メタデータ） (2026-06-29T18:19:09Z)
• Preventing the Breakdown of Tight-Binding Waveguide Optics by Löwdin Orthogonalization [0.0]
  単モードサブストラクチャのガイドモード間の結合を調べた結果,全光場のダイナミクスについて検討した。 非直交誘導モードから正規直交基底を構成するLwdin直交化に基づく改良TBフレームワークを提案する。 得られたLwdin-TB法は、標準固有値問題を復元し、正確なビーム伝搬シミュレーションと良好な一致を与える。
  論文  参考訳（メタデータ） (2026-05-29T09:43:07Z)
• Probability-Conserving Flow Guidance [49.03107678763765]
  Adaptive Manifold Guidance (AdaMaG)はリアリズムを改善し、幻覚を減らし、高誘導下での劣化を制御する。 画像生成ベンチマーク全体で、AdaMaGはリアリズムを改善し、幻覚を減らし、高誘導下での劣化を制御する。
  論文  参考訳（メタデータ） (2026-05-19T16:34:01Z)
• Explicit Dropout: Deterministic Regularization for Transformer Architectures [55.09895958546215]
  ドロップアウトはディープラーニングにおいて広く使われている正規化手法であるが、その効果は一般的にマスキングによって実現される。 トレーニング損失に直接組み込まれた加算正則化器としてドロップアウトを表現する決定論的定式化を提案する。
  論文  参考訳（メタデータ） (2026-04-22T12:45:51Z)
• Deep Sequence Modeling with Quantum Dynamics: Language as a Wave Function [0.0]
  学習時間依存ハミルトニアンの下で有限次元ヒルベルト空間上で進化する複素数値波動関数を潜在状態とするシーケンスモデリングフレームワークを導入する。 等級と相対位相を結合する2次測定演算子であるボルン則を用いて、トークン確率を抽出する。 我々は、潜在確率質量の連続性方程式を導出し、組込み診断として機能する対流を保存する。
  論文  参考訳（メタデータ） (2026-02-24T23:42:18Z)
• Gradients Must Earn Their Influence: Unifying SFT with Generalized Entropic Objectives [22.29000001610794]
  Supervised Fine-Tuning (SFT) の標準的な負の対数構造は、均一なトークンレベルの重み付けを適用する。 この剛性は2重の障害モードを生成する: (i)低確率目標を過度に強調することは、ノイズの監督の勾配を増幅し、頑健な事前を妨害し、 (ii)一様重み付けは、モデルが既に自信を持っているときに弱いシャープニングを与える。 既存の方法は可塑性の解決に失敗し、不安定なジレンマがしばしば有害なジレンマとともに必要な学習信号を抑圧する。 パラメータ自由度を変調する動的エントロピーファインチューニング(DEFT)を導入する。
  論文  参考訳（メタデータ） (2026-02-11T22:56:43Z)
• Random-Matrix-Induced Simplicity Bias in Over-parameterized Variational Quantum Circuits [72.0643009153473]
  本稿では,観測可能な期待値とパラメータ勾配の両方がシステムサイズに指数関数的に集中するHaar型普遍性クラスに,表現的変分アンサーゼが入ることを示す。 その結果、そのような回路によって誘導される仮説クラスは、近点関数の狭い族に高い確率で崩壊する。 テンソル-ネットワークベースおよびテンソル-ハイパーネットワークパラメータ化を含むテンソル構造VQCは、ハール型普遍性クラスの外にある。
  論文  参考訳（メタデータ） (2026-01-05T08:04:33Z)
• The Procrustean Bed of Time Series: The Optimization Bias of Point-wise Loss [53.542743390809356]
  本稿では,最適化バイアス(EOB)の期待に関する第一原理解析を提案する。 時間列が決定論的で構造化されるほど、ポイントワイドの損失関数によるバイアスがより厳しくなる。 本稿では,DFTとDWTの両原理を同時に実現する具体的ソリューションを提案する。
  論文  参考訳（メタデータ） (2025-12-21T06:08:22Z)
• Solving Inverse Problems with FLAIR [68.87167940623318]
  本稿では,フローベース生成モデルを逆問題に先立って活用する学習自由変分フレームワークFLAIRを提案する。 標準画像ベンチマークの結果、FLAIRは再現性やサンプルの多様性の観点から、既存の拡散法や流れ法よりも一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2025-06-03T09:29:47Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
  画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。 決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。 本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:20:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。