論文の概要: Phase Transitions in Learning Driven by Extremal Data

• arxiv url: http://arxiv.org/abs/2610.29531v1
• Date: Wed, 21 Oct 2026 10:22:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.312519
• Title: Phase Transitions in Learning Driven by Extremal Data
• Title（参考訳）: 極データによる学習の相転移
• Abstract要約: 本稿では,複数インスタンス学習(MIL)の例として,バッグと呼ばれるマルチセットとして予測器を付与する例について述べる。 我々は,大袋$n$,高寸法$d$,=lnn/d$の接合限界における勾配流の低次元射影を導出した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study an extremal regression problem, an example of multiple instance learning (MIL), where the predictors are given as multisets, called bags. The bag elements (called instances) possess hidden labels which are pooled to produce an observed bag-level label. Max pooling is common in MIL applications, but gives rise to vanishing gradients. To handle this, modern MIL pipelines approximate the max with a softmax, treating the sharpness as a learnable parameter, denoted $λ$. When the max pooling model is the true data generating process, learning will be successful when $λ$ is increased during gradient descent, thereby driving the dynamics into regions of parameter space with vanishing gradients. To understand the conditions under which gradient descent breaks down, we study a minimal model and derive a low dimensional projection of the gradient flow in the joint limit of large bags $n$ and high dimension $d$ with $α=\ln n/d$ fixed. The flow has two distinct phase transitions: an intrinsic freezing transition related to the random energy model of disordered systems, and a retrieval transition occurring in modern Hopfield networks. Numerical simulation confirms both the phase diagram and the convergence of the finite-size training gradient to its predicted asymptotic form.
• Abstract（参考訳）: 本稿では,マルチインスタンス学習(MIL)の例である極端回帰問題について検討する。 バッグ要素(インスタンスと呼ばれる)は、観測されたバッグレベルのラベルを生成するためにプールされた隠れラベルを持っている。 MILアプリケーションでは最大プーリングが一般的だが、勾配が消える。 これを扱うため、現代のMILパイプラインは最大値をソフトマックスに近似し、鋭さを学習可能なパラメータとして扱い、$λ$と表記する。 最大プーリングモデルが真のデータ生成過程である場合、勾配降下時にλ$が増加すると学習が成功し、それによって、勾配が消えるパラメータ空間の領域にダイナミクスを駆動する。 勾配勾配が崩壊する条件を理解するため、最小限のモデルについて検討し、大袋$n$と高次元$d$と$α=\ln n/d$の結合限界における勾配流の低次元射影を導出する。 この流れは、乱れたシステムのランダムエネルギーモデルに関連する固有の凍結遷移と、現代のホップフィールドネットワークで起こる検索遷移の2つの相転移を持つ。 数値シミュレーションは、位相図と有限サイズのトレーニング勾配の予測された漸近形式への収束の両方を確認する。

関連論文リスト

• Neural Operator Splitting for Fluid Dynamics in Complex Geometry [68.17331685296394]
  本研究では流体力学を学習するフレームワークであるNeural Operator Splittingを提案する。 モノリシックに全ステップの進化を学ぶ代わりに、各ステップを物理的に解釈可能なステップに分解します。 本モデルでは,1つのフルステップニューラル演算子と比較して,平均相対的なL2$ロールアウト誤差を2Dで68%,3Dで40%削減することを示した。
  論文  参考訳（メタデータ） (2026-10-20T05:37:17Z)
• Universal Spin Squeezing Dynamical Phase Transitions across Lattice Geometries, Dimensions, and Microscopic Couplings [0.0]
  ボゴリューボフ理論は、長い範囲の相互作用状態において、以前に特定されたスケーリング $a_Z* プロット L$ を d+2$ で回復する。 これは、短距離相互作用に対する未認識のサブ線形構造を明らかにする。 これらの知見は、Rydberg-array、極性分子、トラップイオンプラットフォームにおける絡み合いの発生を制御するための多用途経路を提供する。
  論文  参考訳（メタデータ） (2026-05-13T18:00:07Z)
• Error dynamics of mini-batch gradient descent with random reshuffling for least squares regression [4.159762735751163]
  最小二乗回帰に対するランダムリシャッフルによるミニバッチ勾配勾配のダイナミクスについて検討する。 トレーニングと誤差は、サンプルのクロス共分散行列$Z$に依存することを示す。
  論文  参考訳（メタデータ） (2024-06-06T02:26:14Z)
• Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
  本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。 本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
  論文  参考訳（メタデータ） (2023-04-17T20:59:49Z)
• Theory of free fermions under random projective measurements [43.04146484262759]
  本研究では,一次元自由フェルミオンを局所的占有数のランダム射影的測定対象とする解析的手法を開発した。 問題の有効場理論として非線形シグマモデル(NLSM)を導出する。
  論文  参考訳（メタデータ） (2023-04-06T15:19:33Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Discrete truncated Wigner approach to dynamical phase transitions in Ising models after a quantum quench [0.0]
  量子クエンチ後の横フィールドイジングモデルの定常状態における動的相転移について検討する。 我々は$alpha lesssim 0.5$の同じ指数を見つけ、この状態の動的遷移が非エルゴード平均場極限と同じ普遍性クラスに該当することを示唆する。
  論文  参考訳（メタデータ） (2020-04-21T08:20:15Z)
• The Implicit Regularization of Stochastic Gradient Flow for Least Squares [24.976079444818552]
  最小二乗回帰の基本問題に適用したミニバッチ勾配勾配の暗黙正則化について検討した。 我々は勾配流と呼ばれる勾配降下と同じモーメントを持つ連続時間微分方程式を利用する。 チューニングパラメータ $lambda = 1/t$ で、リッジレグレッションを越えて、時間 $t$ での勾配フローの過剰なリスクに制限を与えます。
  論文  参考訳（メタデータ） (2020-03-17T16:37:25Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。