論文の概要: Landscape Complexity for the Empirical Risk of Generalized Linear Models: Discrimination between Structured Data

• arxiv url: http://arxiv.org/abs/2503.14403v1
• Date: Tue, 18 Mar 2025 16:44:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:17:08.626486
• Title: Landscape Complexity for the Empirical Risk of Generalized Linear Models: Discrimination between Structured Data
• Title（参考訳）: 一般線形モデルの実証的リスクに対する景観複雑度:構造データ間の識別
• Authors: Theodoros G. Tsironis, Aris L. Moustakas,
• Abstract要約: 我々は、Kac-Rice公式とランダム行列理論の結果を用いて、高次元の経験的損失関数の族の平均臨界点数を求める。 相関は、現在の機械学習システムでよく見られるように、データ中の構造の存在をモデル化するために導入された。 完全性のために、相関入力データの存在下での一般線形モデルの訓練に使用される損失関数についても検討する。
• 参考スコア（独自算出の注目度）: 2.486161976966064
• License:
• Abstract: We use the Kac-Rice formula and results from random matrix theory to obtain the average number of critical points of a family of high-dimensional empirical loss functions, where the data are correlated $d$-dimensional Gaussian vectors, whose number has a fixed ratio with their dimension. The correlations are introduced to model the existence of structure in the data, as is common in current Machine-Learning systems. Under a technical hypothesis, our results are exact in the large-$d$ limit, and characterize the annealed landscape complexity, namely the logarithm of the expected number of critical points at a given value of the loss. We first address in detail the landscape of the loss function of a single perceptron and then generalize it to the case where two competing data sets with different covariance matrices are present, with the perceptron seeking to discriminate between them. The latter model can be applied to understand the interplay between adversity and non-trivial data structure. For completeness, we also treat the case of a loss function used in training Generalized Linear Models in the presence of correlated input data.
• Abstract（参考訳）: 我々は、Kac-Riceの公式とランダム行列理論の結果を用いて、高次元の経験的損失関数の族の平均臨界点数を得る。 相関は、現在の機械学習システムでよく見られるように、データ中の構造の存在をモデル化するために導入された。 技術的仮説の下では、我々の結果は大きなd$制限で正確であり、アンニールランドスケープの複雑さ、すなわち損失の所定の値において期待される臨界点数の対数を特徴づける。 まず1つのパーセプトロンの損失関数の風景を詳細に説明し、異なる共分散行列を持つ2つの競合データセットが存在する場合に一般化する。 後者のモデルは、逆性と非自明なデータ構造の間の相互作用を理解するために適用することができる。 完全性のために、相関入力データの存在下での一般線形モデルの訓練に使用される損失関数についても検討する。

関連論文リスト

• Causal Discovery on Dependent Binary Data [6.464898093190062]
  本稿では,関係するバイナリデータに基づく因果グラフ学習のためのデコレーションに基づくアプローチを提案する。 我々は,潜在ユーティリティ変数のサンプルの生成とデコレーションを行うEMライクな反復アルゴリズムを開発した。 提案手法は因果グラフ学習の精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-12-28T21:55:42Z)
• The Underlying Scaling Laws and Universal Statistical Structure of Complex Datasets [2.07180164747172]
  実世界の複雑なデータセットと人工的に生成されたデータセットの両方に現れる普遍的特性について検討する。 我々のアプローチは、データを物理系に類似させ、統計物理学やランダム行列理論(RMT)のツールを用いて、その基盤となる構造を明らかにすることである。
  論文  参考訳（メタデータ） (2023-06-26T18:01:47Z)
• Towards a mathematical understanding of learning from few examples with nonlinear feature maps [68.8204255655161]
  トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。 我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
  論文  参考訳（メタデータ） (2022-11-07T14:52:58Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Learning from few examples with nonlinear feature maps [68.8204255655161]
  我々はこの現象を探求し、AIモデルの特徴空間の次元性、データ分散の非退化、モデルの一般化能力の間の重要な関係を明らかにする。 本分析の主な推力は、元のデータを高次元および無限次元空間にマッピングする非線形特徴変換が結果のモデル一般化能力に与える影響である。
  論文  参考訳（メタデータ） (2022-03-31T10:36:50Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)
• Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
  半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
  論文  参考訳（メタデータ） (2020-03-02T16:40:36Z)
• Generalisation error in learning with random features and the hidden manifold model [23.71637173968353]
  合成データセットの一般線形回帰と分類について検討した。 我々は,高次元構造を考察し,統計物理学からのレプリカ法を用いる。 閾値をピークとしたロジスティック回帰のためのいわゆる二重降下挙動を得る方法を示す。 隠れ多様体モデルにより生成されたデータにおいて相関関係が果たす役割について論じる。
  論文  参考訳（メタデータ） (2020-02-21T14:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。