論文の概要: auto-fpt: Automating Free Probability Theory Calculations for Machine Learning Theory

• arxiv url: http://arxiv.org/abs/2504.10754v1
• Date: Mon, 14 Apr 2025 23:07:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:06:11.862533
• Title: auto-fpt: Automating Free Probability Theory Calculations for Machine Learning Theory
• Title（参考訳）: auto-fpt: 機械学習理論のための自由確率理論計算の自動化
• Authors: Arjun Subramonian, Elvis Dohmatob,
• Abstract要約: 固定点方程式の少ないシステムを自動的に生成できる軽量PythonおよびSymphyベースのツールであるauto-fptを紹介した。 線形化フィードフォワードニューラルネットワークの高次元誤差など,Auto-fptの基礎となるアルゴリズム的アイデアとその様々な興味深い問題への応用について論じる。 我々は,機械学習コミュニティが既知の現象を再現し,新たな現象を明らかにするのを手助けしながら,高次元解析に関わる計算の大部分を効率化することを期待している。
• 参考スコア（独自算出の注目度）: 15.818983062309977
• License:
• Abstract: A large part of modern machine learning theory often involves computing the high-dimensional expected trace of a rational expression of large rectangular random matrices. To symbolically compute such quantities using free probability theory, we introduce auto-fpt, a lightweight Python and SymPy-based tool that can automatically produce a reduced system of fixed-point equations which can be solved for the quantities of interest, and effectively constitutes a theory. We overview the algorithmic ideas underlying auto-fpt and its applications to various interesting problems, such as the high-dimensional error of linearized feed-forward neural networks, recovering well-known results. We hope that auto-fpt streamlines the majority of calculations involved in high-dimensional analysis, while helping the machine learning community reproduce known and uncover new phenomena.
• Abstract（参考訳）: 現代の機械学習理論の大部分は、大きな矩形ランダム行列の有理表現の高次元的な予測トレースを計算することを含むことが多い。 自由確率理論を用いてそのような量の計算を象徴的に行うために,数量に対して解ける固定点方程式の還元系を自動的に生成し,理論を効果的に構成する,軽量PythonおよびSymphyベースのツールであるauto-fptを導入する。 線形化フィードフォワードニューラルネットワークの高次元誤差や、よく知られた結果の回復など、Auto-fptの基礎となるアルゴリズム的アイデアとその様々な興味深い問題への応用について概説する。 我々は,機械学習コミュニティが既知の現象を再現し,新たな現象を明らかにするのを手助けしながら,高次元解析に関わる計算の大部分を効率化することを期待している。

関連論文リスト

• Learning Quantitative Automata Modulo Theories [17.33092604696224]
  本稿では,学習者が帰納的推論によって有効なオートマトンを推論する,能動的学習アルゴリズムQUINTICを提案する。 本評価では, 累積, 減算, 積, 量的オートマトンを学習するために, 有理理論を利用する。
  論文  参考訳（メタデータ） (2024-11-15T21:51:14Z)
• Learning Linear Attention in Polynomial Time [115.68795790532289]
  線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。 線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。 我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T02:41:01Z)
• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• A Theory of Machine Learning [0.0]
  本稿では,この理論が統計学と計算学習理論の共通仮定に挑戦していることを示す。 本稿では, 自然言語処理とマクロ経済学のケーススタディについて, 新理論の観点から概説する。
  論文  参考訳（メタデータ） (2024-07-07T23:57:10Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• A Survey on Brain-Inspired Deep Learning via Predictive Coding [85.93245078403875]
  予測符号化(PC)は、マシンインテリジェンスタスクにおいて有望なパフォーマンスを示している。 PCは様々な脳領域で情報処理をモデル化することができ、認知制御やロボティクスで使用することができる。
  論文  参考訳（メタデータ） (2023-08-15T16:37:16Z)
• Computing large deviation prefactors of stochastic dynamical systems based on machine learning [4.474127100870242]
  弱い雑音の極限における力学系の希少事象の指数推定を特徴付ける大きな偏差理論を提案する。 我々は、ベクトル場の分解に基づいて、準ポテンシャル、最も確率の高い経路とプレファクタを計算するためのニューラルネットワークフレームワークを設計する。 数値実験は、弱いランダム変動によって引き起こされる稀な事象の内部メカニズムを探索する上で、その強力な機能を示す。
  論文  参考訳（メタデータ） (2023-06-20T09:59:45Z)
• Advancing Reacting Flow Simulations with Data-Driven Models [50.9598607067535]
  マルチ物理問題における機械学習ツールの効果的な利用の鍵は、それらを物理モデルとコンピュータモデルに結合することである。 本章では, 燃焼システムにおけるデータ駆動型低次モデリングの適用可能性について概説する。
  論文  参考訳（メタデータ） (2022-09-05T16:48:34Z)
• General stochastic separation theorems with optimal bounds [68.8204255655161]
  分離性の現象が明らかになり、機械学習で人工知能(AI)システムのエラーを修正し、AI不安定性を分析するために使用された。 エラーやエラーのクラスタは、残りのデータから分離することができる。 AIシステムを修正する能力は、それに対する攻撃の可能性も開き、高次元性は、同じ分離性によって引き起こされる脆弱性を誘発する。
  論文  参考訳（メタデータ） (2020-10-11T13:12:41Z)
• Verification of ML Systems via Reparameterization [6.482926592121413]
  確率的プログラムを定理証明器で自動的に表現する方法を示す。 また、ベイズ仮説テストで用いられるヌルモデルは、人口統計学的パリティ(英語版)と呼ばれる公平性基準を満たすことを証明した。
  論文  参考訳（メタデータ） (2020-07-14T02:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。