論文の概要: Explaining Machine Learning and Memorization with Statistical Mechanics

• arxiv url: http://arxiv.org/abs/2606.31110v1
• Date: Tue, 30 Jun 2026 04:15:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.071158
• Title: Explaining Machine Learning and Memorization with Statistical Mechanics
• Title（参考訳）: 統計的力学による機械学習と記憶の解説
• Abstract要約: この論文は、NNとMLの理論的理解を改善することを目的としており、特に敵対的攻撃と暗黙的に低次元学習に焦点を当てている。 特に,データに様々な学習と記憶の程度を適合させるモデルとして,高密度連想メモリ(DAM)と制限ボルツマンマシン(RBM)の2種類について検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial neural networks (NNs) and machine learning (ML) algorithms are poorly understood from a theoretical perspective, which makes it difficult to fully realize their potential and overcome their weaknesses. For instance, ML algorithms train NN weights by moving them along a low-dimensional subspace of their allowed values, but this implicitly low-dimensional learning structure is not properly exploited to improve training because its nature is not well understood. Moreover, trained NNs are easily confused by pervasive adversarial attacks whose theoretical underpinnings are still unclear. This thesis aims to improve our theoretical understanding of NNs and ML, with a particular focus on adversarial attacks and implicitly low-dimensional learning. For this purpose, we use mathematical tools from statistical mechanics to study different types of NNs and ways in which they can fit the data. In particular, we study two classes of models that fit the data with various degrees of learning and memorization: dense associative memory (DAM) and restricted Boltzmann machines (RBM). In the process, we investigate connections between different versions of these models that are useful to make analytical investigations more efficient.
• Abstract（参考訳）: ニューラルネットワーク(NN)と機械学習(ML)アルゴリズムは理論的観点からは理解されていないため、その可能性を完全に実現し、弱点を克服することは困難である。 例えば、MLアルゴリズムは、許容値の低次元部分空間に沿ってそれを移動させることでNN重みを訓練するが、この暗黙的に低次元の学習構造は、その性質がよく理解されていないため、トレーニングを改善するために適切に利用されない。 さらに、訓練されたNNは、理論的な基盤がまだ不明な広汎な敵攻撃によって容易に混乱する。 この論文は、NNとMLの理論的理解を改善することを目的としており、特に敵対的攻撃と暗黙的に低次元学習に焦点を当てている。 この目的のために、統計力学の数学的ツールを使用して、異なるタイプのNNと、それらがデータに適合できる方法を研究する。 特に,データに様々な学習と記憶の程度を適合させるモデルとして,高密度連想メモリ(DAM)と制限ボルツマンマシン(RBM)について検討した。 そこで本研究では,これらのモデルの異なるバージョン間の接続について検討し,解析的調査をより効率的にする上で有用であることを示す。

関連論文リスト

• Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
  インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。 本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。 本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
  論文  参考訳（メタデータ） (2025-07-31T05:34:27Z)
• Statistical mechanics of extensive-width Bayesian neural networks near interpolation [4.976898227858662]
  総重量分布と活性化関数を持つ2層完全連結ネットワークの教師あり学習について検討した。 我々は、同じアーキテクチャを持つ別のネットワークによって生成されたデータセットを用いて、教師学生のシナリオにおけるベイズ最適学習に焦点を当てる。 分析の結果,データ数の増加に伴い,多様な学習遷移を伴う豊富な現象が明らかになった。
  論文  参考訳（メタデータ） (2025-05-30T17:46:59Z)
• Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• From Neurons to Neutrons: A Case Study in Interpretability [5.242869847419834]
  高次元ニューラルネットワークはトレーニングデータの低次元表現を学習することができると我々は主張する。 このことは、解釈可能性に対するそのようなアプローチが、問題を解決するために訓練されたモデルから問題に対する新しい理解を導き出すのに有用であることを示している。
  論文  参考訳（メタデータ） (2024-05-27T17:59:35Z)
• Demolition and Reinforcement of Memories in Spin-Glass-like Neural Networks [0.0]
  この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。 構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。 Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
  論文  参考訳（メタデータ） (2024-03-04T23:12:42Z)
• Deep learning applied to computational mechanics: A comprehensive review, state of the art, and the classics [77.34726150561087]
  人工知能,特に深層学習(DL)の最近の進歩を概観する。 ハイブリッドおよび純粋機械学習(ML)の手法について論じる。 AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
  論文  参考訳（メタデータ） (2022-12-18T02:03:00Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• Sparse Training Theory for Scalable and Efficient Agents [5.71531053864579]
  ディープニューラルネットワークは、すべての学習パラダイム、すなわち、完璧に対処できることが証明されている。 教師なし、監督なし、強化学習。 従来のディープラーニングアプローチは、クラウドコンピューティング施設を利用しており、計算リソースの少ない自律エージェントにうまくスケールしない。 本稿では,新しい理論研究の方向性を紹介するとともに,その課題と限界について概説する。
  論文  参考訳（メタデータ） (2021-03-02T10:48:29Z)
• Training Deep Neural Networks with Constrained Learning Parameters [4.917317902787792]
  ディープラーニングタスクのかなりの部分はエッジコンピューティングシステムで実行される。 我々は, Combinatorial Neural Network Training Algorithm (CNNTrA)を提案する。 CoNNTrAは、MNIST、Iris、ImageNetデータセット上で、第三次学習パラメータでディープラーニングモデルをトレーニングする。 以上の結果から,CNNTrAモデルはメモリを32倍に削減し,バックプロパゲーションモデルと同程度の誤差を有することがわかった。
  論文  参考訳（メタデータ） (2020-09-01T16:20:11Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。