Fugu-MT 論文翻訳(概要): Entropy, concentration, and learning: a statistical mechanics primer

論文の概要: Entropy, concentration, and learning: a statistical mechanics primer

arxiv url: http://arxiv.org/abs/2409.18630v1
Date: Fri, 27 Sep 2024 10:58:18 GMT
ステータス: 処理完了
システム内更新日: 2024-10-01 19:54:56.551514
Title: Entropy, concentration, and learning: a statistical mechanics primer
Title（参考訳）: エントロピー、集中、学習:統計力学プライマー
Authors: Akshay Balsubramani,
Abstract要約: この研究は、第一原理のサンプル濃度挙動から始まる統計力学のレンズを通して確立された接続を探索する。モデリングのための統計力学の開発は、指数族や統計学、物理学、情報理論の主要な役割を浮き彫りにしている。
参考スコア（独自算出の注目度）: 2.092840468195572
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Artificial intelligence models trained through loss minimization have demonstrated significant success, grounded in principles from fields like information theory and statistical physics. This work explores these established connections through the lens of statistical mechanics, starting from first-principles sample concentration behaviors that underpin AI and machine learning. Our development of statistical mechanics for modeling highlights the key role of exponential families, and quantities of statistics, physics, and information theory.
Abstract（参考訳）: 損失最小化によって訓練された人工知能モデルは、情報理論や統計物理学といった分野の原理に基づいて大きな成功を収めた。この研究は、AIと機械学習の基盤となる第一原理のサンプル集中行動から始まる統計力学のレンズを通して、これらの確立された接続を探索する。モデリングのための統計力学の開発は、指数族や統計学、物理学、情報理論の主要な役割を浮き彫りにしている。

関連論文リスト

Understanding Machine Learning Paradigms through the Lens of Statistical Thermodynamics: A tutorial [0.0]
このチュートリアルは、エントロピー、自由エネルギー、そして機械学習に使用される変分推論のような高度なテクニックを掘り下げる。物理的システムの振る舞いを深く理解することで、より効果的で信頼性の高い機械学習モデルが得られることを示す。
論文参考訳（メタデータ） (2024-11-24T18:20:05Z)
Physics-Informed Weakly Supervised Learning for Interatomic Potentials [17.165117198519248]
我々は、機械学習型原子間ポテンシャルのトレーニングのための物理インフォームド、弱教師付きアプローチを導入する。我々は、様々なベースラインモデルとベンチマークデータセットに対して、エネルギーと力の誤差を(しばしば2倍以下に)減らすことを示した。
論文参考訳（メタデータ） (2024-07-23T12:49:04Z)
Relational Learning in Pre-Trained Models: A Theory from Hypergraph Recovery Perspective [60.64922606733441]
我々は,関係学習をハイパーグラフリカバリとして形式化する数学的モデルを導入し,基礎モデル(FM)の事前学習について検討する。我々のフレームワークでは、世界はハイパーグラフとして表現され、データはハイパーエッジからランダムなサンプルとして抽象化される。我々は、このハイパーグラフを復元するための事前学習モデル(PTM)の有効性を理論的に検証し、ミニマックスに近い最適スタイルでデータ効率を解析する。
論文参考訳（メタデータ） (2024-06-17T06:20:39Z)
Statistical Mechanics and Artificial Neural Networks: Principles, Models, and Applications [0.0]
神経科学の分野と人工ニューラルネットワーク(ANN)の発展は相互に影響を与えてきた。この章の第1章では、ANNの原則、モデル、および応用の概要を紹介します。この章の第2章では、幾何学的性質の定量化と、深いANNに関連する損失関数の可視化に焦点を当てている。
論文参考訳（メタデータ） (2024-04-05T13:54:58Z)
Discovering Interpretable Physical Models using Symbolic Regression and Discrete Exterior Calculus [55.2480439325792]
本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。 DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
論文参考訳（メタデータ） (2023-10-10T13:23:05Z)
Advancing Reacting Flow Simulations with Data-Driven Models [50.9598607067535]
マルチ物理問題における機械学習ツールの効果的な利用の鍵は、それらを物理モデルとコンピュータモデルに結合することである。本章では, 燃焼システムにおけるデータ駆動型低次モデリングの適用可能性について概説する。
論文参考訳（メタデータ） (2022-09-05T16:48:34Z)
Measuring Causal Effects of Data Statistics on Language Model's `Factual' Predictions [59.284907093349425]
大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
論文参考訳（メタデータ） (2022-07-28T17:36:24Z)
A Scaling Law for Synthetic-to-Real Transfer: A Measure of Pre-Training [52.93808218720784]
合成から現実への変換学習は,実タスクのための合成画像と接地真実アノテーションを用いた事前学習を行うフレームワークである。合成画像はデータの不足を克服するが、事前訓練されたモデルで微調整性能がどのようにスケールするかは定かではない。我々は、合成事前学習データの様々なタスク、モデル、複雑さにおける学習曲線を一貫して記述する、単純で一般的なスケーリング法則を観察する。
論文参考訳（メタデータ） (2021-08-25T02:29:28Z)
Counterfactual Representation Learning with Balancing Weights [74.67296491574318]
観察データによる因果推論の鍵は、それぞれの治療タイプに関連する予測的特徴のバランスを達成することである。近年の文献では、この目標を達成するために表現学習を探求している。因果効果を柔軟かつスケーラブルかつ正確に推定するアルゴリズムを開発した。
論文参考訳（メタデータ） (2020-10-23T19:06:03Z)
An Epistemic Approach to the Formal Specification of Statistical Machine Learning [1.599072005190786]
Kripkeモデルに基づく教師あり学習のための形式モデルを提案する。次に、統計分類器の分類性能、頑健性、公正性の様々な概念を定式化する。
論文参考訳（メタデータ） (2020-04-27T12:16:45Z)
Projection operators in statistical mechanics: a pedagogical approach [0.0]
我々はモリ・ズワンツィヒの形式主義をシンプルかつ体系的に紹介する。これにより、学生はこの方法論を現在の研究で使われている形で理解することができる。本稿では,この手法を統計力学の講義コースに組み込む方法について解説する。
論文参考訳（メタデータ） (2019-12-29T03:43:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。