Fugu-MT 論文翻訳(概要): Entropy, concentration, and learning: a statistical mechanics primer

論文の概要: Entropy, concentration, and learning: a statistical mechanics primer

arxiv url: http://arxiv.org/abs/2409.18630v1
Date: Fri, 27 Sep 2024 10:58:18 GMT
ステータス: 処理完了
システム内更新日: 2024-10-01 19:54:56.551514
Title: Entropy, concentration, and learning: a statistical mechanics primer
Title（参考訳）: エントロピー、集中、学習:統計力学プライマー
Authors: Akshay Balsubramani,
Abstract要約: この研究は、第一原理のサンプル濃度挙動から始まる統計力学のレンズを通して確立された接続を探索する。モデリングのための統計力学の開発は、指数族や統計学、物理学、情報理論の主要な役割を浮き彫りにしている。
参考スコア（独自算出の注目度）: 2.092840468195572
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Artificial intelligence models trained through loss minimization have demonstrated significant success, grounded in principles from fields like information theory and statistical physics. This work explores these established connections through the lens of statistical mechanics, starting from first-principles sample concentration behaviors that underpin AI and machine learning. Our development of statistical mechanics for modeling highlights the key role of exponential families, and quantities of statistics, physics, and information theory.
Abstract（参考訳）: 損失最小化によって訓練された人工知能モデルは、情報理論や統計物理学といった分野の原理に基づいて大きな成功を収めた。この研究は、AIと機械学習の基盤となる第一原理のサンプル集中行動から始まる統計力学のレンズを通して、これらの確立された接続を探索する。モデリングのための統計力学の開発は、指数族や統計学、物理学、情報理論の主要な役割を浮き彫りにしている。

関連論文リスト

Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
論文参考訳（メタデータ） (2025-02-17T18:04:39Z)
The Return of Pseudosciences in Artificial Intelligence: Have Machine Learning and Deep Learning Forgotten Lessons from Statistics and History? [0.304585143845864]
これらのML手法のデザイナと最終ユーザは,統計学の基本的な教訓を忘れてしまった,と我々は主張する。トレーニングデータのバイアスを減らすだけで、AIモデルをより倫理的にするための現在の取り組みは不十分である、と私たちは主張する。
論文参考訳（メタデータ） (2024-11-27T08:23:23Z)
Understanding Machine Learning Paradigms through the Lens of Statistical Thermodynamics: A tutorial [0.0]
このチュートリアルは、エントロピー、自由エネルギー、そして機械学習に使用される変分推論のような高度なテクニックを掘り下げる。物理的システムの振る舞いを深く理解することで、より効果的で信頼性の高い機械学習モデルが得られることを示す。
論文参考訳（メタデータ） (2024-11-24T18:20:05Z)
Relational Learning in Pre-Trained Models: A Theory from Hypergraph Recovery Perspective [60.64922606733441]
我々は,関係学習をハイパーグラフリカバリとして形式化する数学的モデルを導入し,基礎モデル(FM)の事前学習について検討する。我々のフレームワークでは、世界はハイパーグラフとして表現され、データはハイパーエッジからランダムなサンプルとして抽象化される。我々は、このハイパーグラフを復元するための事前学習モデル(PTM)の有効性を理論的に検証し、ミニマックスに近い最適スタイルでデータ効率を解析する。
論文参考訳（メタデータ） (2024-06-17T06:20:39Z)
Statistical Mechanics and Artificial Neural Networks: Principles, Models, and Applications [0.0]
神経科学の分野と人工ニューラルネットワーク(ANN)の発展は相互に影響を与えてきた。この章の第1章では、ANNの原則、モデル、および応用の概要を紹介します。この章の第2章では、幾何学的性質の定量化と、深いANNに関連する損失関数の可視化に焦点を当てている。
論文参考訳（メタデータ） (2024-04-05T13:54:58Z)
Advancing Reacting Flow Simulations with Data-Driven Models [50.9598607067535]
マルチ物理問題における機械学習ツールの効果的な利用の鍵は、それらを物理モデルとコンピュータモデルに結合することである。本章では, 燃焼システムにおけるデータ駆動型低次モデリングの適用可能性について概説する。
論文参考訳（メタデータ） (2022-09-05T16:48:34Z)
Measuring Causal Effects of Data Statistics on Language Model's `Factual' Predictions [59.284907093349425]
大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
論文参考訳（メタデータ） (2022-07-28T17:36:24Z)
A Scaling Law for Synthetic-to-Real Transfer: A Measure of Pre-Training [52.93808218720784]
合成から現実への変換学習は,実タスクのための合成画像と接地真実アノテーションを用いた事前学習を行うフレームワークである。合成画像はデータの不足を克服するが、事前訓練されたモデルで微調整性能がどのようにスケールするかは定かではない。我々は、合成事前学習データの様々なタスク、モデル、複雑さにおける学習曲線を一貫して記述する、単純で一般的なスケーリング法則を観察する。
論文参考訳（メタデータ） (2021-08-25T02:29:28Z)
Counterfactual Representation Learning with Balancing Weights [74.67296491574318]
観察データによる因果推論の鍵は、それぞれの治療タイプに関連する予測的特徴のバランスを達成することである。近年の文献では、この目標を達成するために表現学習を探求している。因果効果を柔軟かつスケーラブルかつ正確に推定するアルゴリズムを開発した。
論文参考訳（メタデータ） (2020-10-23T19:06:03Z)
An Epistemic Approach to the Formal Specification of Statistical Machine Learning [1.599072005190786]
Kripkeモデルに基づく教師あり学習のための形式モデルを提案する。次に、統計分類器の分類性能、頑健性、公正性の様々な概念を定式化する。
論文参考訳（メタデータ） (2020-04-27T12:16:45Z)
Projection operators in statistical mechanics: a pedagogical approach [0.0]
我々はモリ・ズワンツィヒの形式主義をシンプルかつ体系的に紹介する。これにより、学生はこの方法論を現在の研究で使われている形で理解することができる。本稿では,この手法を統計力学の講義コースに組み込む方法について解説する。
論文参考訳（メタデータ） (2019-12-29T03:43:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。