論文の概要: Perspectives on Tsallis Statistics for Artificial Intelligence
- arxiv url: http://arxiv.org/abs/2608.01223v1
- Date: Sun, 02 Aug 2026 13:12:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.127515
- Title: Perspectives on Tsallis Statistics for Artificial Intelligence
- Title（参考訳）: Tsallis Statistics for Artificial Intelligence の展望
- Abstract要約: ツァリス統計学はボルツマン・ギブス統計力学を1つの実パラメータ$q$で一般化する。
本稿では、Tsallis統計がAIとどのように出会うかという構造化された視点を提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tsallis statistics generalizes Boltzmann-Gibbs statistical mechanics through a single real parameter $q$ that controls the weight assigned to rare and frequent events. Originally proposed to describe physical systems with long-range correlations, multifractal geometry, and heavy-tailed fluctuations, the framework has become a recurring ingredient in modern artificial intelligence (AI): it underlies sparse attention mechanisms (\textsc{sparsemax} and $α$-\textsc{entmax}), maximum-entropy reinforcement learning with controllable exploration, robust and heavy-tailed probabilistic models, and a family of generalized loss functions and regularizers. This paper offers a structured perspective on where Tsallis statistics meets AI. We first review the mathematical core: $q$-entropy and its variational (maximum-entropy) foundation, the $q$-exponential and $q$-logarithm, the $q$-central limit theorem, $q$-Gaussian distributions, and their dynamical origin in superstatistics, emphasizing the properties that matter for machine learning. We then survey applications across softmax generalization, reinforcement learning, sequential and graph neural models, generative and probabilistic modeling, loss design, and optimization, extracting the recurring design pattern in each case: a tunable interpolation between dense/uniform and sparse/peaked behavior governed by $q$. We further argue that the heavy-tailed weight spectra and gradient-noise statistics empirically observed in deep networks are themselves nonextensive signatures, placing modern learning dynamics within the scope of $q$-statistics. Finally, we discuss methodological pitfalls, the relationship to information geometry and $q$-exponential families, and open directions, arguing that $q$ should be treated as a learnable inductive bias rather than a fixed hyperparameter.
- Abstract（参考訳）: ツァリス統計学はボルツマン・ギブス統計力学を1つの実パラメータ$q$で一般化する。
もともと、長距離相関、マルチフラクタル幾何、重み付きゆらぎを持つ物理系を記述するために提案されたこのフレームワークは、現代の人工知能(AI)において、スパースアテンション機構(\textsc{sparsemax} と $α$-\textsc{entmax} )、制御可能な探索による最大エントロピー強化学習、頑健で重み付き確率的モデル、一般化された損失関数と正規化器のファミリーを基盤としている。
本稿では、Tsallis統計がAIとどのように出会うかという構造化された視点を提供する。
最初に、数学のコアである$q$-entropyとその変分(最大エントロピー)基盤、$q$-exponentialおよび$q$-logarithm、$q$-central limit theorem、$q$-Gaussian distributions、および超統計学におけるそれらの動的起源を概観し、機械学習において重要な性質を強調する。
次に、ソフトマックス一般化、強化学習、シーケンシャルおよびグラフニューラルモデル、生成的および確率的モデリング、損失設計、最適化にまたがるアプリケーションを調査し、各ケースにおける繰り返しデザインパターンを抽出する。
さらに、ディープネットワークで実証的に観察される重み付き重み付きスペクトルと勾配ノイズ統計は、それ自体が非集中的なシグネチャであり、現代の学習力学を$q$-statisticsの範囲に置いている。
最後に,手法的な落とし穴,情報幾何学と$q$指数族との関係,およびオープンな方向について論じ,固定されたハイパーパラメータではなく,学習可能な帰納バイアスとして$q$を扱うべきであると論じた。
関連論文リスト
- Learning Time-Inhomogeneous Markov Dynamics in Financial Time Series via Neural Parameterization [0.0]
本稿では、ニューラルネットワークをパラメータ化エンジンとして厳密に活用して、明示的で時間的なマルコフ遷移行列を生成するフレームワークを提案する。
ニューラルネットワークが予測を形式演算子として出力することを制約することにより、完全な構造的解釈可能性を維持する。
このフレームワークは、複雑な実世界の時系列に対して厳密で古典的な演算子分析を実行可能なものにするために、ニューラルネットワークをいかに制約するかを示す。
論文 参考訳（メタデータ） (2026-05-06T09:39:04Z) - Beyond Softmax: A Natural Parameterization for Categorical Random Variables [61.709831225296305]
階層的なバイナリ分割のシーケンスで構成される関数である$textitcatnat$関数を紹介します。
実験により,提案した関数は学習効率を向上し,一貫した試験性能を特徴とするモデルが得られることを示した。
論文 参考訳（メタデータ） (2025-09-29T12:55:50Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
リッジ回帰に関する最近の結果について統一的な視点を提示する。
我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。
我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - Random features and polynomial rules [0.0]
本稿では,ガウスデータを用いた一般教師付き学習問題に対するランダム特徴モデルの性能の一般化について述べる。
我々は、$Dto infty$と$P/DK$,$N/DL$の間の少なくとも一方が有限である極限から遠く離れた良い合意を見出す。
論文 参考訳（メタデータ） (2024-02-15T18:09:41Z) - Distribution learning via neural differential equations: a nonparametric
statistical perspective [1.4436965372953483]
この研究は、確率変換によって訓練されたODEモデルによる分布学習のための最初の一般統計収束解析を確立する。
後者はクラス $mathcal F$ の$C1$-metric entropy で定量化できることを示す。
次に、この一般フレームワークを$Ck$-smoothターゲット密度の設定に適用し、関連する2つの速度場クラスに対する最小最適収束率を$mathcal F$:$Ck$関数とニューラルネットワークに設定する。
論文 参考訳（メタデータ） (2023-09-03T00:21:37Z) - Post-mortem on a deep learning contest: a Simpson's paradox and the
complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。
メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。
本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文 参考訳（メタデータ） (2021-06-01T19:19:49Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳（メタデータ） (2020-02-05T00:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。