論文の概要: Simplicity bias, algorithmic probability, and the random logistic map
- arxiv url: http://arxiv.org/abs/2401.00593v1
- Date: Sun, 31 Dec 2023 22:08:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 16:45:04.161865
- Title: Simplicity bias, algorithmic probability, and the random logistic map
- Title（参考訳）: 単純性バイアス、アルゴリズム確率およびランダムロジスティックマップ
- Authors: Boumediene Hamzi, Kamaludin Dingle
- Abstract要約: ランダムロジスティックマップにおける単純さバイアスの顕在化について検討し,特に加法雑音を含むシナリオに着目した。
このバイアスは、小さな測定ノイズを発生しても持続するが、ノイズレベルが増加するにつれて減少する。
また,雑音によるカオス現象,特に$mu=3.83$の場合には,複雑性確率プロットによってその特性を明らかにする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Simplicity bias is an intriguing phenomenon prevalent in various input-output
maps, characterized by a preference for simpler, more regular, or symmetric
outputs. Notably, these maps typically feature high-probability outputs with
simple patterns, whereas complex patterns are exponentially less probable. This
bias has been extensively examined and attributed to principles derived from
algorithmic information theory and algorithmic probability. In a significant
advancement, it has been demonstrated that the renowned logistic map
$x_{k+1}=\mu x_k(1-x_k)$, and other one-dimensional maps exhibit simplicity
bias when conceptualized as input-output systems. Building upon this
foundational work, our research delves into the manifestations of simplicity
bias within the random logistic map, specifically focusing on scenarios
involving additive noise. This investigation is driven by the overarching goal
of formulating a comprehensive theory for the prediction and analysis of time
series.Our primary contributions are multifaceted. We discover that simplicity
bias is observable in the random logistic map for specific ranges of $\mu$ and
noise magnitudes. Additionally, we find that this bias persists even with the
introduction of small measurement noise, though it diminishes as noise levels
increase. Our studies also revisit the phenomenon of noise-induced chaos,
particularly when $\mu=3.83$, revealing its characteristics through
complexity-probability plots. Intriguingly, we employ the logistic map to
underscore a paradoxical aspect of data analysis: more data adhering to a
consistent trend can occasionally lead to reduced confidence in extrapolation
predictions, challenging conventional wisdom.We propose that adopting a
probability-complexity perspective in analyzing dynamical systems could
significantly enrich statistical learning theories related to series
prediction.
- Abstract（参考訳）: 単純さバイアス(Simplicity bias)は、様々な入力出力マップでよく見られる興味深い現象であり、より単純で規則的で対称な出力を好むことが特徴である。
特に、これらの写像は通常、単純なパターンを持つ高確率出力を特徴とするが、複雑なパターンは指数関数的に少ない。
このバイアスは、アルゴリズム情報理論とアルゴリズム確率から導かれた原理により、広く研究され、評価されている。
重要な進歩として、有名なロジスティック写像 $x_{k+1}=\mu x_k(1-x_k)$ が証明され、他の一次元写像は入力出力系として概念化されたときに単純バイアスを示す。
この基礎研究に基づいて、ランダムロジスティックマップ内の単純さバイアスの顕在化について、特に加法雑音を含むシナリオに注目した。
本研究は,時系列の予測と解析に関する包括的理論を定式化するという,総合的な目標によって進められる。
ランダムなロジスティック・マップにおいて、単純さのバイアスは、$\mu$とノイズ・マグニチュードの特定の範囲で観測可能である。
さらに、このバイアスは、小さな測定ノイズを発生しても持続するが、ノイズレベルが増加するにつれて減少する。
また,ノイズによるカオス現象,特に$\mu=3.83$の場合には,複雑性確率プロットによってその特性を明らかにする。
一貫性のある傾向に固執するデータが増えると、時々外挿予測の信頼性が低下し、従来の知恵に挑戦し、動的システムの解析に確率・複雑さの視点を取り入れれば、系列予測に関連する統計的学習理論を著しく強化できると提案する。
関連論文リスト
- Classical Statistical (In-Sample) Intuitions Don't Generalize Well: A Note on Bias-Variance Tradeoffs, Overfitting and Moving from Fixed to Random Designs [11.893324664457548]
古典統計学の教科書で教えられている直観と相反する行動が現在観察されている別の理由が示されている。
固定されたデザインからランダムなデザインへのこの単純な動きは、教科書の直観に遠く及ばない結果をもたらすことを強調する。
論文 参考訳（メタデータ） (2024-09-27T15:36:24Z) - A Note on High-Probability Analysis of Algorithms with Exponential,
Sub-Gaussian, and General Light Tails [34.465259431606405]
このようなアルゴリズムの解析はブラックボックス方式で削減でき、対数係数の損失はわずかである。
このアプローチは指数関数、準ガウス分布、より一般的な高速分解分布を含む任意の光尾ランダム化にも同時に適用される。
論文 参考訳（メタデータ） (2024-03-05T11:38:20Z) - How adversarial attacks can disrupt seemingly stable accurate classifiers [76.95145661711514]
敵攻撃は、入力データに不連続な修正を加えることで、非正確な学習システムの出力を劇的に変化させる。
ここでは,これは高次元入力データを扱う分類器の基本的特徴であると考えられる。
実用システムで観測される重要な振る舞いを高い確率で発生させる、単純で汎用的なフレームワークを導入する。
論文 参考訳（メタデータ） (2023-09-07T12:02:00Z) - The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。
特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
論文 参考訳（メタデータ） (2022-03-02T13:59:20Z) - Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。
本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
論文 参考訳（メタデータ） (2022-01-30T16:43:40Z) - Detecting chaos in lineage-trees: A deep learning approach [1.536989504296526]
本稿では,合成軌道上でのディープラーニングモデルの訓練に基づいて,データから最大のリアプノフ指数を推定する新しい手法について述べる。
本手法は, 樹状データ, 生物環境におけるユビキタストポロジ, 特に細胞や生物の系統の動態を解析できるという点で特有である。
論文 参考訳（メタデータ） (2021-06-08T11:11:52Z) - Evading the Simplicity Bias: Training a Diverse Set of Models Discovers
Solutions with Superior OOD Generalization [93.8373619657239]
SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。
この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。
単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
論文 参考訳（メタデータ） (2021-05-12T12:12:24Z) - Probabilistic Simplex Component Analysis [66.30587591100566]
PRISMは、データ循環記述のシンプルさの頂点をデータから識別する確率論的シンプルコンポーネント分析手法である。
この問題には多様な応用があり、最も注目すべきはリモートセンシングにおけるハイパースペクトルアンミックスと機械学習における非負行列分解である。
論文 参考訳（メタデータ） (2021-03-18T05:39:00Z) - Parsimonious Inference [0.0]
parsimonious inferenceは任意のアーキテクチャ上の推論の情報理論的な定式化である。
提案手法は,効率的な符号化と巧妙なサンプリング戦略を組み合わせて,クロスバリデーションを伴わない予測アンサンブルを構築する。
論文 参考訳（メタデータ） (2021-03-03T04:13:14Z) - Understanding Double Descent Requires a Fine-Grained Bias-Variance
Decomposition [34.235007566913396]
ラベルに関連付けられた用語への分散の解釈可能で対称的な分解について述べる。
バイアスはネットワーク幅とともに単調に減少するが、分散項は非単調な振る舞いを示す。
我々はまた、著しく豊かな現象論も分析する。
論文 参考訳（メタデータ） (2020-11-04T21:04:02Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。