論文の概要: Statistical Properties of the King Wen Sequence: An Anti-Habituation Structure That Does Not Improve Neural Network Training
- arxiv url: http://arxiv.org/abs/2604.09234v1
- Date: Fri, 10 Apr 2026 11:44:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-13 17:57:53.84077
- Title: Statistical Properties of the King Wen Sequence: An Anti-Habituation Structure That Does Not Improve Neural Network Training
- Title（参考訳）: キングウェン系列の統計的特性:ニューラルネットトレーニングを改善しないアンチハビテーション構造
- Authors: Augustin Chan,
- Abstract要約: 紀元前1000年頃の王ウェンの列は64ヘクサグラムを注文し、3千年にわたって学者を困惑させた。
この系列は4つの統計的に重要な性質を持つ。
これらの性質はカリキュラムの学習や好奇心を駆使した探索の原理に似ており、ニューラルネットワークのトレーニングに役立つかもしれないという仮説を動機付けている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The King Wen sequence of the I-Ching (c. 1000 BC) orders 64 hexagrams -- states of a six-dimensional binary space -- in a pattern that has puzzled scholars for three millennia. We present a rigorous statistical characterization of this ordering using Monte Carlo permutation analysis against 100,000 random baselines. We find that the sequence has four statistically significant properties: higher-than-random transition distance (98.2nd percentile), negative lag-1 autocorrelation (p=0.037), yang-balanced groups of four (p=0.002), and asymmetric within-pair vs. between-pair distances (99.2nd percentile). These properties superficially resemble principles from curriculum learning and curiosity-driven exploration, motivating the hypothesis that they might benefit neural network training. We test this hypothesis through three experiments: learning rate schedule modulation, curriculum ordering, and seed sensitivity analysis, conducted across two hardware platforms (NVIDIA RTX 2060 with PyTorch and Apple Silicon with MLX). The results are uniformly negative. King Wen LR modulation degrades performance at all tested amplitudes. As curriculum ordering, King Wen is the worst non-sequential ordering on one platform and within noise on the other. A 30-seed sweep confirms that only King Wen's degradation exceeds natural seed variance. We explain why: the sequence's high variance -- the very property that makes it statistically distinctive -- destabilizes gradient-based optimization. Anti-habituation in a fixed combinatorial sequence is not the same as effective training dynamics.
- Abstract（参考訳）: I-Ching(紀元前1000年頃)の王ウェンの列は64ヘキサグラム(六次元の2進空間の状態)を3千年にわたって謎めいたパターンで並べている。
モンテカルロ変分法を用いて, ランダムベースライン10万に対して厳密な統計解析を行った。
この配列は4つの統計的に有意な性質を持つ: 高次ランダム遷移距離 (98.2%ile) 、負のラグ-1自己相関 (p=0.037) 、4つのyang平衡基 (p=0.002) 、非対称の対内距離 (99.2%ile) 。
これらの性質は、カリキュラムの学習や好奇心を駆使した探索の原理に似ており、ニューラルネットワークのトレーニングに有用かもしれないという仮説を動機付けている。
我々は,この仮説を,2つのハードウェアプラットフォーム(NVIDIA RTX 2060とPyTorch,Apple Silicon with MLX)で実施された,学習速度のスケジュール調整,カリキュラムの順序付け,シード感度分析という3つの実験を通じて検証した。
結果は一様に否定的である。
King Wen LR変調は、試験された全ての振幅で性能を劣化させる。
カリキュラムの注文として、キング・ウェンは1つのプラットフォームで、もう1つのプラットフォームで、そしてもう1つのプラットフォームで、最悪の非シークエンシャルな注文を行っている。
30シードスイープは、ウェン王の分解だけが天然の種子の分散を超えていることを確認する。
列の高分散(統計的に独特な性質)は勾配に基づく最適化を不安定にする。
固定組合せ列における反居住は、効果的な訓練力学と同じではない。
関連論文リスト
- Bit-Identical Medical Deep Learning via Structured Orthogonal Initialization [0.0]
深層学習トレーニングは非決定論的であり、異なるランダムなシードを持つ同一のコードは、集約メトリクスに異を唱えるが個々の予測に異を唱えるモデルを生成する。
ランダム性の3つの源を除去する検証ビット識別訓練の枠組みを提案する。
論文 参考訳（メタデータ） (2026-03-30T05:04:57Z) - Greedy Is a Strong Default: Agents as Iterative Optimizers [0.22843885788439797]
ランダムな提案生成装置をLCMエージェントに置き換え、評価診断を理由として情報付き候補を提案する。
離散的,混合的,連続的な検索空間にまたがる4つのタスクを評価する。
論文 参考訳（メタデータ） (2026-03-28T21:26:40Z) - Curriculum Learning for LLM Pretraining: An Analysis of Learning Dynamics [15.942130010323128]
我々はPythiaモデルを3つのキュリキュラAge-of-Acquisition、単語頻度、動詞変動(VV)に対して訓練し、それぞれをランダム順序と比較する。
順序の全体にわたって、トレーニングは遅延フェーズの共有シーケンスに従い、キュキュラは主としてフェーズ内のデータ露出を変化させる。
論文 参考訳（メタデータ） (2026-01-29T13:30:18Z) - The Sequential Edge: Inverse-Entropy Voting Beats Parallel Self-Consistency at Matched Compute [5.37133760455631]
言語モデルの推論のために、テスト時のスケーリングを再検討し、根本的な疑問を投げかけます。複数の独立したチェーンを並列に実行するか、あるいは、逐次的なステップを通じて反復的に洗練されるチェーンを少なくする方がよいのでしょうか?
逐次スケーリングは、95.6%の構成で支配的な並列自己整合パラダイムを継続的に上回り、精度は46.7%まで向上する。
逆エントロピー重み付き投票(Inverse-entropy weighted voting)は、シーケンシャルスケーリングの精度をさらに高める新しいトレーニング不要な手法である。
論文 参考訳（メタデータ） (2025-11-04T06:48:34Z) - Relative Scaling Laws for LLMs [91.73497548097775]
スケーリング法則は、追加のデータ、パラメータ、計算によって言語モデルがどのように改善されるかを記述する。
相対的なスケーリング法則を導入し、テスト分布間のパフォーマンスギャップをスケールで追跡する。
これらの結果は、スケーリングは全体的なパフォーマンスを改善するが、普遍的等化器ではないことを示している。
論文 参考訳（メタデータ） (2025-10-28T16:55:22Z) - Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs [51.00909549291524]
大型言語モデル(LLM)は認知バイアスを示す。
これらのバイアスはモデルによって異なり、命令チューニングによって増幅することができる。
これらのバイアスの違いが事前学習、微調整、あるいはランダムノイズに起因するかどうかは不明だ。
論文 参考訳（メタデータ） (2025-07-09T18:01:14Z) - Sebra: Debiasing Through Self-Guided Bias Ranking [54.09529903433859]
微粒なスプリシティ推定による試料のランク付けは,近年,バイアス緩和に大きく寄与することが示されている。
新たなulSelf-Guided ulBias ulRanking(emphSebra)に基づく脱バイアスフレームワークを提案する。
Sebraは、各クラス内のスプリシティによって、データポイントの自動ランキングを通じてバイアスを緩和する。
論文 参考訳（メタデータ） (2025-01-30T11:31:38Z) - Predicting the Stability of Hierarchical Triple Systems with
Convolutional Neural Networks [68.8204255655161]
本稿では,階層型三重項の安定性を予測する畳み込みニューラルネットワークモデルを提案する。
すべてのトレーニングされたモデルは公開されており、純粋な$N$-bodyメソッドよりも200ドルの速さで階層的な3重システムの安定性を予測することができる。
論文 参考訳（メタデータ） (2022-06-24T17:58:13Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Optimal Dynamic Regret in Exp-Concave Online Learning [28.62891856368132]
我々は、オンライン学習におけるZinkevich(2003)スタイルの動的後悔最小化の問題を検討する。
不適切な学習が許されるたびに、Strongly Adaptive のオンライン学習者は $tilde O(d3.5n1/3C_n2/3 vee dlog n)$ の動的後悔を達成する。
経路の長さ) 学習者が事前に知ることができない任意のコンパレータのシーケンス。
論文 参考訳（メタデータ） (2021-04-23T21:36:51Z) - Understanding self-supervised Learning Dynamics without Contrastive
Pairs [72.1743263777693]
自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。
BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。
単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
論文 参考訳（メタデータ） (2021-02-12T22:57:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。