論文の概要: Human-Centered Learning Mechanics: A Dynamical Framework for Entropy-Regulated Representation Learning

• arxiv url: http://arxiv.org/abs/2605.22940v1
• Date: Thu, 21 May 2026 18:16:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.051578
• Title: Human-Centered Learning Mechanics: A Dynamical Framework for Entropy-Regulated Representation Learning
• Title（参考訳）: 人間中心型学習力学:エントロピー制御型表現学習のための動的フレームワーク
• Authors: Kim Phuc Tran,
• Abstract要約: オープンかつ制御された学習システムのための動的・情報理論の枠組みを提案する。 中心となる考え方は、選択されたエントロピーサロゲートが非退化情報力を生成する場合にのみ、エントロピー正則化が有用であるということである。 制御された表現学習実験は、幾何エントロピーがソフトマックス正規化エントロピーよりも強くより安定した情報力をもたらすという仮説を支持する。
• 参考スコア（独自算出の注目度）: 1.1675763847424785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning is increasingly viewed as a dynamical process in parameter space, yet many existing theories still treat training as a closed optimization system. This view is limited for real-world AI, where models operate under uncertainty, resource constraints, distribution shift, downstream decision risks, and human feedback. We propose Human-Centered Learning Mechanics (HCLM), a dynamical and information-theoretic framework for open and controlled learning systems. The central idea is that entropy regularization is useful only when the chosen entropy surrogate generates a non-degenerate information force along the optimization trajectory. Otherwise, entropy terms may produce weak, unstable, or misaligned gradients, causing the dynamics to collapse toward ordinary loss minimization. We introduce the notion of effective entropy and study tractable geometric entropy surrogates, including variance-based and log-determinant covariance proxies. The paper makes three contributions. First, it formalizes entropy regularization through effective information force and characterizes degenerate entropy regimes. Second, it derives convergence, entropy-flow, Wasserstein-gradient-flow, and noisy-representation generalization results under explicit assumptions. Third, it offers a conditional dynamical interpretation of scaling-law-like behavior as a balance between information injection, entropy dissipation, and residual risk, without claiming an unconditional derivation of empirical neural scaling laws. Controlled representation-learning experiments support the hypothesis that geometric entropy surrogates, especially log-determinant covariance entropy, induce stronger and more stable information forces than softmax-normalized entropy.
• Abstract（参考訳）: 深層学習はパラメータ空間のダイナミックなプロセスと見なされることが多いが、既存の多くの理論では訓練をクローズドな最適化システムとして扱っている。 この視点は、モデルが不確実性、リソース制約、分散シフト、下流の意思決定リスク、人間からのフィードバックの下で機能する現実世界のAIに限られている。 本研究では,オープンかつ制御された学習システムのための動的・情報理論フレームワークであるHuman-Centered Learning Mechanics (HCLM)を提案する。 中心的な考え方は、エントロピー正則化は、選択されたエントロピーサロゲートが最適化軌道に沿って非退化情報力を生成する場合にのみ有用であるということである。 さもなくばエントロピー項は弱い、不安定な、あるいは不整合な勾配を生じさせ、通常の損失最小化に向けて力学が崩壊する。 本稿では, 有効エントロピーの概念を導入し, 分散に基づく, 対数決定的共分散プロキシを含む, 抽出可能な幾何エントロピーサロゲートについて検討する。 論文には3つの貢献がある。 まず、効率的な情報力によってエントロピー正規化を定式化し、縮退するエントロピー体制を特徴付ける。 第二に、明確な仮定の下で収束、エントロピーフロー、ワッサーシュタイン勾配フロー、ノイズ表現一般化の結果を導出する。 第3に、情報注入、エントロピー散逸、残留リスクのバランスとして、経験的ニューラルネットワークスケーリング法則の無条件導出を主張することなく、スケーリング法則のような振る舞いの条件付き動的解釈を提供する。 制御された表現学習実験は、幾何学的エントロピー、特に対数決定的共分散エントロピーがソフトマックス正規化エントロピーよりも強くより安定した情報力をもたらすという仮説を支持する。

関連論文リスト

• Entropy Polarity in Reinforcement Fine-Tuning: Direction, Asymmetry, and Control [77.8471519867791]
  実験的に、エントロピー極性はエントロピーの変化を確実に予測することを示した。 本稿では、両極性分岐を保護し、有利な再重み付けによるエントロピー制御を実装するPAPO(Polarity-Aware Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-05-12T08:47:05Z)
• Understanding and Preventing Entropy Collapse in RLVR with On-Policy Entropy Flow Optimization [53.75029276020459]
  本研究では,エントロピー変化への寄与に応じて,エントロピー増加とエントロピー減少の更新を再スケールする適応的エントロピーフローバランス機構を提案する。 6つの数学的推論ベンチマークの実験は、OPEFOがトレーニングと最終的なパフォーマンスを改善することを示した。
  論文  参考訳（メタデータ） (2026-05-12T04:08:17Z)
• Entropy-Reservoir Bregman Projection: An Information-Geometric Unification of Model Collapse [3.533187668612022]
  本稿では,これらの現象を統一する情報幾何学的枠組みであるEntropyReser Bregman Projection- ERBPを提案する。 我々の理論は崩壊に必要な条件、(ii)非言語エントロピーフロアを保証する十分な条件、(iii)サンプルサイズに依存する閉形式率をもたらす。
  論文  参考訳（メタデータ） (2025-12-16T19:50:03Z)
• Rethinking Entropy Interventions in RLVR: An Entropy Change Perspective [11.65148836911294]
  エントロピー崩壊は政策の多様性の急激な喪失であり、探検と爆発の不均衡から起因し、一般化の欠如につながっている。 最近のエントロピー・インターベンション法は、色覚エントロピーの崩壊を防ぐことを目的としているが、その基盤となるメカニズムは明らかになっていない。 エントロピー変化を考慮した再重み付け方式,すなわち,再重み付け(STEER)によるトークンレベルのエントロピーチェンジEの安定化を提案する。
  論文  参考訳（メタデータ） (2025-10-11T10:17:38Z)
• The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models [99.98293908799731]
  本稿では,LLMによる推論,すなわち政策エントロピーの崩壊において,RLのスケーリングの大きな障害を克服することを目的としている。 実際には、エントロピーHと下流性能Rの間の変換方程式R=-a*eH+bを確立する。 Clip-Cov と KL-Cov という2つの単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:38:45Z)
• Entropy-Based Block Pruning for Efficient Large Language Models [81.18339597023187]
  性能を維持しつつ効率を向上するエントロピー型プルーニング戦略を提案する。 経験的分析により、隠れ表現のエントロピーは初期ブロックでは減少するが、その後のほとんどのブロックでは徐々に増加することが明らかとなった。
  論文  参考訳（メタデータ） (2025-04-04T03:42:34Z)
• Action Redundancy in Reinforcement Learning [54.291331971813364]
  遷移エントロピーはモデル依存遷移エントロピーと作用冗長性という2つの用語で記述できることを示す。 その結果,行動冗長性は強化学習の根本的な問題であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-22T19:47:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。