論文の概要: Percolation of Data Constraints and Reorganization of Boolean Function States in Parity Learning

• arxiv url: http://arxiv.org/abs/2610.13233v1
• Date: Fri, 09 Oct 2026 08:51:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.483479
• Title: Percolation of Data Constraints and Reorganization of Boolean Function States in Parity Learning
• Title（参考訳）: パリティラーニングにおけるデータ制約の解消とブール関数状態の再編成
• Abstract要約: ニューラルネットワークは、学習が進むにつれて、学習機能を再編成する。 小さいデータの追加はシュミットスペクトルを広げる一方、より大きなデータの追加はターゲットモードで再集中する。
• 参考スコア（独自算出の注目度）: 1.9290392443571385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study how a neural network reorganizes its learned function as training proceeds and as previously unseen parity data accumulate. The trained model is itself a Boolean function on binary strings of finite length. We then evaluate it on all data, inside and outside the training set, and read off its complete sign table. Its $\pm1$ entries are the amplitudes of a normalized state, dubbed the function-state, whose inverse subsystem purity $K_f=1/\textrm{Tr}(ρ_A^2)$ is an effective Schmidt rank. We find that small data additions broaden the Schmidt spectrum, whereas larger additions reconcentrate it in the target mode. The former is called differentiation because the model distinguishes inputs more sharply. The latter is called target-selective recoherence, where the model settles on the single rule shared by the added data. As the dataset grows, the connectivity of the constraint graph defined by the training set increases monotonically, whereas the learned inverse purity changes nonmonotonically. On a fixed connected dataset, as learning proceeds, the Schmidt spectrum begins to reorganize, followed by gains in target alignment and later by improvement in predictive accuracy. This ordering distinguishes three aspects of learning: constraint identifiability, function-state organization, and predictive accuracy. At fixed data size, a function that has already been learned can re-differentiate, an event we call retreat, without changing graph connectivity. Recovery reconcentrates the Schmidt spectrum in a similar target-selective pattern, without exact recurrence of the Boolean state. Thus the percolation of data constraints fixes the identifiable support, while the reduced state produced by training continues to reorganize even after that support stops changing.
• Abstract（参考訳）: 我々は、トレーニングが進むにつれてニューラルネットワークが学習機能を再構築し、これまで見つからなかったパリティデータを蓄積する方法について研究する。 訓練されたモデルはそれ自体、有限長のバイナリ文字列上のブール関数である。 そして、トレーニングセット内外にあるすべてのデータでそれを評価し、その完全なサインテーブルを読み上げます。 その$\pm1$エントリは、関数状態と呼ばれる正規化された状態の振幅であり、逆サブシステム純度$K_f=1/\textrm{Tr}(ρ_A^2)$は有効シュミットランクである。 小さいデータの追加はシュミットスペクトルを広げる一方、より大きなデータの追加はターゲットモードで再集中する。 前者は、モデルが入力をより鋭く区別するため、微分と呼ばれる。 後者はターゲット選択的リコヒーレンスと呼ばれ、モデルが追加データで共有される単一のルールに落ち着く。 データセットが大きくなるにつれて、トレーニングセットによって定義された制約グラフの接続性は単調に増加し、学習された逆純度は単調に変化する。 固定接続データセットでは、学習が進むにつれてシュミットスペクトルが再編成され始め、続いて目標アライメントが増加し、その後予測精度が向上する。 この順序付けは、制約識別可能性、機能状態の組織、予測精度の3つの側面を区別する。 固定データサイズでは、既に学習されている関数は、グラフ接続を変更することなく、リトリートと呼ばれるイベントである再分化することができる。 回復は、ブール状態の正確な再発なしに、シュミットスペクトルを同様の標的選択パターンで再集中させる。 このように、データ制約のパーコレーションによって識別可能なサポートが修正される一方、トレーニングによって生成された削減された状態は、サポートが変更されなくなった後も再編成され続ける。

関連論文リスト

• Task Vector Descent: Learning from Non-IID Batches [73.36333480977952]
  モデルをアクティブディストリビューションに適応させることは、アクティブディストリビューションのモデルを改善することができるが、以前トレーニングされたデータのパフォーマンス低下につながる可能性がある。 完全変位(=1$)と部分積分(英語版)を比較し、継続モデルに適用する前にタスクベクトルを$$スケールし、同じ係数で状態をスケールする。
  論文  参考訳（メタデータ） (2026-10-04T17:37:49Z)
• First Learn, Then Memorize: The Spectral Bias of Diffusion Models [5.939780039158003]
  有限データセットでトレーニングされた拡散モデルは、まず新しい高品質なサンプルを生成することを学ぶ。 我々は、それを探査する物体のこの分離の背後にあるメカニズムを同定する。 スコア関数のトレーニング力学は、実際に、任意の幅において、ニューラル・タンジェント・カーネル(NTK)のグラム行列によって制御される。 それらの構造が標準のカーネル設定に類似していないことを示す。
  論文  参考訳（メタデータ） (2026-09-28T15:13:46Z)
• Hidden Gauge Controls Feature Specialization in ReLU Networks [0.0]
  トレーニングはネットワークの予測を変更し、内部ユニットにタスク関連構造を割り当てる。 我々は、そのニューロンの特徴的所有権のアイデンティティを呼び出し、初期予測子に見えないパラメータ選択によって制御できるかどうかを問う。 我々は,大域的選択と機能的プルーニングを証明し,有限時間選択を可視摂動に拡張し,フルバッチ勾配を小さくする。
  論文  参考訳（メタデータ） (2026-08-07T03:39:09Z)
• Partial Feedback Online Learning [88.27143767009376]
  我々は、偏見フィードバックオンライン学習と呼ばれる新しい学習プロトコルについて研究する。 各インスタンスは許容できるラベルのセットを許可するが、学習者は1ラウンドごとに許容できるラベルを1つだけ観察する。
  論文  参考訳（メタデータ） (2026-01-29T09:39:11Z)
• ResAD++: Towards Class Agnostic Anomaly Detection via Residual Feature Learning [52.11294707895649]
  本稿では,クラス非依存型異常検出(AD)の問題点について検討する。 目的は、ターゲットデータの再トレーニングや微調整をせずに、異なるドメインから様々な新しいクラスの異常を一般化して検出できる、クラスに依存しないADモデルをトレーニングすることである。 8つの実世界のADデータセットに関する総合的な実験は、ResAD++が新しいクラスで直接使用されると、素晴らしいAD結果が得られることを示した。
  論文  参考訳（メタデータ） (2025-09-28T08:41:05Z)
• Unlearning at Scale: Implementing the Right to be Forgotten in Large Language Models [0.0]
  我々のアプローチは最小限のプログラムとして扱い、マイクロバッチレコードにログを出力する。 ピン付きスタックと決定論的カーネルの下で、トレーニングテールを再生すると、トレーニング保持セットと同じパラメータが生成される。
  論文  参考訳（メタデータ） (2025-08-17T03:29:22Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。 しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• More data or more parameters? Investigating the effect of data structure on generalization [17.249712222764085]
  データの特性は、トレーニング例の数とトレーニングパラメータの数の関数としてテストエラーに影響を与えます。 ラベル内のノイズや入力データの強い異方性がテストエラーと同じような役割を担っていることを示す。
  論文  参考訳（メタデータ） (2021-03-09T16:08:41Z)
• Learning Successor States and Goal-Dependent Values: A Mathematical Viewpoint [18.70146287117806]
  後続状態とゴール依存値関数学習のための時間差アルゴリズムを導出する。 連続環境においても有限分散推定器を提供する。 長期依存関係に対する固定ポイントを完全に理解しています。
  論文  参考訳（メタデータ） (2021-01-18T15:33:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。