論文の概要: The Conflict Between Logic and Memory: Learning Higher-Order Interactions in Shallow MLPs

• arxiv url: http://arxiv.org/abs/2610.00403v1
• Date: Wed, 30 Sep 2026 13:08:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.636138
• Title: The Conflict Between Logic and Memory: Learning Higher-Order Interactions in Shallow MLPs
• Title（参考訳）: 論理と記憶の対立--浅MLPにおける高次相互作用の学習
• Abstract要約: ネットワークはトレーニング例に適合し、ラベルを生成するルールの回復に失敗する。 単層多層パーセプトロン(MLP)におけるこの分離について検討する。 純パリティは予測的低次限界を含まず、正確なベイズ後続を許容し、幅$k$ReLUネットワークによってクリーン潜時入力に表現できる。
• 参考スコア（独自算出の注目度）: 11.323131201168572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A network can fit its training examples while failing to recover the rule that generated their labels. We examine this separation in single-hidden-layer multilayer perceptrons (MLPs), using synthetic tasks that control interaction order and the presence of nuisance inputs. We establish elementary benchmark properties: pure parity contains no predictive lower-order marginals, admits an exact Bayes posterior, and can be represented on clean latent inputs by a width-$k$ ReLU network. Experiments then identify distinct optimization outcomes. In a matched order-2--4 sweep, SGD, Adam, and Muon all reach 100\% peak test accuracy at order two; at order three they reach 96.25\%, 50.87\%, and 76.82\%, respectively, while Muon reaches 99.21\% at order four. In a separate mixed-order task, freezing only the first-layer weights connected to independent nuisance inputs raises AdamW's epoch-10 accuracy from 44.73\% to 95.07\%. Removing the same inputs only at test time raises it to 48.38\%. Thus, nuisance-weight learning changes the training outcome beyond its immediate effect on prediction. Bias interventions expose a connection between target symmetry and shallow ReLU representations. In a compact signal-only regime, both SGD and Muon learn orders five through eight, with higher SGD peak accuracy at orders nine through eleven. Together, the results show how optimization and nuisance learning constrain the higher-order rules realized by a shallow network.
• Abstract（参考訳）: ネットワークはトレーニング例に適合し、ラベルを生成するルールの回復に失敗する。 本研究は, 単層多層パーセプトロン(MLP)において, 相互作用順序とニュアンス入力の有無を制御した合成タスクを用いて, この分離について検討する。 純パリティは予測的低次限界を含まず、正確なベイズ後続を許容し、幅$k$ReLUネットワークによってクリーン潜時入力に表現できる。 実験は異なる最適化結果を特定する。 SGD、Adam、Muonの3つは、それぞれ96.25\%、50.87\%、76.82\%、Muonは99.21\%である。 独立した混合順序タスクでは、独立したニュアンス入力に接続された第一層重みのみを凍結すると、AdamWのエポック10の精度は44.73\%から95.07\%に上昇する。 同じ入力をテスト時にだけ取り除くと48.38\%に上昇する。 このように、ニュアンス重み学習は、予測に対する即時効果以上のトレーニング結果を変化させる。 バイアス介入はターゲット対称性と浅いReLU表現の間の接続を公開する。 小型信号のみのシステムでは、SGDとMuonは共に5から8のオーダーを学習し、SGDのピーク精度は9から11のオーダーで高い。 その結果,浅層ネットワークによって実現された高次規則を最適化とニュアンス学習がいかに制約するかが示された。

関連論文リスト

• DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation [50.43969311607643]
  DMAD, Distribution Matching as Adversarial Distillationを導入し, 分布マッチングを分類として再放送する。 判別器では,これらの損失が分布マッチングの基礎となるDMDを回復することを示す。 DMADはFréchet Inception Distance (FID) 1.04、ImageNet-64x64 14.47、COCO-10Kの4ステップSDXL、VBenchの合計スコアは85.15、Wan2.1-T2V-14Bである。
  論文  参考訳（メタデータ） (2026-10-01T17:59:01Z)
• Why Deterministic PRM Guidance Underperforms in Discrete Diffusion Reasoning [0.2676349883103404]
  この結果から,前払いパスと同じ予算で denoising, PRM score, outcome reward model (ORM) スコアを突破すると, 決定論的形式ははるかに単純なベースラインに低下することがわかった。 我々のPRMは中間的認知状態を記録し、最終回答の正しさを訓練する。
  論文  参考訳（メタデータ） (2026-09-28T15:54:05Z)
• Learn Now, Use Next, Trust Later: Prequential Test-Time Learning for LLM Agents [55.440058537827134]
  StepLearnは、永続的な信頼から即時の使用を分離する非パラメトリックフレームワークである。 情報的な遷移を仮説に変え、次のステップを導く。 GPT-5-miniでの平均成功率は59.9%、84.0%、Qwen3.5-35B-A3Bで57.8%、88.1%である。
  論文  参考訳（メタデータ） (2026-09-28T08:06:03Z)
• Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence in LLM Inference [13.137699166830322]
  大規模言語モデルからのグレディ復号は、一般に決定論的として扱われる。 同一のモデル,プロンプト,デコードアルゴリズムは同一のハードウェア上で,BF16とFP16の異なる出力を生成する。 実験により,22層に蓄積したボディーエラーは,浮動小数点数と浮動小数点数とを区別しないことがわかった。
  論文  参考訳（メタデータ） (2026-09-22T15:54:16Z)
• Correct Tests Are Not Enough: Measuring and Training Oracle Conversion in Specification-Based Test Generation [14.44743150931186]
  自然言語仕様からテストを生成するには、異常な振る舞いを公開する入力と、正しい期待出力の両方が必要である。 我々は,この相互作用を,実行可能報酬分解とスイートレベルのオラクル変換測定を通じて研究する。 生成器は1つの応答で5つの入出力試験を共同で出力する。
  論文  参考訳（メタデータ） (2026-09-05T04:56:31Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
  マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。 パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
  論文  参考訳（メタデータ） (2026-06-09T13:17:27Z)
• Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
  シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。 我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。 GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
  論文  参考訳（メタデータ） (2026-06-04T05:43:12Z)
• Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
  ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。 本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
  論文  参考訳（メタデータ） (2026-05-07T06:31:34Z)
• Relational Preference Encoding in Looped Transformer Internal States [0.0]
  ループ変換器は内部の反復状態においてどのように人間の嗜好を符号化するかを検討する。 繰り返し洗練された2.6Bパラメータループ変換器であるOuro-2.6B-Thinkingを用いて,各ループ繰り返しから隠れた状態を抽出する。 我々は、HH-RLHFデータセット上で人間の嗜好を予測するために軽量評価器ヘッドを訓練する。 我々のペアワイズ評価器は8,552個の未確認例に対して95.2%の精度を達成し、ベースモデルは完全に凍結されている間に全バッチのL-BFGSプローブ(84.5%)を上回った。
  論文  参考訳（メタデータ） (2026-04-10T20:00:49Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。