論文の概要: Sometimes less is more: Investigating inductive biases of MLPs and Transformers on noisy k-parity features

• arxiv url: http://arxiv.org/abs/2610.37976v1
• Date: Tue, 27 Oct 2026 21:12:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.334144
• Title: Sometimes less is more: Investigating inductive biases of MLPs and Transformers on noisy k-parity features
• Title（参考訳）: MLPとトランスフォーマーの帰納バイアスをノイズk-パリティ特性で調べる
• Abstract要約: 雑音k-parityで符号化された1つ以上の特徴を含むデータセットで学習した場合、最適化と変換がどう違うかを検討する。 ノイズkパリティは、すべての機能の予測性と可利用性を制御できる、ハードな合成データセットを提供します。
• 参考スコア（独自算出の注目度）: 3.68886451991102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We empirically investigate how MLPs and Transformers differ when trained on data sets containing one or more features encoded by noisy k-parity. Noisy k-parity gives us hard synthetic data sets in which we can control the predictivity and availability of every feature. Across a range of data distributions, data scales and model sizes, we find large differences in the training dynamics and inductive biases of the two architectures: Transformers are more robust to noisy features but struggle to learn complex, low-availability features, whereas MLPs show the opposite trend and improve steadily with more data. We also find that, under a fixed training budget, increasing the number of unique training examples can slow Transformer optimisation enough to reduce final accuracy, so that a smaller data set performs better. Training-accuracy results show this is an optimisation-speed effect; it shrinks, but does not vanish, when the budget is scaled with the data set size. By giving precise control over feature predictivity and availability, this testbed offers a clear starting point for understanding when and why Transformers and MLPs learn differently, and for designing data and training budgets that exploit those differences.
• Abstract（参考訳）: 雑音k-parityで符号化された1つ以上の特徴を含むデータセットにおいて,MPPとTransformerの違いを経験的に検討した。 ノイズkパリティは、すべての機能の予測性と可利用性を制御できる、ハードな合成データセットを提供します。 トランスフォーマーはノイズの多い機能に対してより堅牢だが、複雑な低可用性機能を学ぶのに苦労する一方、MLPは反対の傾向を示し、より多くのデータで着実に改善する。 また、一定のトレーニング予算の下では、ユニークなトレーニングサンプルの数を増やすことで、Transformerの最適化が遅くなり、最終的な精度が低下し、より小さなデータセットの性能が向上することがわかった。 トレーニング精度の結果、これは最適化速度効果であり、データセットのサイズで予算がスケールされたときに縮小するが、消えることはない。 機能の予測と可用性を正確に制御することで、このテストベッドは、TransformerとMPPがいつ、なぜ異なることを学習するかを理解するための明確な出発点と、これらの違いを利用するデータ設計とトレーニング予算を提供する。

関連論文リスト

• Understanding the Role of Training Data in Test-Time Scaling [56.12341509545198]
  線形回帰のための文脈内重み予測タスクを訓練した変圧器の試験時間スケーリング性能について検討した。 多様な、関連性があり、難しいタスクセットでのトレーニングが、テスト時間のスケーリングに最高のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2025-10-04T01:38:48Z)
• Data Uniformity Improves Training Efficiency and More, with a Convergence Framework Beyond the NTK Regime [24.425649636862122]
  より均一に分散したデータを選択することで、トレーニング効率が向上し、性能が向上することを示す。 具体的には、より均一な(バイアスのない)分布が、データポイント間の最小ペア距離を大きくすることを示す。 理論的には、ニューラルネットワークの近似誤差は、h_min$が増加するにつれて減少する。
  論文  参考訳（メタデータ） (2025-06-30T17:58:30Z)
• Less but Better: Parameter-Efficient Fine-Tuning of Large Language Models for Personality Detection [14.829868031954266]
  パーソナリティ検出は、ソーシャルメディアのテキストなど、さまざまなデータソースから個人の個性を自動的に識別する。 言語モデルのパラメータスケールが拡大するにつれて、計算コストの管理がますます困難になる。 これらの課題に対処するために、パラメータ効率の良い新しい微調整フレームワークPersLLMを紹介した。
  論文  参考訳（メタデータ） (2025-04-07T18:30:39Z)
• When More Data Hurts: Optimizing Data Coverage While Mitigating Diversity Induced Underfitting in an Ultra-Fast Machine-Learned Potential [0.0]
  本研究では,学習データの多様性が機械学習型原子間ポテンシャル(MLIP)の性能に与える影響について検討する。 専門家と自律的に生成されたデータを使って、トレーニングデータを作成し、4つのフォースフィールドの変種をデータのサブセットに適合させる。 多様性不足は一般化を妨げるが,過度の多様性はMLIPの学習能力を超えうる。
  論文  参考訳（メタデータ） (2024-09-11T20:45:44Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in Transformers [59.87030906486969]
  本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。 本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。 本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
  論文  参考訳（メタデータ） (2022-10-12T15:25:19Z)
• Data Scaling Laws in NMT: The Effect of Noise and Architecture [59.767899982937756]
  ニューラルネットワーク翻訳(NMT)のデータスケーリング特性に及ぼすアーキテクチャとトレーニングデータ品質の影響について検討する。 データスケーリング指数は最小限の影響を受けており、より多くのデータを追加することで、極端に悪いアーキテクチャやトレーニングデータの補償が可能になることを示唆しています。
  論文  参考訳（メタデータ） (2022-02-04T06:53:49Z)
• Understanding the Difficulty of Training Transformers [120.99980924577787]
  バランスの取れない勾配がトレーニングの不安定性の根本原因ではないことを示す。 我々は,早期段階のトレーニングを安定させ,後期段階においてその潜在能力を最大限に活用するためのアドミンを提案する。
  論文  参考訳（メタデータ） (2020-04-17T13:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。