Fugu-MT 論文翻訳(概要): Dynamical Batching: How Class-Cycling Training Shapes the Internal Structure of Neural Networks

論文の概要: Dynamical Batching: How Class-Cycling Training Shapes the Internal Structure of Neural Networks

arxiv url: http://arxiv.org/abs/2610.26156v1
Date: Mon, 19 Oct 2026 10:44:18 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-23 19:21:23.453521
Title: Dynamical Batching: How Class-Cycling Training Shapes the Internal Structure of Neural Networks
Title（参考訳）: 動的バッチ: クラスサイクルトレーニングがニューラルネットワークの内部構造をどのように形作るか
Abstract要約: ニューラルネットワークの性能と内部構造の両方を、循環的に変化する訓練のバッチが変更できるかどうかを検討する。 Dynamicalを導入します。ネットワーク(Networks)は、損失と変化を残しながら各クラスを強調するサンプリングプロトコルである。時間内でどれだけの強調が分散されているかは、ソリューションネットワークの到達とネットワークの内部構造の両方を形作ることができることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We investigate whether cyclically varying the class composition of training batches can modify both the performance and the internal organization of neural networks. Motivated by nonequilibrium systems, in which cycling between related sub-goals can make switching between their solutions increasingly efficient, we introduce Dynamical Batching (DB), a sampling protocol that periodically emphasizes each class while leaving the loss and the optimizer unchanged, and compare it with Uniform Batching (UB), in which every mini-batch has equal class proportions. In the regime where standard training fails, DB changes the outcome: on a three-arm spiral, a capacity-limited MLP that plateaus far below perfect accuracy under UB fits the training data under DB. Tracking individual weights, we find that under DB the change between class-specialized states is carried by a smaller set of weights than under UB, and that this set is markedly more persistent from cycle to cycle, on every synthetic dataset we test and in a wider network that fits the data under both protocols. This organization is a signature of the protocol rather than a predictor of its benefit: it appears equally where DB leaves accuracy unchanged. On CIFAR-10, the same protocol modestly improves the test accuracy of a channel-narrowed ResNet-10, a standard residual architecture, and of a second capacity-limited convolutional network. These results show that how class emphasis is distributed in time can shape both the solution a network reaches and the internal structure of the network.
Abstract（参考訳）: 学習バッチのクラス構成を循環的に変化させることで,ニューラルネットワークの性能と内部構造を両立させることができるかを検討する。非平衡システムによって動機付けられ、関連するサブゴール間のサイクリングによって解の切り替えがより効率的になり、損失とオプティマイザをそのまま残しながら各クラスを周期的に強調するサンプリングプロトコルであるDynamical Batching (DB)を導入し、全てのミニバッチが同じクラス比を持つUniform Batching (UB)と比較する。標準的なトレーニングが失敗する体制では、DBは結果を変える: 3アームのスパイラルでは、容量制限のMLPは、UBの下では完璧な精度よりはるかに低い精度で、DBの下でのトレーニングデータに適合する。個々の重みを追跡することで、DBの下では、クラス特殊化状態間の変化はUBよりも小さな重みによって運ばれ、このセットは、我々がテストするすべての合成データセットと、両方のプロトコルの下でデータに適合するより広いネットワークにおいて、サイクルからサイクルまで著しく永続的であることが分かる。この組織は、その利益の予測者ではなく、プロトコルの署名である。 CIFAR-10では、同じプロトコルがチャンネルを狭めるResNet-10、標準残差アーキテクチャ、および第2の容量制限畳み込みネットワークのテスト精度をわずかに改善する。これらの結果は,ネットワークが到達する解とネットワークの内部構造の両方を形作ることができることを示す。

関連論文リスト

Signal-to-Noise Ratio and Sample Size Govern Representational Alignment in Neural Networks [48.553902624178995]
我々は、ノイズプロセスの独立実現によるトレーニングセットを用いて、回帰および分類タスクにおけるネットワークのアンサンブルを訓練する。信号対雑音比(SNR)とトレーニングサンプルサイズがアライメントに影響を及ぼすことを示す。線形および非線形ネットワーク全体、回帰および分類タスク、および合成および実世界のデータの両方において、アライメントがSNRと単調に変化することを一貫して観察する。
論文参考訳（メタデータ） (2026-05-26T12:58:48Z)
Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
マルチモーダル学習は、しばしば低品質データの課題に悩まされる。コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
論文参考訳（メタデータ） (2026-05-05T14:48:52Z)
Empirical Ablation and Ensemble Optimization of a Convolutional Neural Network for CIFAR-10 Classification [0.0]
畳み込みニューラルネットワーク(CNN)は画像分類において中心的なアプローチである。本稿では,CIFAR-10ベンチマークのCNN最適化に関する経験的アブレーションに基づく研究について述べる。
論文参考訳（メタデータ） (2026-04-26T20:08:26Z)
FedSQ: Optimized Weight Averaging via Fixed Gating [1.2058208023553034]
フェデレーション学習は、生データを共有することなく、組織間で協調的なトレーニングを可能にする。本稿では、DualCopyに基づくトランスファードニューラルフェデレーションであるFedSQ(Federated Structure-Quantitative Learning)を提案する。ゲーティングの固定は、学習を不均一な分割下での凝集を安定化するアフィン内部の精製に還元する。
論文参考訳（メタデータ） (2026-04-03T11:54:23Z)
Class Confidence Aware Reweighting for Long Tailed Learning [0.8297806372438926]
本稿では,長期学習のためのクラスの設計と信頼性を考慮した再重み付け手法を提案する。我々は、(p_t,f_c)関数を用いて、予測の信頼性値に基づいて、トレーニングタスクに対するコントリビューションの変調を可能にする。
論文参考訳（メタデータ） (2026-01-22T12:58:05Z)
Feedback Alignment Meets Low-Rank Manifolds: A Structured Recipe for Local Learning [7.034739490820967]
バックプロパゲーション(BP)を用いたディープニューラルネットワーク(DNN)のトレーニングは、最先端の精度を実現するが、大域的なエラー伝搬と完全なパラメータ化が必要である。ダイレクトフィードバックアライメント(DFA)は、メモリ要件の低いローカルで並列化可能な更新を可能にする。低ランク多様体上で直接動作する構造化局所学習フレームワークを提案する。
論文参考訳（メタデータ） (2025-10-29T15:03:46Z)
Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文参考訳（メタデータ） (2024-05-22T17:23:15Z)
Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文参考訳（メタデータ） (2022-12-14T07:35:20Z)
The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
論文参考訳（メタデータ） (2020-06-29T17:59:26Z)
Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。