論文の概要: Game-Theoretic Gradient Control for Robust Neural Network Training

• arxiv url: http://arxiv.org/abs/2507.19143v1
• Date: Fri, 25 Jul 2025 10:26:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-28 16:16:48.922346
• Title: Game-Theoretic Gradient Control for Robust Neural Network Training
• Title（参考訳）: ロバストニューラルネットワークトレーニングのためのゲーム理論勾配制御
• Authors: Maria Zaitseva, Ivan Tomilov, Natalia Gusarova,
• Abstract要約: フィードフォワードニューラルネットワーク(FFNN)は入力ノイズに弱いため、予測性能が低下する。 本研究の目的は,バックプロパゲーションを改良し,マルチエージェントゲームとして解釈し,制御対象変数の雑音化を探索することにより,FFNN雑音の頑健性を高めることである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feed-forward neural networks (FFNNs) are vulnerable to input noise, reducing prediction performance. Existing regularization methods like dropout often alter network architecture or overlook neuron interactions. This study aims to enhance FFNN noise robustness by modifying backpropagation, interpreted as a multi-agent game, and exploring controlled target variable noising. Our "gradient dropout" selectively nullifies hidden layer neuron gradients with probability 1 - p during backpropagation, while keeping forward passes active. This is framed within compositional game theory. Additionally, target variables were perturbed with white noise or stable distributions. Experiments on ten diverse tabular datasets show varying impacts: improvement or diminishing of robustness and accuracy, depending on dataset and hyperparameters. Notably, on regression tasks, gradient dropout (p = 0.9) combined with stable distribution target noising significantly increased input noise robustness, evidenced by flatter MSE curves and more stable SMAPE values. These results highlight the method's potential, underscore the critical role of adaptive parameter tuning, and open new avenues for analyzing neural networks as complex adaptive systems exhibiting emergent behavior within a game-theoretic framework.
• Abstract（参考訳）: フィードフォワードニューラルネットワーク(FFNN)は入力ノイズに弱いため、予測性能が低下する。 ドロップアウトのような既存の正規化手法は、しばしばネットワークアーキテクチャを変更したり、ニューロンの相互作用を見落としたりする。 本研究の目的は,バックプロパゲーションを改良し,マルチエージェントゲームとして解釈し,制御対象変数の雑音化を探索することにより,FFNN雑音の頑健性を高めることである。 我々の「段階的なドロップアウト」は、後部プロパゲーション中に1 - pの確率で隠れた層ニューロン勾配を選択的に無効化し、前部をアクティブに保ちます。 これは構成ゲーム理論の中に組み込まれている。 さらに、対象変数は白色雑音や安定分布で乱れていた。 10の多様な表付きデータセットの実験では、データセットやハイパーパラメータによって、堅牢性や正確性の改善や低下など、さまざまな影響が示されている。 特に、回帰タスクでは、勾配降下(p = 0.9)と安定分布目標の組合せにより入力雑音の頑健性が著しく増加し、より平坦なMSE曲線とより安定したSMAPE値によって証明された。 これらの結果から,適応的パラメータチューニングの重要な役割と,ゲーム理論フレームワーク内での創発的振る舞いを示す複雑な適応システムとしてニューラルネットワークを解析するための新たな手法が明らかになった。

関連論文リスト

• Variational Adaptive Noise and Dropout towards Stable Recurrent Neural Networks [6.454374656250522]
  本稿では、リカレントニューラルネットワーク(RNN)のための新しい安定学習理論を提案する。 明示的な正規化項を暗黙的な正規化に変換することで、ノイズとドロップアウトを同時に引き出すことができることを示す。 また、RNNの主目的を最適化するために、それぞれのスケールと比率を適切に調整することもできる。
  論文  参考訳（メタデータ） (2025-06-02T06:13:22Z)
• Stochastic Forward-Forward Learning through Representational Dimensionality Compression [7.847900313045352]
  フォワードフォワード(FF)アルゴリズムは、ニューラルネットワークのトレーニングのためのバックプロパゲーション(BP)のボトムアップ代替を提供する。 本稿では, 2次統計構造を組み込むために, 変動するニューラルレスポンスの有効次元性(ED)を用いて, 次元圧縮と呼ばれる新しい良性関数を提案する。
  論文  参考訳（メタデータ） (2025-05-22T13:19:29Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Towards Robust Neural Networks via Close-loop Control [12.71446168207573]
  深層ニューラルネットワークは、ブラックボックスの性質のため、様々な摂動に弱い。 近年の研究では、入力データが知覚不可能な量で摂動しても、ディープニューラルネットワークがデータを誤分類できることが示されている。
  論文  参考訳（メタデータ） (2021-02-03T03:50:35Z)
• Bayesian Nested Neural Networks for Uncertainty Calibration and Adaptive Compression [40.35734017517066]
  ネストネットワーク(Nested Network)またはスリムブルネットワーク(Slimmable Network)は、テスト期間中にアーキテクチャを即座に調整できるニューラルネットワークである。 最近の研究は、トレーニング中に重要なレイヤのノードを順序付けできる"ネストされたドロップアウト"層に焦点を当てている。
  論文  参考訳（メタデータ） (2021-01-27T12:34:58Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Ramifications of Approximate Posterior Inference for Bayesian Deep Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
  ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。 予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
  論文  参考訳（メタデータ） (2020-09-03T16:58:15Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。