論文の概要: Robust Bidirectional Associative Memory via Regularization Inspired by the Subspace Rotation Algorithm

• arxiv url: http://arxiv.org/abs/2511.11902v1
• Date: Fri, 14 Nov 2025 22:15:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:23.381119
• Title: Robust Bidirectional Associative Memory via Regularization Inspired by the Subspace Rotation Algorithm
• Title（参考訳）: 部分空間回転アルゴリズムによる正則化によるロバストな双方向連想記憶
• Authors: Ci Lin, Tet Yeap, Iluju Kiringa, Biwei Zhang,
• Abstract要約: 双方向バックプロパゲーション (B-BP) で訓練された双方向連想記憶 (BAM) は、しばしば頑健さが悪く、ノイズや敵の攻撃に対する高い感度に悩まされる。 本稿では,BAMの頑健性と収束性を大幅に向上させる,新しい勾配なし学習アルゴリズムである双方向部分空間回転アルゴリズム(B-SRA)を提案する。
• 参考スコア（独自算出の注目度）: 0.2099922236065961
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bidirectional Associative Memory (BAM) trained with Bidirectional Backpropagation (B-BP) often suffers from poor robustness and high sensitivity to noise and adversarial attacks. To address these issues, we propose a novel gradient-free training algorithm, the Bidirectional Subspace Rotation Algorithm (B-SRA), which significantly improves the robustness and convergence behavior of BAM. Through comprehensive experiments, we identify two key principles -- orthogonal weight matrices (OWM) and gradient-pattern alignment (GPA) -- as central to enhancing the robustness of BAM. Motivated by these findings, we introduce new regularization strategies into B-BP, resulting in models with greatly improved resistance to corruption and adversarial perturbations. We further conduct an ablation study across different training strategies to determine the most robust configuration and evaluate BAM's performance under a variety of attack scenarios and memory capacities, including 50, 100, and 200 associative pairs. Among all methods, the SAME configuration, which integrates both OWM and GPA, achieves the strongest resilience. Overall, our results demonstrate that B-SRA and the proposed regularization strategies lead to substantially more robust associative memories and open new directions for building resilient neural architectures.
• Abstract（参考訳）: 双方向バックプロパゲーション (B-BP) で訓練された双方向連想記憶 (BAM) は、しばしば頑健さが悪く、ノイズや敵の攻撃に対する高い感度に悩まされる。 これらの問題に対処するために,BAMの頑健性と収束性を大幅に改善する,新しい勾配なし学習アルゴリズムである双方向部分空間回転アルゴリズム(B-SRA)を提案する。 総合的な実験を通して、直交重量行列(OWM)と勾配パターンアライメント(GPA)という2つの重要な原則を、BAMの堅牢性を高める中心として特定する。 これらの結果から,B-BPに新たな正規化戦略を導入し,汚損に対する抵抗性と対向的摂動を著しく改善したモデルを構築した。 さらに,攻撃シナリオや記憶能力の異なる,50,100,200対の連想ペアにおいて,最も堅牢な構成を判定し,BAMの性能を評価するため,さまざまなトレーニング戦略のアブレーション調査を実施している。 すべての方法の中で、OWMとGPAの両方を統合したMata構成は、強力なレジリエンスを実現している。 全体として、B-SRAと提案した正規化戦略により、より堅牢な連想記憶が得られ、レジリエントなニューラルアーキテクチャを構築するための新たな方向性が開かれた。

関連論文リスト

• Thinking Forward and Backward: Multi-Objective Reinforcement Learning for Retrieval-Augmented Reasoning [137.33138614095435]
  Retrieval-augmented Generation (RAG) は、大規模言語モデルにおける幻覚の緩和に有効であることが証明されている。 近年、検索に基づく対話をRAGに組み込んで、リアルタイム検索による反復推論を可能にしている。 提案するBi-RARは,各中間ステップを前方方向と後方方向の両方で共同で評価する,新たな検索拡張推論フレームワークである。
  論文  参考訳（メタデータ） (2025-11-12T08:29:39Z)
• Bridging Symmetry and Robustness: On the Role of Equivariance in Enhancing Adversarial Robustness [9.013874391203453]
  敵対的な例では、知覚不能な入力摂動に対する感度を利用して、ディープニューラルネットワークの重大な脆弱性を明らかにしている。 本研究では,群-同変畳み込みを組込み,対向ロバスト性に対するアーキテクチャ的アプローチについて検討する。 これらの層は、モデル行動と入力空間の構造化変換を整合させる対称性の先行を符号化し、よりスムーズな決定境界を促進する。
  論文  参考訳（メタデータ） (2025-10-17T19:26:58Z)
• Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning [58.533203990515034]
  ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。 我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。 アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
  論文  参考訳（メタデータ） (2025-10-14T03:03:08Z)
• Binarization-Aware Adjuster: Bridging Continuous Optimization and Binary Inference in Edge Detection [0.0]
  画像エッジ検出(ED)は、トレーニングと推論の根本的なミスマッチに直面します。 本稿では,バイナリ化アウェア (BAA) を設計するための理論的手法を提案する。 BAAは二項化の挙動を勾配に基づく最適化に明示的に組み入れている。
  論文  参考訳（メタデータ） (2025-06-14T11:56:44Z)
• NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
  本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T06:59:17Z)
• Adversarial Training in Low-Label Regimes with Margin-Based Interpolation [8.585017175426023]
  敵の攻撃に抵抗する堅牢なニューラルネットワークモデルをトレーニングするための効果的なアプローチとして、敵のトレーニングが登場した。 本稿では,頑健性と自然な精度を両立させる,新たな半教師付き対人訓練手法を提案する。
  論文  参考訳（メタデータ） (2024-11-27T00:35:13Z)
• Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
  大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。 本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
  論文  参考訳（メタデータ） (2024-05-24T14:20:09Z)
• Enhancing Infrared Small Target Detection Robustness with Bi-Level Adversarial Framework [61.34862133870934]
  本稿では,異なる汚職の存在下での検出の堅牢性を促進するために,二段階の対向的枠組みを提案する。 我々の手法は広範囲の汚職で21.96%のIOUを著しく改善し、特に一般ベンチマークで4.97%のIOUを推進している。
  論文  参考訳（メタデータ） (2023-09-03T06:35:07Z)
• Improved Robustness Against Adaptive Attacks With Ensembles and Error-Correcting Output Codes [0.0]
  本研究では, 誤り訂正出力符号(ECOC)アンサンブルの堅牢性について, アーキテクチャ改善と多様性向上を通じて検討する。 本研究では,適応攻撃に対する包括的ロバストネス評価を行い,アンサンブルの多様性とロバストネスの関係について検討する。
  論文  参考訳（メタデータ） (2023-03-04T05:05:17Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。