論文の概要: Saddle Hierarchy in Dense Associative Memory

• arxiv url: http://arxiv.org/abs/2508.19151v1
• Date: Tue, 26 Aug 2025 16:03:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 17:42:38.90731
• Title: Saddle Hierarchy in Dense Associative Memory
• Title（参考訳）: 濃厚な連想記憶におけるサドル階層
• Authors: Robin Thériault, Daniele Tantari,
• Abstract要約: Potts隠れユニットを持つ3層ボルツマンマシン上に構築された高密度連想メモリ(DAM)モデルについて検討する。 DAMは,教師付き分類問題と教師なし分類問題の両方に対する解釈可能な解法を学習している。 我々は、このサドルポイント階層を利用して、高密度連想メモリのトレーニングの計算コストを大幅に削減するネットワーク成長アルゴリズムを実装した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dense associative memory (DAM) models have been attracting renewed attention since they were shown to be robust to adversarial examples and closely related to state-of-the-art machine learning paradigms, such as the attention mechanisms in transformers and generative diffusion models. We study a DAM built upon a three-layer Boltzmann machine with Potts hidden units, which represent data clusters and classes. Through a statistical mechanics analysis, we derive saddle-point equations that characterize both the stationary points of DAMs trained on real data and the fixed points of DAMs trained on synthetic data within a teacher-student framework. Based on these results, we propose a novel regularization scheme that makes training significantly more stable. Moreover, we show empirically that our DAM learns interpretable solutions to both supervised and unsupervised classification problems. Pushing our theoretical analysis further, we find that the weights learned by relatively small DAMs correspond to unstable saddle points in larger DAMs. We implement a network-growing algorithm that leverages this saddle-point hierarchy to drastically reduce the computational cost of training dense associative memory.
• Abstract（参考訳）: DAM(Dense AssociativeMemory)モデルは、敵対的な例に対して堅牢であり、トランスフォーマーの注意機構や生成拡散モデルといった最先端の機械学習パラダイムと密接に関連していることが示されて以来、新たな注目を集めている。 我々は,データクラスタとクラスを表すPotts隠れユニットを持つ3層ボルツマンマシン上に構築されたDAMについて検討する。 統計力学解析により、実データで訓練されたDAMの定常点と、教師が学習するフレームワークで学習した合成データで訓練されたDAMの固定点の両方を特徴付けるサドル点方程式を導出する。 これらの結果に基づき、トレーニングを著しく安定させる新しい正規化手法を提案する。 さらに, DAMは, 教師付き分類問題と教師なし分類問題の両方に対して, 解釈可能な解法を学習していることを実証的に示す。 理論解析を推し進めると、比較的小さなDAMで得られた重みはより大きなDAMの不安定なサドル点に対応することが分かる。 我々は、このサドルポイント階層を利用して、高密度連想メモリのトレーニングの計算コストを大幅に削減するネットワーク成長アルゴリズムを実装した。

関連論文リスト

• Improving $(α, f)$-Byzantine Resilience in Federated Learning via layerwise aggregation and cosine distance [7.8973037023478785]
  フェデレートラーニング(FL)は、分散機械学習におけるデータプライバシの課題に対する潜在的な解決策である。 FLシステムは、悪意のあるノードが破損したモデル更新に寄与するビザンティン攻撃に弱いままである。 本稿では,高次元設定における規則の堅牢性向上を目的とした新しいアグリゲーション手法であるLayerwise Cosine Aggregationを紹介する。
  論文  参考訳（メタデータ） (2025-03-27T08:07:39Z)
• Scaling Sparse and Dense Retrieval in Decoder-Only LLMs [20.173669986209024]
  大規模言語モデル(LLM)のスケーリングは,検索モデルの性能向上に大きな可能性を示している。 従来の研究は、比較損失(CL)を訓練した高密度な検索に重点を置いてきた。 スパース検索モデルは、インドメイン(MSMARCO, TREC DL)とアウト・オブ・ドメイン(BEIR)ベンチマークの両方において、密集検索を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-02-21T15:28:26Z)
• A Bayesian Approach to Data Point Selection [24.98069363998565]
  データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。 既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。 DPSに対する新しいベイズ的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-06T09:04:13Z)
• Anchor-aware Deep Metric Learning for Audio-visual Retrieval [11.675472891647255]
  Metric Learningは、基礎となるデータ構造を捕捉し、オーディオ・ビジュアル・クロスモーダル検索(AV-CMR)のようなタスクの性能を向上させることを目的としている。 近年の研究では、トレーニング中に埋め込み空間から影響のあるデータポイントを選択するためのサンプリング手法が採用されている。 しかし、トレーニングデータポイントの不足のため、モデルトレーニングはスペースを完全に探索することができない。 本稿では,この課題に対処するために,AADML(Anchor-aware Deep Metric Learning)手法を提案する。
  論文  参考訳（メタデータ） (2024-04-21T22:44:44Z)
• Robustness Analysis on Foundational Segmentation Models [28.01242494123917]
  本研究では,セグメンテーションタスクのためのVisual Foundation Models (VFM) のロバストネス解析を行う。 2つの異なるデータセットを使用して、7つの最先端セグメンテーションアーキテクチャをベンチマークする。 VFMは、強靭性において不定形モデルをすべて上回るものではないにもかかわらず、圧縮誘起汚損に対する脆弱性を示し、マルチモーダルモデルはゼロショットシナリオにおける競争力を示し、VFMは特定の対象カテゴリに対して強靭性を示す。
  論文  参考訳（メタデータ） (2023-06-15T16:59:42Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Language as a Latent Sequence: deep latent variable models for semi-supervised paraphrase generation [47.33223015862104]
  本稿では,観測されたテキストから遅延シーケンス推論を行うVSARという新しい教師なしモデルを提案する。 また、テキストペアからの情報を活用するために、提案したVSARモデルと統合するために設計されたDDLと呼ばれる新しい教師付きモデルを導入する。 実験により, このモデルを組み合わせることで, 完全データに基づく最先端の教師付きベースラインに対して, 競争性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2023-01-05T19:35:30Z)
• Benchmarking the Robustness of LiDAR Semantic Segmentation Models [78.6597530416523]
  本稿では,LiDARセマンティックセグメンテーションモデルのロバスト性を,様々な汚職の下で包括的に解析することを目的とする。 本稿では,悪天候,計測ノイズ,デバイス間不一致という3つのグループで16のドメイン外LiDAR破損を特徴とするSemanticKITTI-Cというベンチマークを提案する。 我々は、単純だが効果的な修正によってロバスト性を大幅に向上させるロバストLiDARセグメンテーションモデル(RLSeg)を設計する。
  論文  参考訳（メタデータ） (2023-01-03T06:47:31Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Semi-supervised Left Atrium Segmentation with Mutual Consistency Training [60.59108570938163]
  3次元MR画像からの半教師付き左房分割のための新しいMultual Consistency Network(MC-Net)を提案する。 我々のMC-Netは1つのエンコーダと2つのわずかに異なるデコーダから構成されており、2つのデコーダの予測誤差は教師なしの損失として変換される。 我々は,公開左心房(la)データベース上でmc-netを評価し,ラベルなしデータを効果的に活用することで印象的な性能向上を実現する。
  論文  参考訳（メタデータ） (2021-03-04T09:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。