論文の概要: Rectified Lagrangian for Out-of-Distribution Detection in Modern Hopfield Networks

• arxiv url: http://arxiv.org/abs/2502.14003v1
• Date: Wed, 19 Feb 2025 09:50:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:29:10.568681
• Title: Rectified Lagrangian for Out-of-Distribution Detection in Modern Hopfield Networks
• Title（参考訳）: 近代ホップフィールドネットワークにおける分布外検出のための正規化ラグランジアン
• Authors: Ryo Moriai, Nakamasa Inoue, Masayuki Tanaka, Rei Kawakami, Satoshi Ikehata, Ikuro Sato,
• Abstract要約: 本稿では,メモリニューロンに対する新しいラグランジアンを提案する。 RegLagは、任意の相互作用マトリックスに対して自明なポイントアトラクターを生成し、このアトラクターに該当するサンプルをOODとして識別することで、OOD検出を可能にする。 本稿では,エネルギーを用いたOOD検出法と比較して,RecLagを用いたMHNの有効性を示す。
• 参考スコア（独自算出の注目度）: 22.615161294369095
• License:
• Abstract: Modern Hopfield networks (MHNs) have recently gained significant attention in the field of artificial intelligence because they can store and retrieve a large set of patterns with an exponentially large memory capacity. A MHN is generally a dynamical system defined with Lagrangians of memory and feature neurons, where memories associated with in-distribution (ID) samples are represented by attractors in the feature space. One major problem in existing MHNs lies in managing out-of-distribution (OOD) samples because it was originally assumed that all samples are ID samples. To address this, we propose the rectified Lagrangian (RegLag), a new Lagrangian for memory neurons that explicitly incorporates an attractor for OOD samples in the dynamical system of MHNs. RecLag creates a trivial point attractor for any interaction matrix, enabling OOD detection by identifying samples that fall into this attractor as OOD. The interaction matrix is optimized so that the probability densities can be estimated to identify ID/OOD. We demonstrate the effectiveness of RecLag-based MHNs compared to energy-based OOD detection methods, including those using state-of-the-art Hopfield energies, across nine image datasets.
• Abstract（参考訳）: 現代のホップフィールドネットワーク(MHN)は、指数的に大きなメモリ容量を持つ大量のパターンを保存・取得できるため、人工知能分野において注目されている。 MHNは一般的に、記憶と特徴ニューロンのラグランジアンで定義される力学系であり、そこでは、分布内(ID)サンプルに関連する記憶が特徴空間のアトラクタによって表現される。 既存のMHNの大きな問題の1つは、元々全てのサンプルがIDサンプルであると考えられていたため、オフ・オブ・ディストリビューション(OOD)サンプルを管理することである。 そこで本研究では,記憶ニューロンに対する新しいラグランジアンであるレグラージアン(RegLag)を提案する。 RecLagは、任意の相互作用マトリックスに対して自明なポイントアトラクターを生成し、このアトラクターに該当するサンプルをOODとして識別することで、OOD検出を可能にする。 相互作用行列は、確率密度を推定してID/OODを識別できるように最適化される。 本研究では,9つの画像データセットにまたがる最新のホップフィールドエネルギーを含むエネルギーベースOOD検出法と比較して,RecLagベースのMHNの有効性を示す。

関連論文リスト

• Dimensionality-induced information loss of outliers in deep neural networks [29.15751143793406]
  ディープニューラルネットワーク(DNN)を用いたシステムにおいて、アウト・オブ・ディストリビューション(OOD)検出は重要な問題である 複数の視点から特徴表現の層依存性を調べることにより,この問題を実験的に解明する。 特徴量と重みのアライメントに基づく次元認識型OOD検出手法を提案する。
  論文  参考訳（メタデータ） (2024-10-29T01:52:46Z)
• Optimizing OOD Detection in Molecular Graphs: A Novel Approach with Diffusion Models [71.39421638547164]
  本稿では,入力分子と再構成グラフの類似性を比較する補助拡散モデルに基づくフレームワークを用いてOOD分子を検出することを提案する。 IDトレーニングサンプルの再構成に向けた生成バイアスのため、OOD分子の類似度スコアは検出を容易にするためにはるかに低い。 本研究は,PGR-MOOD(PGR-MOOD)とよばれる分子OOD検出のためのプロトタイプグラフ再構成のアプローチを開拓し,3つのイノベーションを生かした。
  論文  参考訳（メタデータ） (2024-04-24T03:25:53Z)
• Out-of-Distribution Detection using Neural Activation Prior [15.673290330356194]
  アウト・オブ・ディストリビューション検出(OOD)は、機械学習モデルを現実世界にデプロイする上で重要な技術である。 OOD検出のためのシンプルで効果的なニューラルアクティベーションプリミティブ(NAP)を提案する。 提案手法は,CIFARベンチマークとImageNetデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-28T08:45:07Z)
• Detecting Out-of-Distribution Through the Lens of Neural Collapse [7.04686607977352]
  安全なデプロイメントには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。 既存の検出器は、一般化の相違とコストの懸念を示す。 我々はニューラル崩壊の傾向にインスパイアされた、高度に多用途で効率的なOOD検出器を提案する。
  論文  参考訳（メタデータ） (2023-11-02T05:18:28Z)
• Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement Learning [53.00683059396803]
  マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。 本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。 本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
  論文  参考訳（メタデータ） (2023-10-06T10:40:46Z)
• From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
  アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。 近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。 グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
  論文  参考訳（メタデータ） (2023-08-20T11:56:25Z)
• Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection Capability [70.72426887518517]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。 本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。 本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
  論文  参考訳（メタデータ） (2023-06-06T14:23:34Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Out-Of-Distribution Detection With Subspace Techniques And Probabilistic Modeling Of Features [7.219077740523682]
  本論文では,DNN(Deep Neural Network)におけるOOD(Out-of- Distributionion)サンプル検出の原理的手法を提案する。 深部特徴量に基づく確率分布のモデル化は,近年,DNNにおけるOODサンプルの検出方法として,効率的かつ安価に実現されている。 線形統計的次元還元法と非線形多様体学習法を高次元的特徴に適用し、その特徴にまたがる真の部分空間を捕捉する。
  論文  参考訳（メタデータ） (2020-12-08T07:07:11Z)
• Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
  本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。 我々は,再建基準の代替として,異常スコアの代替尺度を提案した。 提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2020-03-24T08:26:58Z)
• Detecting Out-of-Distribution Examples with In-distribution Examples and Gram Matrices [8.611328447624679]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(Out-of-Distribution)の例で示すと、信頼性と誤った予測をもたらす。 本稿では,行動パターンとクラス予測の不整合を識別し,OODのサンプルを検出することを提案する。 グラム行列による活動パターンの特徴付けとグラム行列値の異常の同定により,高いOOD検出率が得られることがわかった。
  論文  参考訳（メタデータ） (2019-12-28T19:44:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。