Fugu-MT 論文翻訳(概要): Minimum Description Length Hopfield Networks

論文の概要: Minimum Description Length Hopfield Networks

arxiv url: http://arxiv.org/abs/2311.06518v1
Date: Sat, 11 Nov 2023 09:23:54 GMT
ステータス: 処理完了
システム内更新日: 2023-11-14 18:07:07.806803
Title: Minimum Description Length Hopfield Networks
Title（参考訳）: 最小記述長ホップフィールドネットワーク
Authors: Matan Abudy, Nur Lan, Emmanuel Chemla, Roni Katzir
Abstract要約: 連想記憶アーキテクチャは記憶のために設計されているが、その検索方法により、見当たらない入力への一般化の形式を提供する。大規模な記憶能力が一般化の機会を損なうことを示す。このトレードオフを最適化するためのソリューションを提供しています。
参考スコア（独自算出の注目度）: 2.867517731896504
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Associative memory architectures are designed for memorization but also offer, through their retrieval method, a form of generalization to unseen inputs: stored memories can be seen as prototypes from this point of view. Focusing on Modern Hopfield Networks (MHN), we show that a large memorization capacity undermines the generalization opportunity. We offer a solution to better optimize this tradeoff. It relies on Minimum Description Length (MDL) to determine during training which memories to store, as well as how many of them.
Abstract（参考訳）: 連想記憶アーキテクチャは記憶のために設計されているが、その検索方法を通じて、見つからない入力への一般化の形式を提供する:記憶記憶は、この観点からプロトタイプと見なすことができる。 MHN(Modern Hopfield Networks)に着目して,大規模な記憶能力が一般化の機会を損なうことを示す。このトレードオフを最適化するためのソリューションを提供します。最小記述長(MDL)を使用して、トレーニング中に記憶すべき記憶数と、その数を決定する。

関連論文リスト

Provably Optimal Memory Capacity for Modern Hopfield Models: Transformer-Compatible Dense Associative Memories as Spherical Codes [6.477597248683852]
現代ホップフィールドモデルとカーネル化ホップフィールドモデル(KHMs)の最適キャパシティ記憶について検討する。 KHMsの最適容量は、特徴空間がメモリに最適な球形コードを形成することを許すときに生じることを示す。
論文参考訳（メタデータ） (2024-10-30T15:35:51Z)
Déjà Vu Memorization in Vision-Language Models [39.51189095703773]
視覚言語モデル(VLM)における記憶量測定のための新しい手法を提案する。モデルでは、相関や画像キャプションから推測できる範囲を超えて、トレーニング画像中の個々のオブジェクトに関する情報が実際に保持されていることを示す。サンプルおよび集団レベルでのd'eja vuメモリ化を評価し,最大5000万枚の画像キャプチャーペアで訓練したOpenCLIPにとって重要であることを示す。
論文参考訳（メタデータ） (2024-02-03T09:55:35Z)
STanHop: Sparse Tandem Hopfield Model for Memory-Enhanced Time Series Prediction [13.815793371488613]
本稿では,ホップフィールドをベースとした新しいニューラルネットワークブロックを提案する。本質的に、StanHopは2つのタンデムスパースホップフィールド層を用いて時間的表現とシリーズ間表現を逐次学習する。本フレームワークは,メモリ容量を犠牲にすることなく,より高密度なメモリに対して,より厳密なメモリ検索誤差を付与することを示す。
論文参考訳（メタデータ） (2023-12-28T20:26:23Z)
Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
論文参考訳（メタデータ） (2023-10-10T15:41:26Z)
What do larger image classifiers memorise? [64.01325988398838]
トレーニング例は, モデルサイズにまたがって, 予想外の多彩な記憶軌跡を示す。有効で一般的なモデル圧縮手法である知識蒸留は,記憶を阻害する傾向があり,一般化も改善する。
論文参考訳（メタデータ） (2023-10-09T01:52:07Z)
Augmenting Language Models with Long-Term Memory [142.04940250657637]
既存の大規模言語モデル(LLM)では、入力長制限のため、固定サイズの入力しかできない。本稿では,Long-Term Memory (LongMem) を付加した言語モデルを提案する。
論文参考訳（メタデータ） (2023-06-12T15:13:39Z)
RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
論文参考訳（メタデータ） (2023-05-23T17:53:38Z)
Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning [113.58691755215663]
一般化と記憶のバランスをとるためにRetroPromptを開発した。バニラプロンプト学習とは対照的に、RetroPromptはトレーニングインスタンスからオープンブックナレッジストアを構築する。大規模な実験により、RetroPromptは、数ショットとゼロショットの両方で、より良いパフォーマンスを得ることができることが示されている。
論文参考訳（メタデータ） (2022-05-29T16:07:30Z)
PeTra: A Sparsely Supervised Memory Model for People Tracking [50.98911178059019]
メモリスロット内のエンティティを追跡するように設計されたメモリ拡張ニューラルネットワークであるPeTraを提案する。我々は、重要なモデリング選択を経験的に比較し、強い性能を維持しながら、メモリモジュールの設計のいくつかの側面を単純化できることを見出した。 PeTraは両方の評価に非常に効果的で、限られたアノテーションで訓練されているにもかかわらず、メモリ内の人々を追跡できる能力を示している。
論文参考訳（メタデータ） (2020-05-06T17:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。