Fugu-MT 論文翻訳(概要): Scaling Laws for Associative Memories

論文の概要: Scaling Laws for Associative Memories

arxiv url: http://arxiv.org/abs/2310.02984v1
Date: Wed, 4 Oct 2023 17:20:34 GMT
ステータス: 処理完了
システム内更新日: 2023-10-05 13:49:43.019398
Title: Scaling Laws for Associative Memories
Title（参考訳）: 連想記憶のスケーリング法則
Authors: Vivien Cabannes, Elvis Dohmatob, Alberto Bietti
Abstract要約: 本研究の目的は,連想記憶機構の研究である。サンプルサイズとパラメータサイズに関して正確なスケーリング法則を導出し、異なる推定器の統計的効率について議論する。本稿では,記憶された記憶関係の詳細な可視化を含む理論的結果の検証と解釈を行うための広範な数値実験を行う。
参考スコア（独自算出の注目度）: 29.25471621537898
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Learning arguably involves the discovery and memorization of abstract rules. The aim of this paper is to study associative memory mechanisms. Our model is based on high-dimensional matrices consisting of outer products of embeddings, which relates to the inner layers of transformer language models. We derive precise scaling laws with respect to sample size and parameter size, and discuss the statistical efficiency of different estimators, including optimization-based algorithms. We provide extensive numerical experiments to validate and interpret theoretical results, including fine-grained visualizations of the stored memory associations.
Abstract（参考訳）: 学習には、抽象ルールの発見と記憶が含まれる。本研究の目的は,連想記憶機構の研究である。我々のモデルは, トランスフォーマー言語モデルの内部層に関連する埋め込みの外部積からなる高次元行列に基づいている。サンプルサイズとパラメータサイズに関する正確なスケーリング則を導出し、最適化に基づくアルゴリズムを含む様々な推定器の統計効率について論じる。記憶された記憶の関連を詳細に可視化するなど,理論結果を検証し,解釈するための広範な数値実験を行う。

関連論文リスト

Evolvable Psychology Informed Neural Network for Memory Behavior Modeling [2.5258264040936305]
本稿では,PsyINNというメモリ挙動モデリングのためのニューラルネットワークの理論を提案する。ニューラルネットワークとスパース回帰の微分を組み合わせたフレームワークを構築し、共同最適化を実現する。 4つの大規模実世界のメモリ挙動データセットにおいて,提案手法は予測精度において最先端の手法を超越する。
論文参考訳（メタデータ） (2024-08-23T01:35:32Z)
Causal Estimation of Memorisation Profiles [58.20086589761273]
言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
論文参考訳（メタデータ） (2024-06-06T17:59:09Z)
Demolition and Reinforcement of Memories in Spin-Glass-like Neural Networks [0.0]
この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。 Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
論文参考訳（メタデータ） (2024-03-04T23:12:42Z)
Data-freeWeight Compress and Denoise for Large Language Models [101.53420111286952]
パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
論文参考訳（メタデータ） (2024-02-26T05:51:47Z)
Bridging Associative Memory and Probabilistic Modeling [29.605203018237457]
連想記憶と確率的モデリングは人工知能の2つの基本的なトピックである。両方向のアイデアの有用なフローを実現するために,この2つの橋を架けています。
論文参考訳（メタデータ） (2024-02-15T18:56:46Z)
Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
論文参考訳（メタデータ） (2023-10-17T17:58:34Z)
Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
論文参考訳（メタデータ） (2023-05-19T08:22:23Z)
On the Relationship Between Variational Inference and Auto-Associative Memory [68.8204255655161]
本フレームワークでは, 変動推論に対する異なるニューラルネットワークアプローチが適用可能であるかを検討する。得られたアルゴリズムをCIFAR10とCLEVRの画像データセットで評価し,他の連想記憶モデルと比較した。
論文参考訳（メタデータ） (2022-10-14T14:18:47Z)
A Generalized Weighted Optimization Method for Computational Learning and Inversion [15.535124460414588]
雑音データを用いた計算学習と逆変換のための一般化された重み付き最小二乗最適化法を解析する。学習手法の一般化誤差に対する重み付け方式の影響を特徴付ける。先行知識からの適切な重み付けが学習モデルの一般化能力を向上させることを実証する。
論文参考訳（メタデータ） (2022-01-23T10:35:34Z)
MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
論文参考訳（メタデータ） (2021-06-03T12:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。