Fugu-MT 論文翻訳(概要): Least Squares Maximum and Weighted Generalization-Memorization Machines

論文の概要: Least Squares Maximum and Weighted Generalization-Memorization Machines

arxiv url: http://arxiv.org/abs/2308.16456v1
Date: Thu, 31 Aug 2023 04:48:59 GMT
ステータス: 処理完了
システム内更新日: 2023-09-01 17:37:12.763074
Title: Least Squares Maximum and Weighted Generalization-Memorization Machines
Title（参考訳）: 最小二乗最大および軽量一般化記憶装置
Authors: Shuai Wang, Zhen Wang and Yuan-Hai Shao
Abstract要約: 最小二乗支援ベクトルマシン(LSSVM)のためのメモリ影響機構を導入することで、新しい記憶方法を提案する。次に、最大メモリインパクトモデル(MIMM)と重み付けメモリモデル(WIMM)を提案する。
参考スコア（独自算出の注目度）: 14.139758779594667
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we propose a new way of remembering by introducing a memory influence mechanism for the least squares support vector machine (LSSVM). Without changing the equation constraints of the original LSSVM, this mechanism, allows an accurate partitioning of the training set without overfitting. The maximum memory impact model (MIMM) and the weighted impact memory model (WIMM) are then proposed. It is demonstrated that these models can be degraded to the LSSVM. Furthermore, we propose some different memory impact functions for the MIMM and WIMM. The experimental results show that that our MIMM and WIMM have better generalization performance compared to the LSSVM and significant advantage in time cost compared to other memory models.
Abstract（参考訳）: 本稿では,最小二乗支援ベクトルマシン (lssvm) のメモリ影響機構を導入することで,新たな記憶方法を提案する。元のLSSVMの方程式制約を変更することなく、このメカニズムは過度に適合することなく、トレーニングセットの正確なパーティショニングを可能にする。次に、最大メモリインパクトモデル(mimm)と重み付きインパクトメモリモデル(wimm)を提案する。これらのモデルをLSSVMに分解できることが実証された。さらに,MIMMとWIMMに対して異なるメモリ影響関数を提案する。実験の結果,MIMM とWIMM は LSSVM よりも優れた一般化性能を示し,他のメモリモデルに比べて時間的利点が大きかった。

関連論文リスト

Sparse Gradient Compression for Fine-Tuning Large Language Models [58.44973963468691]
ダウンストリームタスクのための微調整された大型言語モデル(LLM)は、広く利用されていることと、オープンソースモデルの利用が増加しているために、ますます重要になっている。微調整に伴う高メモリコストは、特にモデルのサイズが大きくなるにつれて大きな課題である。これらの制約に対処するためにスパース圧縮勾配(SGC)を提案する。
論文参考訳（メタデータ） (2025-02-01T04:18:28Z)
SMMF: Square-Matricized Momentum Factorization for Memory-Efficient Optimization [0.5755004576310332]
SMMFはAdamのような広く使われている適応学習率Matrixのメモリ要求を最大96%削減するメモリ効率である。本研究では,SMMF の残差解析を行い,AdamNC などの非メモリ効率適応学習率 Matrix と同様に収束することを示す。我々の実験では、SMMFは、Adafactor、CAME、SM3といった最先端のメモリ効率と比較して最大96%のメモリを消費し、同等のモデル性能を実現している。
論文参考訳（メタデータ） (2024-12-12T03:14:50Z)
Hermes: Memory-Efficient Pipeline Inference for Large Models on Edge Devices [19.96064012736243]
本稿では,メモリ効率の高いパイプライン実行機構であるPIPELOADを紹介する。動的メモリ管理を取り入れることでメモリ使用量を削減し、推論遅延を最小限にする。本稿では,エッジデバイス上での大規模モデル推論に最適化されたフレームワークであるHermesを紹介する。
論文参考訳（メタデータ） (2024-09-06T12:55:49Z)
MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,大規模言語モデル(LLM)の拡張手法であるMemLLMを紹介する。実験の結果, 言語モデリング, 特に知識集約型タスクにおいて, MemLLMはLLMの性能と解釈可能性を向上させることが示唆された。
論文参考訳（メタデータ） (2024-04-17T18:13:16Z)
Not All Attention is Needed: Parameter and Computation Efficient Transfer Learning for Multi-modal Large Language Models [73.48675708831328]
MLLM(Multi-modal Large Language Models)のための新しいパラメータと計算効率のチューニング手法を提案する。 The Efficient Attention Skipping (EAS) method evaluate the attention redundancy and skips the less important MHAs to speed up inference。実験により、EASは高い性能とパラメータ効率を維持するだけでなく、推論速度を大幅に高速化することが示された。
論文参考訳（メタデータ） (2024-03-22T14:20:34Z)
MEMORYLLM: Towards Self-Updatable Large Language Models [101.3777486749529]
既存のLarge Language Models (LLM) は通常、デプロイ後も静的のままである。本稿では,変圧器と固定サイズのメモリプールを備えたモデルMEMORYLLMを紹介する。 MEMORYLLMは、テキスト知識を自己更新し、早期に注入された知識を記憶することができる。
論文参考訳（メタデータ） (2024-02-07T07:14:11Z)
Pre-gated MoE: An Algorithm-System Co-Design for Fast and Scalable Mixture-of-Expert Inference [23.207326766883405]
Mixture-of-Experts (MoE)は、計算要求を比例的にスケールアップすることなく、モデルサイズをスケールすることができる。プレゲートMOEは、スパース専門家活性化の動的性質を緩和する新しいプレゲート機能を用いている。我々は、Pre-gated MoEが、同じレベルのモデル品質を維持しながら、パフォーマンスを改善し、GPUメモリ消費を減らすことを実証した。
論文参考訳（メタデータ） (2023-08-23T11:25:37Z)
A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文参考訳（メタデータ） (2022-05-26T08:24:01Z)
Master memory function for delay-based reservoir computers with single-variable dynamics [0.0]
多くの遅延型貯水池コンピュータはユニバーサルマスターメモリ関数(MMF)によって特徴付けられることを示す。 2つの独立したパラメータに対して計算されると、この関数は小さな入力を持つ遅延ベースの単一変数貯水池に対して線形メモリ容量を提供する。
論文参考訳（メタデータ） (2021-08-28T13:17:24Z)
Semantically Constrained Memory Allocation (SCMA) for Embedding in Efficient Recommendation Systems [27.419109620575313]
ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。性能を維持しながらメモリフットプリントの大幅な削減を示す。
論文参考訳（メタデータ） (2021-02-24T19:55:49Z)
Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文参考訳（メタデータ） (2020-10-14T09:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。