論文の概要: An Accurate and Low-Parameter Machine Learning Architecture for Next Location Prediction

• arxiv url: http://arxiv.org/abs/2402.00306v1
• Date: Thu, 1 Feb 2024 03:39:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 16:35:37.347210
• Title: An Accurate and Low-Parameter Machine Learning Architecture for Next Location Prediction
• Title（参考訳）: 次位置予測のための高精度かつ低パラメータ機械学習アーキテクチャ
• Authors: Calvin Jary and Nafiseh Kahani
• Abstract要約: 次の位置予測は、次の位置を予測するための規律である。 本稿では,次の位置を正確に予測するためのエネルギー効率,小型,低パラメータ機械学習(ML)アーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 0.8883733362171033
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Next location prediction is a discipline that involves predicting a users next location. Its applications include resource allocation, quality of service, energy efficiency, and traffic management. This paper proposes an energy-efficient, small, and low parameter machine learning (ML) architecture for accurate next location prediction, deployable on modest base stations and edge devices. To accomplish this we ran a hundred hyperparameter experiments on the full human mobility patterns of an entire city, to determine an exact ML architecture that reached a plateau of accuracy with the least amount of model parameters. We successfully achieved a reduction in the number of model parameters within published ML architectures from 202 million down to 2 million. This reduced the total size of the model parameters from 791 MB down to 8 MB. Additionally, this decreased the training time by a factor of four, the amount of graphics processing unit (GPU) memory needed for training by a factor of twenty, and the overall accuracy was increased from 80.16% to 82.54%. This improvement allows for modest base stations and edge devices which do not have a large amount of memory or storage, to deploy and utilize the proposed ML architecture for next location prediction.
• Abstract（参考訳）: 次のロケーション予測は、ユーザの次のロケーションを予測するための分野だ。 そのアプリケーションには、リソース割り当て、サービス品質、エネルギー効率、交通管理が含まれる。 本稿では,エネルギー効率,小型化,低パラメータ機械学習(ML)アーキテクチャを提案する。 これを実現するために、都市全体の完全な人体移動パターンに関する100のハイパーパラメータ実験を行い、最小限のモデルパラメータで精度の高いMLアーキテクチャを正確に決定しました。 公開されたMLアーキテクチャ内のモデルパラメータの数を20200万から200万に削減することに成功しました。 これによりモデルパラメータの合計サイズが791mbから8mbに縮小された。 さらに、トレーニング時間を4倍に短縮し、トレーニングに必要なグラフィック処理ユニット(gpu)メモリを20倍に削減し、全体的な精度を80.16%から82.54%に向上させた。 この改良により、メモリやストレージを多く持たない控えめなベースステーションやエッジデバイスが、提案されたMLアーキテクチャをデプロイして、次のロケーション予測に利用できるようになる。

関連論文リスト

• EfficientQAT: Efficient Quantization-Aware Training for Large Language Models [50.525259103219256]
  量子化対応トレーニング(QAT)は、低ビット表現によるメモリ消費を最小限の精度で削減することで、ソリューションを提供する。 より有効なQATアルゴリズムであるEfficient QAT(Efficient Quantization-Aware Training)を提案する。 効率的なQATは、全てのパラメータのブロックワイドトレーニング(Block-AP)と量子化パラメータのエンドツーエンドトレーニング(E2E-QP)の2つのフェーズを含む。
  論文  参考訳（メタデータ） (2024-07-10T17:53:30Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• SDPose: Tokenized Pose Estimation via Circulation-Guide Self-Distillation [53.675725490807615]
  SDPoseは小型変圧器モデルの性能向上のための新しい自己蒸留法である。 SDPose-Tは4.4Mパラメータと1.8 GFLOPを持つ69.7%のmAPを取得し、SDPose-S-V2はMSCOCO検証データセット上で73.5%のmAPを取得する。
  論文  参考訳（メタデータ） (2024-04-04T15:23:14Z)
• FinGPT-HPC: Efficient Pretraining and Finetuning Large Language Models for Financial Applications with High-Performance Computing [10.47214968497857]
  本稿では,低ランク構造を利用した大規模言語モデルの事前学習と微調整を行う高性能手法を提案する。 本手法は精度低下を伴わずに保持できる1.3Xの高速化と2.64Xのモデル圧縮比を実現する。 ファインタニングでは,一般タスクと財務タスクの平均精度が6.3%,24.0%向上した。
  論文  参考訳（メタデータ） (2024-02-21T05:03:17Z)
• QLoRA: Efficient Finetuning of Quantized LLMs [66.58009990713134]
  我々は,48GBのGPU上で65Bパラメータモデルを微調整するのに十分なメモリ使用量を削減する,効率的な微調整手法QLoRAを提案する。 QLoRAは凍結した4ビット量子化事前学習言語モデルを通して低ランクアダプタ(LoRA)に逆伝搬する 最高のモデルファミリであるGuanacoは、Vicunaベンチマークでリリースされたすべてのモデルより優れています。
  論文  参考訳（メタデータ） (2023-05-23T17:50:33Z)
• DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures using Lookup Tables [49.965024476651706]
  DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。 実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
  論文  参考訳（メタデータ） (2023-04-18T15:13:10Z)
• AutoDistill: an End-to-End Framework to Explore and Distill Hardware-Efficient Language Models [20.04008357406888]
  ハードウェア効率の良いNLP事前学習モデルを構築するためのエンドツーエンドのモデル蒸留フレームワークであるAutoDistillを提案する。 TPUv4iの実験では、MobileBERTよりもトレーニング済みの精度(最大3.2%高い)と推論遅延(最大1.44倍速い)の低い7つのモデルアーキテクチャが見つかった。 GLUEベンチマークで下流のNLPタスクを実行することで、AutoDistillによって28.5Mパラメータで事前トレーニングするために蒸留されたモデルは81.69の平均スコアを得る。
  論文  参考訳（メタデータ） (2022-01-21T04:32:19Z)
• Rethinking Deconvolution for 2D Human Pose Estimation Light yet Accurate Model for Real-time Edge Computing [0.0]
  このシステムは精度が高く、SOTA HRNet 256x192の94.5%の精度を達成した。 我々のモデルはエンコーダ・デコーダアーキテクチャを採用し、その効率を改善するために注意深く縮小されている。
  論文  参考訳（メタデータ） (2021-11-08T01:44:46Z)
• Low-Precision Hardware Architectures Meet Recommendation Model Inference at Scale [11.121380180647769]
  本稿では,低精度ハードウェアに参照レコメンデーションモデルを適用するための検索戦略について紹介する。 また,ツールチェーンの設計と開発について論じ,モデルの精度を生涯にわたって維持する。 これらの教訓は,ハードウェアアーキテクチャとソフトウェアエンジニアリングの協調設計を促進するものだ,と私たちは信じています。
  論文  参考訳（メタデータ） (2021-05-26T16:42:33Z)
• Tidying Deep Saliency Prediction Architectures [6.613005108411055]
  本稿では,入力特徴,マルチレベル統合,読み出しアーキテクチャ,損失関数の4つの主成分を同定する。 我々はSimpleNet と MDNSal という2つの新しいエンドツーエンドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-10T19:34:49Z)
• Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning [73.82875010696849]
  機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。 本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
  論文  参考訳（メタデータ） (2020-03-10T05:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。