論文の概要: MGARD: A multigrid framework for high-performance, error-controlled data
compression and refactoring
- arxiv url: http://arxiv.org/abs/2401.05994v1
- Date: Thu, 11 Jan 2024 15:52:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-01-12 13:59:15.474847
- Title: MGARD: A multigrid framework for high-performance, error-controlled data
compression and refactoring
- Title(参考訳): MGARD: 高性能でエラー制御されたデータ圧縮とリファクタリングのためのマルチグリッドフレームワーク
- Abstract要約: MGARD(MultiGrid Adaptive Reducing for floating-point scientific data on structured and unstructured grids)について述べる。
例外的なデータ圧縮機能と正確なエラー制御により、MGARDはストレージの削減、高性能I/O、in-situデータ分析など幅広い要件に対処する。
- 参考スコア(独自算出の注目度): 12.84272014440601
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We describe MGARD, a software providing MultiGrid Adaptive Reduction for
floating-point scientific data on structured and unstructured grids. With
exceptional data compression capability and precise error control, MGARD
addresses a wide range of requirements, including storage reduction,
high-performance I/O, and in-situ data analysis. It features a unified
application programming interface (API) that seamlessly operates across diverse
computing architectures. MGARD has been optimized with highly-tuned GPU kernels
and efficient memory and device management mechanisms, ensuring scalable and
rapid operations.
- Abstract(参考訳): MGARD(MultiGrid Adaptive Reducing for floating-point scientific data on structured and unstructured grids)について述べる。
例外的なデータ圧縮機能と正確なエラー制御により、MGARDはストレージの削減、高性能I/O、in-situデータ分析など幅広い要件に対処する。
多様なコンピューティングアーキテクチャでシームレスに動作する統一アプリケーションプログラミングインターフェース(API)を備えている。
MGARDは高度にチューニングされたGPUカーネルと、メモリとデバイスの効率的な管理機構に最適化されており、スケーラブルで迅速な操作が保証されている。
関連論文リスト
- RAGe: A Retrieval-Augmented Generation Evaluation Framework [3.833693802518811]
RAGeは、研究者が特定の運用ニーズに対して最も効果的でドメイン固有のRAGセットアップを特定するのをサポートする。
RAGeは、特定の運用ニーズに対して最も効果的でドメイン固有のRAGセットアップを特定することをサポートし、コンシューマグレードのハードウェアでも迅速なプロトタイピングを容易にする。
論文 参考訳(メタデータ) (2026-05-23T17:46:47Z) - Structure-Aware RAG: Structured Retrieval Augmented Generation from Noisy Data for Conversational Agents [68.52563127206808]
SA-RAG(Structure-aware Retrieval Augmented Generation)は、テーブルを中間構造表現として使用して、コンパクトで制御可能なインターフェースを提供する。
メタデータの正規化と有効性をモデル化する品質対応のテーブルメタデータ生成フレームワークを提案する。
2つのノイズの多い実世界のデータセットの実験は、SA-RAGが既存のRAGベースラインを大幅に上回っていることを示している。
論文 参考訳(メタデータ) (2026-05-23T03:07:33Z) - SCRec: A Scalable Computational Storage System with Statistical Sharding and Tensor-train Decomposition for Recommendation Models [17.602518628415776]
Deep Learning Recommendation Models (DLRMs)は、ソーシャルネットワークやビデオストリーミングといったWebアプリケーション間でパーソナライズされたコンテンツを配信する上で、重要な役割を果たす。
性能の改善により、DLRMsのパラメータサイズはテラバイト(TB)に拡大し、メモリ帯域幅の要求はTB/sを超えるようになった。
TBスケールの産業用DLRMを扱えるスケーラブルな計算ストレージレコメンデーションシステムであるSCRecを提案する。
論文 参考訳(メタデータ) (2025-04-01T08:12:45Z) - UltraRAG: A Modular and Automated Toolkit for Adaptive Retrieval-Augmented Generation [64.79921229760332]
Retrieval-Augmented Generation (RAG) は、下流タスクにおける大規模言語モデル(LLM)の性能を大幅に向上させる。
既存のRAGツールキットは、特定のアプリケーションシナリオに適した知識適応をサポートしていない。
ワークフロー全体を通して知識適応を自動化するRAGツールキットであるUltraRAGを提案する。
論文 参考訳(メタデータ) (2025-03-31T03:49:49Z) - Efficient Multi-Instance Generation with Janus-Pro-Dirven Prompt Parsing [53.295515505026096]
Janus-Pro-driven Prompt Parsingは、テキスト理解とレイアウト生成をブリッジするプロンプト解析モジュールである。
MIGLoRAはパラメータ効率の良いプラグインで、低ランク適応を UNet (SD1.5) と DiT (SD3) のバックボーンに統合する。
提案手法はパラメータ効率を維持しつつCOCOおよびLVISベンチマークの最先端性能を実現する。
論文 参考訳(メタデータ) (2025-03-27T00:59:14Z) - Dimensionality reduction for homological stability and global structure preservation [49.84018914962972]
本稿では,UMAP や tSNE といった従来の手法が直面する課題に対処するために,新しい次元削減ツールキットを提案する。
JAXフレームワーク上に構築されたDiReは、現代的なハードウェアアクセラレーションを活用し、複雑なデータ構造を視覚化するための効率的でスケーラブルで解釈可能なソリューションを提供する。
このツールキットは、最先端の UMAP や tSNE の実装と比較して、データ内のローカル構造とグローバル構造の両方を保存することにかなり有望である。
論文 参考訳(メタデータ) (2025-03-05T03:56:01Z) - TeleRAG: Efficient Retrieval-Augmented Generation Inference with Lookahead Retrieval [10.268774281394261]
Retrieval-augmented Generation (RAG) は、大規模言語モデル(LLM)を外部データソースに拡張し、事実の正しさとドメインカバレッジを高める。
現代のRAGパイプラインは大規模なデータストアに依存しており、レイテンシに敏感なデプロイメントにおけるシステムの課題につながっている。
我々は,GPUメモリの必要量を最小限に抑え,RAGレイテンシを低減する効率的な推論システムであるTeleRAGを提案する。
論文 参考訳(メタデータ) (2025-02-28T11:32:22Z) - Mitigating Hallucination with ZeroG: An Advanced Knowledge Management Engine [0.0]
デジタル文書は、効率的な管理と知識抽出において重要な課題を提示する。
革新的なアプローチであるZeroGは、知識蒸留を活用し、モデル性能を向上させるために迅速なチューニングを行うことによって、これらの課題を著しく軽減する。
ZeroGはより小さなモデルを使用し、より大きな教師モデルの振る舞いを再現し、文脈的に関連し、接地された応答を保証する。
論文 参考訳(メタデータ) (2024-11-08T19:47:02Z) - MoDeGPT: Modular Decomposition for Large Language Model Compression [59.361006801465344]
本稿では,新しい構造化圧縮フレームワークである textbfModular bfDecomposition (MoDeGPT) を紹介する。
MoDeGPTはTransformerブロックを行列対からなるモジュールに分割し、隠れた次元を減らす。
本実験では, 後方伝播を伴わないMoDeGPTが, 従来の圧縮手法と一致するか, あるいは超えていることを示す。
論文 参考訳(メタデータ) (2024-08-19T01:30:14Z) - Enabling High Data Throughput Reinforcement Learning on GPUs: A Domain Agnostic Framework for Data-Driven Scientific Research [90.91438597133211]
我々は、強化学習の適用において重要なシステムのボトルネックを克服するために設計されたフレームワークであるWarpSciを紹介する。
我々は、CPUとGPU間のデータ転送の必要性を排除し、数千のシミュレーションを同時実行可能にする。
論文 参考訳(メタデータ) (2024-08-01T21:38:09Z) - LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。
本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。
この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
論文 参考訳(メタデータ) (2024-05-09T11:49:05Z) - Bullion: A Column Store for Machine Learning [4.096087402737292]
本稿では,機械学習処理に適した列記憶システムであるBullionについて述べる。
Bundyはデータコンプライアンスの複雑さに対処し、長いシーケンススパース機能のエンコーディングを最適化し、拡張可能なプロジェクションを効率的に管理し、ストレージに機能量子化を導入し、包括的なカスケードエンコーディングフレームワークを提供する。
予備的な実験結果と理論的分析は、機械学習ワークロードのユニークな要求に直面して、Bullionが強力なパフォーマンスを提供する能力が改善されたことを示している。
論文 参考訳(メタデータ) (2024-04-13T05:01:54Z) - Hybrid programming-model strategies for GPU offloading of electronic
structure calculation kernels [2.4898174182192974]
PROGRESSは電子構造解析のためのライブラリである。
電子構造カーネルに対する線形代数演算を実装している。
本稿では,これらの実装における汎用戦略について述べる。
論文 参考訳(メタデータ) (2024-01-24T19:38:01Z) - Stochastic Configuration Machines: FPGA Implementation [4.57421617811378]
コンフィグレーションネットワーク(SCN)は、データモデリングのメリットと実現可能性から、産業アプリケーションにおいて主要な選択肢である。
本稿では、フィールドプログラマブルゲートアレイ(FPGA)にSCMモデルを実装し、学習性能を向上させるためにバイナリコード入力を導入することを目的とする。
論文 参考訳(メタデータ) (2023-10-30T02:04:20Z) - Cooperative Hardware-Prompt Learning for Snapshot Compressive Imaging [51.65127848056702]
本稿では,圧縮圧縮画像システムの協調最適化を目的としたFederated Hardware-Prompt Learning (FedHP) フレームワークを提案する。
FedHPは、クライアント間で一貫性のないデータ分散を調整するためのハードウェア条件のプロンプトを学習し、異なるハードウェア間のデータの一貫性の指標となる。
実験により、提案したFedHPは、事前学習されたモデルを複数のハードウェア構成に調整し、0.35dBのFLフレームワークよりも優れた性能を示すことが示された。
論文 参考訳(メタデータ) (2023-06-01T22:21:28Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳(メタデータ) (2023-03-25T14:40:59Z) - Physics Guided Machine Learning for Variational Multiscale Reduced Order
Modeling [58.720142291102135]
本稿では,最小の計算コストで低次モデル(ROM)の精度を向上させるために,新しい物理誘導機械学習(PGML)パラダイムを提案する。
ROM基底の階層構造と変分マルチスケール(VMS)フレームワークは、解決されたROM空間スケールと未解決ROM空間スケールの自然な分離を可能にする。
現代的なPGMLアルゴリズムは、解決された、未解決のROMスケール間の相互作用のための新しいモデルを構築するために使用される。
論文 参考訳(メタデータ) (2022-05-25T00:07:57Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳(メタデータ) (2021-06-15T17:22:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。