Fugu-MT 論文翻訳(概要): Designing Large Foundation Models for Efficient Training and Inference: A Survey

論文の概要: Designing Large Foundation Models for Efficient Training and Inference: A Survey

arxiv url: http://arxiv.org/abs/2409.01990v4
Date: Mon, 24 Feb 2025 06:57:40 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-25 22:39:50.834999
Title: Designing Large Foundation Models for Efficient Training and Inference: A Survey
Title（参考訳）: 効率的なトレーニングと推論のための大規模基盤モデルの設計:サーベイ
Authors: Dong Liu, Yanxuan Yu, Yite Wang, Jing Wu, Zhongwei Wan, Sina Alinejad, Benjamin Lengerich, Ying Nian Wu,
Abstract要約: 本稿では,基礎モデルに基づく現代的効率的なトレーニングと推論技術に焦点を当てる。モデルとシステムデザイン計算資源を節約するために、異なる側面からのLLMトレーニングと推論を最適化する。
参考スコア（独自算出の注目度）: 35.40505841618305
License:
Abstract: This paper focuses on modern efficient training and inference technologies on foundation models and illustrates them from two perspectives: model and system design. Model and System Design optimize LLM training and inference from different aspects to save computational resources, making LLMs more efficient, affordable, and more accessible. The paper list repository is available at https://github.com/NoakLiu/Efficient-Foundation-Models-Survey.
Abstract（参考訳）: 本稿では,基礎モデルに基づく現代的効率的なトレーニングと推論技術に注目し,モデルとシステム設計という2つの視点からそれらを説明する。モデルとシステムデザインは、計算資源を節約するために異なる側面からのLLMトレーニングと推論を最適化し、LLMをより効率的に、安価で、よりアクセスしやすいものにする。ペーパーリストリポジトリはhttps://github.com/NoakLiu/Efficient-Foundation-Models-Surveyで公開されている。

関連論文リスト

Towards Automated Model Design on Recommender Systems [21.421326082345136]
重量共有を利用して豊富な解空間を探索する新しいパラダイムを導入する。共同設計の観点からは,2倍FLOPs効率,1.8倍エネルギー効率,1.5倍の性能向上を実現している。
論文参考訳（メタデータ） (2024-11-12T06:03:47Z)
Towards Synthetic Trace Generation of Modeling Operations using In-Context Learning Approach [1.8874331450711404]
本稿では,イベントログのモデリング,インテリジェントなモデリングアシスタント,モデリング操作の生成を組み合わせた概念的フレームワークを提案する。特に、アーキテクチャは、設計者がシステムを指定するのを助け、その操作をグラフィカルなモデリング環境内で記録し、関連する操作を自動的に推奨する、モデリングコンポーネントから構成される。
論文参考訳（メタデータ） (2024-08-26T13:26:44Z)
Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
論文参考訳（メタデータ） (2024-08-14T16:58:48Z)
A Lightweight Feature Fusion Architecture For Resource-Constrained Crowd Counting [3.5066463427087777]
クラウドカウントモデルの汎用性を高めるために,2つの軽量モデルを導入する。これらのモデルは、MobileNetとMobileViTという2つの異なるバックボーンを持ちながら、同じダウンストリームアーキテクチャを維持している。隣接特徴融合を利用して、事前学習モデル(PTM)から多様な特徴を抽出し、その後、シームレスにこれらの特徴を組み合わせる。
論文参考訳（メタデータ） (2024-01-11T15:13:31Z)
CoLLiE: Collaborative Training of Large Language Models in an Efficient Way [59.09824823710863]
CoLLiEは、大規模な言語モデルの協調トレーニングを容易にする効率的なライブラリである。モジュール設計と包括的な機能により、CoLLiEは効率性、使いやすさ、カスタマイズのバランスのとれたブレンドを提供する。
論文参考訳（メタデータ） (2023-12-01T08:02:16Z)
Do Generative Large Language Models need billions of parameters? [0.0]
この研究は、モデルの異なる部分がパラメータを共有することを可能にする新しい方法を探究する。このアプローチは、複雑な言語構造を学習し表現する能力を犠牲にすることなく、モデルがコンパクトであることを保証する。
論文参考訳（メタデータ） (2023-09-12T20:25:22Z)
ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model Reuse [59.500060790983994]
本稿では、PyTorchバックエンドを利用して、モデル再利用のための包括的でユーザフレンドリなツールボックスであるZhiJianを紹介する。 ZhiJianは、PTMによるターゲットアーキテクチャ構築、PTMによるターゲットモデルチューニング、およびPTMに基づく推論を含む、モデル再利用に関するさまざまな視点を統一する新しいパラダイムを提示している。
論文参考訳（メタデータ） (2023-08-17T19:12:13Z)
TaCA: Upgrading Your Visual Foundation Model with Task-agnostic Compatible Adapter [21.41170708560114]
視覚基盤モデルに基づくアプリケーションが増えている。システムのアップグレードを伴う状況では、新しい基盤モデルに適応するために、下流モジュールを再訓練することが不可欠です。パラメータ効率とタスク非依存のアダプタであるTaCAを導入し,異なる基礎モデル間の互換性を実現する。
論文参考訳（メタデータ） (2023-06-22T03:00:24Z)
Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
論文参考訳（メタデータ） (2023-04-05T07:28:33Z)
Scalable and Efficient MoE Training for Multitask Multilingual Models [55.987536562357086]
我々は,MoEモデルを数兆のパラメータに効率的にスケールできるシステムを開発した。また,MoEサンプルの効率を向上させるための新たなトレーニング手法を提案し,時間効率を向上させるために専門家の刈り取り戦略を活用する。 50言語で100億のパラメータで訓練されたモデルは、機械翻訳(MT)および多言語自然言語生成タスクにおける最先端のパフォーマンスを達成することができる。
論文参考訳（メタデータ） (2021-09-22T00:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。