論文の概要: A Survey on the Green Development of Large Models: From Resource-Efficient Architectures to Hardware-Software Co-Design
- arxiv url: http://arxiv.org/abs/2607.09084v1
- Date: Fri, 10 Jul 2026 04:02:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-13 14:47:12.77775
- Title: A Survey on the Green Development of Large Models: From Resource-Efficient Architectures to Hardware-Software Co-Design
- Title（参考訳）: 大規模モデルのグリーン開発に関する調査研究:資源効率の良いアーキテクチャからハードウェア・ソフトウェア共同設計まで
- Abstract要約: 大規模AIモデルの急速な拡張は、さまざまな領域で大幅なパフォーマンスのブレークスルーをもたらした。
また、計算コスト、エネルギー消費、環境の持続可能性に関する重要な懸念を提起している。
この調査は、大規模モデルの持続的、スケーラブルで、社会的に責任のある開発に向けて、全体的なロードマップを提供することを目的としている。
- 参考スコア（独自算出の注目度）: 71.32556809242666
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The rapid expansion of large-scale AI models has led to significant performance breakthroughs across diverse domains, yet it has also raised critical concerns regarding computational costs, energy consumption, and environmental sustainability. This survey provides a comprehensive overview of the green development of large models, emphasizing resource-efficient architectures and full-stack hardware-software co-design. We systematically review recent advances in efficient model construction, including attention operator optimization, linear-complexity architectures, and model sparsification and merging, as well as training and deployment strategies such as data-efficient learning, parameter-efficient fine-tuning, and computational compression. Beyond algorithmic improvements, we explore energy-efficient AI hardware, including mainstream AI chips, memory optimization, cross-platform deployment, and sustainable infrastructure. Furthermore, we examine how large models are being applied to sustainability-critical domains such as DeepSeek, remote sensing interpretation, national-scale infrastructure, and global initiatives. Finally, we discuss key challenges and future directions, highlighting the need for continual learning paradigms, memory-centric hardware, and standardized evaluation protocols. This survey aims to offer a holistic roadmap toward sustainable, scalable, and socially responsible development of large models. Paper homepage: https://cje.ejournal.org.cn/article/doi/10.23919/cje.2025.00.438
- Abstract（参考訳）: 大規模AIモデルの急速な拡張は、さまざまな領域で大幅なパフォーマンスのブレークスルーをもたらしたが、計算コスト、エネルギー消費、環境の持続可能性に関する重要な懸念も持ち上がった。
この調査は、リソース効率の高いアーキテクチャとフルスタックのハードウェアとソフトウェアの共同設計を強調した、大規模モデルのグリーン開発に関する包括的な概要を提供する。
我々は,注目演算子最適化,線形複雑アーキテクチャ,モデルスカラー化とマージ,データ効率の学習,パラメータ効率の微調整,計算圧縮などのトレーニングおよび展開戦略など,近年の効率的なモデル構築の進歩を体系的にレビューした。
アルゴリズムの改善以外にも、主流のAIチップ、メモリ最適化、クロスプラットフォームデプロイメント、持続可能なインフラストラクチャなど、エネルギー効率の高いAIハードウェアについても検討しています。
さらに,DeepSeekやリモートセンシング解釈,全国規模のインフラストラクチャ,グローバルイニシアチブといった,持続可能性クリティカルなドメインに対して,大規模なモデルがどのように適用されているかを検討する。
最後に、重要な課題と今後の方向性について議論し、継続学習パラダイム、メモリ中心ハードウェア、標準化された評価プロトコルの必要性を強調した。
この調査は、大規模モデルの持続的、スケーラブルで、社会的に責任のある開発に向けて、全体的なロードマップを提供することを目的としている。
紙のホームページ:https://cje.ejournal.org.cn/article/doi/10.23919/cje.2025.00.438
関連論文リスト
- Perspective: Towards sustainable exploration of chemical spaces with machine learning [49.29528647472741]
持続可能な進歩は、オープンデータとモデル、再利用可能なデータセット、ドメイン固有のAIシステムに依存します。
我々は、汎用機械学習(ML)モデル、多要素アプローチ、モデルの蒸留、アクティブラーニングなど、効率を高めるための新たな戦略を強調した。
論文 参考訳（メタデータ） (2026-03-31T13:29:20Z) - Throughput Optimization as a Strategic Lever in Large-Scale AI Systems: Evidence from Dataloader and Memory Profiling Innovations [0.0]
本稿では,近年の学術的,産業的革新から証拠を合成し,学習効率の重要な進歩を分析する。
エンドツーエンドのトレーニングスループットが4.5%向上したOVERLORDフレームワークのような,データローダボトルネックに対するアーキテクチャソリューションを検討する。
本稿では,Triton-Distributedによって実証されたコンパイラ中心の最適化の重要性の増大について考察する。
論文 参考訳（メタデータ） (2026-03-27T00:04:23Z) - Advances and Frontiers of LLM-based Issue Resolution in Software Engineering: A Comprehensive Survey [59.3507264893654]
課題解決は、現実世界の開発に不可欠な複雑なソフトウェアエンジニアリングタスクです。
SWE-benchのようなベンチマークでは、このタスクは大規模言語モデルでは極めて困難であることが判明した。
本稿では,この新興領域を体系的に調査する。
論文 参考訳（メタデータ） (2026-01-15T18:55:03Z) - The Role of Advanced Computer Architectures in Accelerating Artificial Intelligence Workloads [0.0]
人工知能(AI)の顕著な進歩は、コンピュータアーキテクチャにおける同時革命と基礎的に結びついている。
AIモデル、特にDeep Neural Networks(DNN)が複雑化するにつれ、その膨大な計算要求により、従来のアーキテクチャは限界に達している。
本稿では、現代のAIワークロードを加速するために設計されたアーキテクチャのランドスケープを分析し、この共進化の構造化されたレビューを提供する。
論文 参考訳（メタデータ） (2025-11-13T06:26:39Z) - Edge-Cloud Collaborative Computing on Distributed Intelligence and Model Optimization: A Survey [58.50944604905037]
エッジクラウドコラボレーティブコンピューティング(ECCC)は、現代のインテリジェントアプリケーションの計算要求に対処するための重要なパラダイムとして登場した。
AIの最近の進歩、特にディープラーニングと大規模言語モデル(LLM)は、これらの分散システムの能力を劇的に向上させてきた。
この調査は、基本的なアーキテクチャ、技術の実現、新しいアプリケーションに関する構造化されたチュートリアルを提供する。
論文 参考訳（メタデータ） (2025-05-03T13:55:38Z) - Empowering Edge Intelligence: A Comprehensive Survey on On-Device AI Models [16.16798813072285]
人工知能(AI)技術の急速な進歩により、エッジと端末デバイスへのAIモデルの展開が増加している。
この調査は、オンデバイスAIモデルの現状、技術的な課題、今後のトレンドを包括的に調査する。
論文 参考訳（メタデータ） (2025-03-08T02:59:51Z) - On Accelerating Edge AI: Optimizing Resource-Constrained Environments [1.7355861031903428]
リソース制約のあるエッジデプロイメントでは、厳格な計算、メモリ、エネルギー制限とハイパフォーマンスのバランスをとるAIソリューションが要求される。
本稿では,このような制約下でのディープラーニングモデルを加速するための主要な戦略について概観する。
論文 参考訳（メタデータ） (2025-01-25T01:37:03Z) - A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。
これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。
本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
論文 参考訳（メタデータ） (2024-12-18T14:11:15Z) - Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。
モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。
このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
論文 参考訳（メタデータ） (2024-07-12T09:24:34Z) - A Survey of Resource-efficient LLM and Multimodal Foundation Models [22.23967603206849]
大規模言語モデル(LLM)、ビジョントランスフォーマー(ViT)、拡散、マルチモーダルモデルを含む大規模な基盤モデルは、機械学習ライフサイクル全体に革命をもたらしている。
しかしながら、これらのモデルが提供する汎用性と性能の大幅な進歩は、ハードウェアリソースの面でかなりのコストがかかる。
この調査は、アルゴリズム的側面とシステム的側面の両方を調べることで、そのような研究の重要さを掘り下げるものである。
論文 参考訳（メタデータ） (2024-01-16T03:35:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。