論文の概要: Adaptive Fault Tolerance Mechanisms of Large Language Models in Cloud Computing Environments

• arxiv url: http://arxiv.org/abs/2503.12228v1
• Date: Sat, 15 Mar 2025 18:45:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 15:59:08.822728
• Title: Adaptive Fault Tolerance Mechanisms of Large Language Models in Cloud Computing Environments
• Title（参考訳）: クラウドコンピューティング環境における大規模言語モデルの適応的フォールトトレランス機構
• Authors: Yihong Jin, Ze Yang, Xinhe Xu, Yihan Zhang, Shuyang Ji,
• Abstract要約: 本研究では,クラウドコンピューティングシナリオにおける大規模言語モデルの信頼性と可用性を確保するため,新しい適応型耐故障機構を提案する。 チェックポイント、冗長性、状態遷移といった既知のフォールトトレラントメカニズムに基づいて構築され、動的リソース割り当てとリアルタイムパフォーマンスメトリクスに基づく障害予測が導入されている。
• 参考スコア（独自算出の注目度）: 5.853391005435494
• License:
• Abstract: With the rapid evolution of Large Language Models (LLMs) and their large-scale experimentation in cloud-computing spaces, the challenge of guaranteeing their security and efficiency in a failure scenario has become a main issue. To ensure the reliability and availability of large-scale language models in cloud computing scenarios, such as frequent resource failures, network problems, and computational overheads, this study proposes a novel adaptive fault tolerance mechanism. It builds upon known fault-tolerant mechanisms, such as checkpointing, redundancy, and state transposition, introducing dynamic resource allocation and prediction of failure based on real-time performance metrics. The hybrid model integrates data driven deep learning-based anomaly detection technique underlining the contribution of cloud orchestration middleware for predictive prevention of system failures. Additionally, the model integrates adaptive checkpointing and recovery strategies that dynamically adapt according to load and system state to minimize the influence on the performance of the model and minimize downtime. The experimental results demonstrate that the designed model considerably enhances the fault tolerance in large-scale cloud surroundings, and decreases the system downtime by $\mathbf{30\%}$, and has a better modeling availability than the classical fault tolerance mechanism.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進化と、クラウドコンピューティング空間での大規模な実験により、障害シナリオにおけるセキュリティと効率を保証するという課題が大きな問題となっている。 クラウドコンピューティングのシナリオにおいて,資源障害やネットワーク問題,計算オーバーヘッドなどの大規模言語モデルの信頼性と可用性を確保するため,本研究では,新しい適応型耐故障機構を提案する。 チェックポイント、冗長性、状態遷移といった既知のフォールトトレラントメカニズムに基づいて構築され、動的リソース割り当てとリアルタイムパフォーマンスメトリクスに基づく障害予測が導入されている。 このハイブリッドモデルは、クラウドオーケストレーションミドルウェアのシステム障害の予測防止への貢献を裏付ける、データ駆動のディープラーニングベースの異常検出技術を統合する。 さらに、モデルは、負荷やシステム状態に応じて動的に適応する適応的なチェックポイントとリカバリ戦略を統合し、モデルの性能への影響を最小限に抑え、ダウンタイムを最小限にする。 実験により, 大規模クラウド環境における耐故障性を大幅に向上させ, システムダウンタイムを$\mathbf{30\%}$に削減し, 従来の耐故障性メカニズムよりも優れたモデリング能力を有することを示した。

関連論文リスト

• A Structured Reasoning Framework for Unbalanced Data Classification Using Probabilistic Models [1.6951945839990796]
  本稿では,不均衡データに対するマルコフネットワークモデルについて検討し,分類バイアスとマイノリティクラス認識能力不足の問題を解くことを目的とした。 実験の結果,マルコフネットワークは重み付け精度,F1スコア,AUC-ROCなどの指標で良好に動作することがわかった。 将来の研究は、大規模不均衡なデータ環境における効率的なモデルトレーニング、構造最適化、ディープラーニングの統合に焦点を当てることができる。
  論文  参考訳（メタデータ） (2025-02-05T17:20:47Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Expressive and Generalizable Low-rank Adaptation for Large Models via Slow Cascaded Learning [55.5715496559514]
  LoRA Slow Cascade Learning (LoRASC)は、LoRAの表現性と一般化能力を高めるために設計された革新的な技術である。 提案手法は,混合低ランク適応を可能にするカスケード学習戦略により表現性を増強し,複雑なパターンをキャプチャするモデルの能力を高める。
  論文  参考訳（メタデータ） (2024-07-01T17:28:59Z)
• Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation [56.79064699832383]
  Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。 CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
  論文  参考訳（メタデータ） (2024-02-27T08:47:19Z)
• Deep autoregressive density nets vs neural ensembles for model-based offline reinforcement learning [2.9158689853305693]
  本稿では、利用可能なデータからシステムダイナミクスを推定し、仮想モデルロールアウトにおけるポリシー最適化を行うモデルベース強化学習アルゴリズムについて考察する。 このアプローチは、実際のシステムで破滅的な失敗を引き起こす可能性のあるモデルエラーを悪用することに対して脆弱である。 D4RLベンチマークの1つのよく校正された自己回帰モデルにより、より良い性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-05T10:18:15Z)
• Three-Stage Adjusted Regression Forecasting (TSARF) for Software Defect Prediction [5.826476252191368]
  非均一ポアソン過程 (NHPP) SRGM が最も一般的に用いられるモデルである。 モデル複雑性の増大は、堅牢で計算効率のよいアルゴリズムを識別する上での課題である。
  論文  参考訳（メタデータ） (2024-01-31T02:19:35Z)
• Robustness and Generalization Performance of Deep Learning Models on Cyber-Physical Systems: A Comparative Study [71.84852429039881]
  調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。 我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
  論文  参考訳（メタデータ） (2023-06-13T12:43:59Z)
• DeepFT: Fault-Tolerant Edge Computing using a Self-Supervised Deep Surrogate Model [12.335763358698564]
  本稿では,システム過負荷とその悪影響を積極的に回避するためにDeepFTを提案する。 DeepFTは、システム内の障害を正確に予測し、診断するために、ディープサロゲートモデルを使用している。 モデルのサイズが1ユニットあたりわずか3～1%のスケールで、アクティブなタスクやホストの数が増えるため、非常にスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2022-12-02T16:51:58Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
  Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。 しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。 クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T08:02:27Z)
• Bootstrapped model learning and error correction for planning with uncertainty in model-based RL [1.370633147306388]
  自然の目的は、環境のダイナミクスを正確に反映したモデルを学ぶことである。 本稿では,不確実性を考慮した強化学習エージェントによるモデルミス特定の問題について検討する。 本稿では,将来の状態と報酬の分布を学習するブートストラップ型マルチヘッドニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-15T15:41:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。