論文の概要: Fault-tolerant foundation models

• arxiv url: http://arxiv.org/abs/2610.10311v1
• Date: Wed, 07 Oct 2026 16:05:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.019763
• Title: Fault-tolerant foundation models
• Title（参考訳）: フォールトトレラント基礎モデル
• Abstract要約: 大規模言語モデル(LLM)は、この信頼性の低下を許容するために訓練可能であることを示す。 4万のGPU時間のトレーニングから推測される修正されたニューラルスケーリング法則は、シミュレーションされた欠陥のあるデジタルハードウェア上で実行され、この傾向を定量化する。 この発見は、適切に訓練されたLSMが正式にフォールトトレラントである可能性があるという予想を導いた。
• 参考スコア（独自算出の注目度）: 7.252754128533542
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emerging computer hardware often trades reliability for energy efficiency; here we show that large-language models (LLMs) can be trained to tolerate this unreliability, and that rather than degrading, their error resilience actually increases as they grow. Modified neural scaling laws inferred from 40,000 GPU-hours of training runs on simulated faulty digital hardware quantify this trend and suggest that models learn to compute within "good" error-correcting codes, whose relative overhead remains finite no matter how large the model gets. This finding leads us to conjecture that appropriately trained LLMs may be formally fault-tolerant; if true, running AI inference on low energy, faulty hardware may be a path to substantial energy savings over the status quo.
• Abstract（参考訳）: ここでは、大規模言語モデル(LLM)が、この信頼性を許容するために訓練可能であること、そして、劣化する代わりに、それらのエラーレジリエンスが、成長するにつれて実際に増加することを示します。 4万のGPU時間のトレーニングから推測される修正されたニューラルスケーリング法則は、シミュレーションされた不良なデジタルハードウェア上で実行され、この傾向を定量化し、モデルがどの程度の大きさになるにせよ、相対的なオーバーヘッドが有限である"良い"エラー修正コード内でモデルが計算することを学ぶことを示唆している。 この発見により、適切に訓練されたLSMは、正式にフォールトトレラントであると推測される。もし本当なら、低エネルギーでAI推論を実行しているとすれば、欠陥のあるハードウェアは、現状に対する実質的な省エネへの道のりとなるかもしれない。

関連論文リスト

• How LLMs Fail and Generalize in RTL Coding for Hardware Design? [56.361436215029045]
  我々は,認知理論に触発された問題解決性に基づく新しい誤り分類法を導入する。 我々の分類学は、障害を構文、意味、解決可能な機能、解決不可能な機能タイプに分類する。
  論文  参考訳（メタデータ） (2026-04-26T14:34:49Z)
• SVTime: Small Time Series Forecasting Models Informed by "Physics" of Large Vision Model Forecasters [86.38433605933515]
  動的Webコンテンツを分析するには時系列AIが不可欠だ。 エネルギー集約的なトレーニング、推論、ハードウェアの要求を考えると、大きなモデルを1フィットのソリューションとして使うと、二酸化炭素のフットプリントと持続可能性に対する深刻な懸念が浮かび上がっています。 本稿では、長期時系列予測(LTSF)のための大型ビジョンモデル(LVM)予測器にインスパイアされた新しい小型モデルSVTimeを紹介する。
  論文  参考訳（メタデータ） (2025-10-10T18:42:23Z)
• Model-Agnostic Knowledge Guided Correction for Improved Neural Surrogate Rollout [3.006104092368596]
  本稿では,ニューラルサロゲート,RL決定モデル,物理シミュレータを組み合わせることで,ロールアウト誤差を大幅に低減するモデルに依存しないコスト認識モデルを提案する。 HyPERは、物理的条件の変化に適応し、騒音の破損に抵抗するインテリジェントなポリシーを学ぶ。
  論文  参考訳（メタデータ） (2025-03-13T05:00:23Z)
• Physics-Informed Weakly Supervised Learning for Interatomic Potentials [17.165117198519248]
  機械学習型原子間ポテンシャル(MLIP)のトレーニングのための物理インフォームド・弱教師付きアプローチを導入する。 我々は、様々なベースラインモデルとベンチマークデータセットに対して、エネルギーと力の誤差を(しばしば2倍以下に)減らすことを示した。 我々のアプローチは、スパースで高精度なアブ・イニシアチブデータに基づく基礎モデルの微調整を改善する。
  論文  参考訳（メタデータ） (2024-07-23T12:49:04Z)
• Maximum Likelihood Distillation for Robust Modulation Classification [50.51144496609274]
  我々は、より堅牢なAMCシステムを構築するために、知識蒸留のアイデアと敵の訓練に基づいて構築する。 オフライン環境でのAMC問題を解消し,より優れたトレーニングラベルを生成するためのMaximum Likelihood関数を提案する。
  論文  参考訳（メタデータ） (2022-11-01T21:06:11Z)
• Surrogate-data-enriched Physics-Aware Neural Networks [0.0]
  そこで我々は,低次モデル (ROM) のような他の代用モデルから得られる,安価だが不正確なデータを用いて,物理認識モデルをどのように豊かにすることができるかを検討する。 概念実証として, 1次元波動方程式を考察し, ROMからの不正確なデータが組み込まれた場合, トレーニング精度が2桁に向上することを示す。
  論文  参考訳（メタデータ） (2021-12-10T12:39:07Z)
• Efficient Transformers in Reinforcement Learning using Actor-Learner Distillation [91.05073136215886]
  「Actor-Learner Distillation」は、大容量学習者モデルから小容量学習者モデルへ学習の進捗を移す。 Actor-Learner Distillation を用いて,トランスフォーマー学習モデルの明確なサンプル効率向上を再現する,いくつかの挑戦的なメモリ環境を実証する。
  論文  参考訳（メタデータ） (2021-04-04T17:56:34Z)
• Understanding the Difficulty of Training Transformers [120.99980924577787]
  バランスの取れない勾配がトレーニングの不安定性の根本原因ではないことを示す。 我々は,早期段階のトレーニングを安定させ,後期段階においてその潜在能力を最大限に活用するためのアドミンを提案する。
  論文  参考訳（メタデータ） (2020-04-17T13:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。