論文の概要: LM-Fix: Lightweight Bit-Flip Detection and Rapid Recovery Framework for Language Models
- arxiv url: http://arxiv.org/abs/2511.02866v1
- Date: Mon, 03 Nov 2025 17:37:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-06 18:19:32.17993
- Title: LM-Fix: Lightweight Bit-Flip Detection and Rapid Recovery Framework for Language Models
- Title（参考訳）: LM-Fix:軽量ビットフリップ検出と言語モデルの高速回復フレームワーク
- Authors: Ahmad Tahmasivand, Noureldin Zahran, Saba Al-Sayouri, Mohammed Fouda, Khaled N. Khasawneh,
- Abstract要約: 本稿では,大規模言語モデル(LLM)における故障の軽量検出と高速回復のためのフレームワークLM-Fixを提案する。
複数のモデル全体で、TVL=200でのシングルビットフリップの94%以上、約1%から7.7%のオーバーヘッドでマルチビットフリップの100%近くを検出している。
- 参考スコア（独自算出の注目度）: 1.4922612738043657
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents LM-Fix, a lightweight detection and rapid recovery framework for faults in large language models (LLMs). Existing integrity approaches are often heavy or slow for modern LLMs. LM-Fix runs a short test-vector pass and uses hash-guided checks to detect bit-flip faults, then repairs them locally without a full reload. Across multiple models, it detects over 94% of single-bit flips at TVL=200 and nearly 100% of multi-bit flips with approximately 1% to 7.7% runtime overhead; recovery is more than 100x faster than reloading. These results show a practical, low-overhead solution to keep LLMs reliable in production
- Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)における欠陥の軽量検出と高速回復のためのフレームワークであるLM-Fixを提案する。
既存の整合性アプローチは、現代のLLMでは重いか遅いことが多い。
LM-Fixは短いテストベクターパスを実行し、ハッシュ誘導チェックを使用してビットフリップ障害を検出し、完全なリロードなしでローカルに修復する。
複数のモデルにまたがって、TVL=200でのシングルビットフリップの94%以上を検知し、約1%から7.7%のランタイムオーバーヘッドでマルチビットフリップの100%近くを検知する。
これらの結果から,LLMの信頼性を維持するための実用的,低オーバーヘッドなソリューションが示された。
関連論文リスト
- Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
大規模言語モデルは、データアノテーションやテキスト分析といった労働集約的なタスクの自動化を可能にすることで、社会科学の研究を変革している。
このような変異は、系統的なバイアスやランダムなエラーを導入し、下流の分析に伝播し、タイプI(偽陽性)、タイプII(偽陰性)、タイプS(重み付け効果)、タイプM(誇張効果)のエラーを引き起こす。
意図的なLSMハッキングは驚くほど単純であることがわかった。21の社会科学研究から37のデータアノテーションタスクを複製することで、ほんのわずかのプロンプトの言い回しで、事実上何であれ統計的に重要なものとして表現できることがわかりました。
論文 参考訳（メタデータ） (2025-09-10T17:58:53Z) - Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights [75.83625828306839]
textbfDrag-and-Drop LLMs (textitDnD)は、未ラベルのタスクプロンプトをLoRAの重み更新に直接マッピングすることで、タスク単位のトレーニングを廃止する。
ライトウェイトテキストエンコーダは、各プロンプトバッチを条件埋め込みに蒸留し、カスケードされた超畳み込みデコーダによって全LORA行列に変換する。
論文 参考訳（メタデータ） (2025-06-19T15:38:21Z) - APOLLO: Automated LLM and Lean Collaboration for Advanced Formal Reasoning [16.8655558789989]
本稿では,自動定理証明のためのモデルに依存しないエージェントフレームワークであるAPOLLO (Automated PrOof repair viaLLM and Lean cOllaboration)を提案する。
エージェントのセットは、証明を分析し、シンタックスのエラーを修正し、リーンを使って証明の誤りを特定し、失敗するサブレムマを分離し、自動化されたソルバを利用し、残りの目標に対してLLMを呼び出す。
この結果から,LLM出力を目標としたコンパイラ誘導型修復は,効率と正確性の両方において劇的に向上することが示された。
論文 参考訳（メタデータ） (2025-05-09T03:38:31Z) - TeleLoRA: Teleporting Model-Specific Alignment Across LLMs [13.551164842422484]
TeleLoRAは、複数の大規模言語モデルにまたがるモデル固有のアライメントデータを相乗化するフレームワークである。
複数のLLMにまたがる局所的なアクティベーション情報を活用することで、LoRAアダプタウェイトを統一的に生成する。
LLMトロイジャン緩和ベンチマークの実験は、TeleLoRAが攻撃成功率を効果的に減少させることを示した。
論文 参考訳（メタデータ） (2025-03-26T04:46:31Z) - Memory-Efficient Large Language Models for Program Repair with Semantic-Guided Patch Generation [6.801752060058508]
FLAMESは、修復効率とメモリ効率を向上させるためにセマンティック誘導パッチ生成を使用する。
FLAMESはLDMベースのAPRに比べてメモリ消費を最大83%削減する。
FLAMESはDefects4Jの133のバグを正しく修正し、最高のベースラインよりも10のバグを修正します。
論文 参考訳（メタデータ） (2024-10-22T02:59:47Z) - BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [53.31402059062365]
BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。
LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
論文 参考訳（メタデータ） (2024-02-06T09:26:34Z) - LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。
本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。
実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
論文 参考訳（メタデータ） (2023-11-14T01:38:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。