論文の概要: Weight Pruning Amplifies Bias: A Multi-Method Study of Compressed LLMs for Edge AI

• arxiv url: http://arxiv.org/abs/2605.08137v1
• Date: Sat, 02 May 2026 05:27:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.3818
• Title: Weight Pruning Amplifies Bias: A Multi-Method Study of Compressed LLMs for Edge AI
• Title（参考訳）: 軽量プルーニングがバイアスを増幅する:エッジAIのための圧縮LDMのマルチメソッド研究
• Authors: Plawan Kumar Rath, Rahul Maliakkal,
• Abstract要約: 活性化認識プルーニング(Wanda)はパープレキシティをほぼ完全に保ち(Mistral-7Bでは50%の間隔でわずか3.5%増加)、最も高いバイアス増幅をもたらす。 ランダムプルーニングは、言語能力を完全に破壊する(複雑度は104ドルを超え、108ドルに達する)が、ランダムチャンスバイアスしか発生しない。 さらに、非構造化プルーニングは、実際のエッジハードウェアにおいて、ストレージをゼロにし、推論遅延をゼロにすることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weight pruning is widely advocated for deploying Large Language Models on resource-constrained IoT and edge devices, yet its impact on model fairness remains poorly understood. We conduct a controlled empirical study of three instruction-tuned models (Gemma-2-9b-it, Mistral-7B-Instruct-v0.3, Phi-3.5-mini-instruct) across three pruning methods (Random, Magnitude, Wanda) at four sparsity levels (10-70%) on 12,148 BBQ bias benchmark items with 5 random seeds, totaling 2,368,860 inference records. Our results reveal a Smart Pruning Paradox: activation-aware pruning (Wanda) preserves perplexity nearly perfectly (just 3.5% increase at 50% sparsity for Mistral-7B), yet produces the highest bias amplification, with Stereotype Reliance Score increasing 83.7% and 47-59% of previously unbiased items developing new stereotypical behaviors at 70% sparsity. Random pruning destroys language capability entirely (perplexity exceeding $10^4$ and reaching $10^8$) but produces only random-chance bias. We further show that unstructured pruning provides zero storage savings and zero inference latency reduction on real edge hardware, undermining the primary motivation for its use in IoT deployment. Of 180 dense-vs-pruned comparisons, 141 (78.3%) are significant ($p < 0.05$) with mean $|h| = 0.305$. Published quantization studies report up to 21% of responses flipping between biased and unbiased states; our pruning results show transition rates nearly three times higher (47-59%), suggesting pruning poses a categorically greater risk to alignment than quantization. These findings demonstrate that perplexity-based evaluation provides false assurance of behavioral equivalence, and that IoT deployment pipelines require bias-aware validation before deploying pruned models at the edge.
• Abstract（参考訳）: 軽量プルーニングは、リソース制約のあるIoTおよびエッジデバイスに大規模言語モデルをデプロイすることが広く提唱されているが、モデルフェアネスへの影響は理解されていない。 我々は,5つのランダムシードを持つ12,148 BBQバイアスベンチマーク項目の4つの間隔レベル (10-70%) において, 3つのプルーニング法 (ランダム, マグニチュード, ワンダ) に対して, 3つの命令調整モデル (Gemma-2-9b-it, Mistral-7B-Instruct-v0.3, Phi-3.5-mini-instruct) を比較検討した。 アクティベーション・アウェア・プルーニング(Wanda)はパープレキシティをほぼ完璧に保ち(Mistral-7Bでは50%間隔でわずか3.5%増加)、最も高いバイアス増幅を産み出す。 ランダムプルーニングは言語能力を完全に破壊する(複雑度は10^4$を超え、10^8$に達する)が、ランダムチャンスバイアスしか生じない。 さらに、非構造化プルーニングは、実際のエッジハードウェアでストレージをゼロにし、推論遅延をゼロにします。 180の密度vs-pruned比較のうち、141(78.3%)はp < 0.05$)であり、平均は|h| = 0.305$である。 公表された量子化研究では、偏りのある状態と偏りのない状態の間の応答の最大21%が反転し、プルーニングの結果は3倍近い(47-59%)遷移率を示し、プルーニングは量子化よりもカテゴリー的にアライメントのリスクが高いことを示唆している。 これらの結果は、パープレキシティに基づく評価が行動等価性の偽保証を提供し、IoTデプロイメントパイプラインは、プルーニングされたモデルをエッジにデプロイする前にバイアス対応の検証を必要とすることを示している。

関連論文リスト

• Cut Your Losses! Learning to Prune Paths Early for Efficient Parallel Reasoning [30.70183055909553]
  経路解析における最初の体系的分類法を提案し,その信号源による分類法(内部対外部)と学習可能性(学習可能対非学習可能)を提案する。 この分類は、学習可能な内部メソッドの未探索の可能性を明らかにし、STOP(Super Token for Pruning)の提案を動機付けます。
  論文  参考訳（メタデータ） (2026-04-17T13:00:22Z)
• One Token Away from Collapse: The Fragility of Instruction-Tuned Helpfulness [12.183451602438753]
  単純な語彙制約(句読解文字または共通単語の禁止)により、命令調整されたLLMが応答を崩壊させることを示す。 ベースモデルでは,同じ制約の下で,小さな,騒々しい,双方向的な効果を伴って,体系的な崩壊を示さないことを示す。
  論文  参考訳（メタデータ） (2026-04-14T17:40:01Z)
• Evaluating Small Language Models for Front-Door Routing: A Harmonized Benchmark and Synthetic-Traffic Experiment [0.05586191108738562]
  小型言語モデル(SLM)は、サブ秒、ゼロマージナルコスト、セルフホストタスクの分類に十分な推論能力を持つ。 Study 1はPhi-3.5-mini、Qwen2.5-1.5B、Qwen-2.5-3Bを同一のAzure T4ハードウェア、サービススタック、量子化、固定60ケースコーパスで同期したオフラインベンチマークである。 研究2は、合成トラフィック下で事前登録された4本腕ランダム化実験であり、有効サンプルサイズは腕あたり60ケースである。
  論文  参考訳（メタデータ） (2026-03-26T15:57:46Z)
• Brevity Constraints Reverse Performance Hierarchies in Language Models [0.0]
  ベンチマーク問題の7.7%では、より大きな言語モデルは10-100倍のパラメータにもかかわらず、より小さな言語モデルよりも28.4ポイント低い。 我々は,このメカニズムを,過度な作業を通じてエラーを発生させる自発的なスケール依存的冗長性として認識する。 この結果から,大規模モデルの性能を最大化するには,スケールアウェア・プロンプト・エンジニアリングが必要であることが判明した。
  論文  参考訳（メタデータ） (2026-03-11T06:47:41Z)
• ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
  ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。 我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-02-27T05:22:01Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• Think Before You Prune: Self-Reflective Structured Pruning for Reasoning Language Models [31.422773877490613]
  推論 LLM (Reasoning LLMs) はチェーン・オブ・ソート・ジェネレーションを通じて強力な多段階推論を実現する。 RLMの大きなモデルサイズと長いデコードタイムのアウトプットは、リソース制約のある設定にデプロイするのにコストがかかり、不適当である。 我々は、構造化されたプルーニングフレームワークであるRESPを紹介し、プルーニング決定とモデルの推論力学を一致させる。
  論文  参考訳（メタデータ） (2025-12-01T20:27:05Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)
• Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
  推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。 Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-04-02T16:25:30Z)
• How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
  提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。 我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。 GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
  論文  参考訳（メタデータ） (2024-02-20T18:31:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。