論文の概要: Decomposed Trust: Exploring Privacy, Adversarial Robustness, Fairness, and Ethics of Low-Rank LLMs

• arxiv url: http://arxiv.org/abs/2511.22099v1
• Date: Thu, 27 Nov 2025 04:40:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.391957
• Title: Decomposed Trust: Exploring Privacy, Adversarial Robustness, Fairness, and Ethics of Low-Rank LLMs
• Title（参考訳）: 低ランクLCMのプライバシー、敵対的ロバスト性、公正性、倫理を探求する信頼の分解
• Authors: Daniel Agyei Asante, Md Mokarram Chowdhury, Yang Li,
• Abstract要約: 低ランクの要因化が、プライバシー、敵の堅牢性、公正性、倫理的整合性にどのように影響するかを研究する。 低ランク圧縮は、トレーニングデータのプライバシを保護または改善するが、会話中のPII保護を弱める。 敵の強靭性は一般に保存され、しばしば強化される。 倫理的推論はゼロショット設定では劣化するが、ほとんどショットのプロンプトで部分的に回復する。
• 参考スコア（独自算出の注目度）: 2.1311014724439845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have driven major advances across domains, yet their massive size hinders deployment in resource-constrained settings. Model compression addresses this challenge, with low-rank factorization emerging as a particularly effective method for reducing size, memory, and computation while maintaining accuracy. However, while these compressed models boast of benign performance and system-level advantages, their trustworthiness implications remain poorly understood. In this paper, we present the first comprehensive study of how low-rank factorization affects LLM trustworthiness across privacy, adversarial robustness, fairness, and ethical alignment. We evaluate multiple LLMs of different sizes and variants compressed with diverse low-rank algorithms, revealing key insights: (1) low-rank compression preserves or improves training data privacy but weakens PII protection during conversation; (2) adversarial robustness is generally preserved and often enhanced, even under deep compression; (3) ethical reasoning degrades in zero-shot settings but partially recovers with few-shot prompting; (4) fairness declines under compression. Beyond compression, we investigate how model scale and fine-tuning affect trustworthiness, as both are important in low-rank methods. To guide trustworthy compression strategies, we end our paper with a gradient-based attribution analysis to identify which layers in LLMs contribute most to adversarial robustness.
• Abstract（参考訳）: 大規模言語モデル(LLM)はドメイン間で大きな進歩を導いてきたが、その巨大なサイズはリソース制約のある設定でのデプロイメントを妨げる。 モデル圧縮はこの課題に対処し、精度を維持しながらサイズ、メモリ、計算の削減に特に効果的な方法として、低ランクの分解が出現する。 しかしながら、これらの圧縮モデルは良質な性能とシステムレベルのアドバンテージを誇っているが、信頼性への影響はよく分かっていない。 本稿では,低ランク因数化がLLMの信頼性にどのように影響するかを,プライバシ,敵対的堅牢性,公正性,倫理的整合性に比較検討する。 低ランク圧縮はトレーニングデータのプライバシを保護または改善するが、会話中のPII保護を弱める; 2) 敵対的堅牢性は一般的に保存され、深い圧縮下でもしばしば強化される; (3) ゼロショット設定では低下するが、わずかなプロンプトで部分的に回復する; (4) 圧縮下での公正さの低下。 圧縮以外にも,モデルスケールと微調整が信頼性に与える影響について検討する。 信頼性の高い圧縮戦略を導出するために,LLMのどの層が敵の強靭性に最も寄与しているかを特定するために,勾配に基づく属性解析を行った。

関連論文リスト

• Enhancing Trustworthiness with Mixed Precision: Benchmarks, Opportunities, and Challenges [12.438306093697]
  大規模言語モデル(LLM)は、様々なタスクで有望なパフォーマンスを示している。 LLMの自己回帰デコーディングプロセスは、既存のAIハードウェアへの効率的なデプロイに重大な課題をもたらす。
  論文  参考訳（メタデータ） (2025-11-27T14:17:43Z)
• DeLeaker: Dynamic Inference-Time Reweighting For Semantic Leakage Mitigation in Text-to-Image Models [55.30555646945055]
  テキスト・ツー・イメージ(T2I)モデルはセマンティック・リークに対して脆弱である。 DeLeakerは、モデルのアテンションマップに直接介入することで、漏洩を緩和する軽量なアプローチである。 SLIMはセマンティックリークに特化した最初のデータセットである。
  論文  参考訳（メタデータ） (2025-10-16T17:39:21Z)
• Optimizing Singular Spectrum for Large Language Model Compression [95.7621116637755]
  SVDの分解したコンポーネントをデータ駆動で再スケールする新しい圧縮フレームワークであるSoCoを紹介する。 学習可能な特異スペクトルのおかげで、SoCoは重要度スコアに応じて成分を適応的にプーンする。 複数のLLMおよびベンチマークでの実験的な評価は、SoCoがモデル圧縮における最先端の手法を超越していることを示している。
  論文  参考訳（メタデータ） (2025-02-20T23:18:39Z)
• UNComp: Can Matrix Entropy Uncover Sparsity? -- A Compressor Design from an Uncertainty-Aware Perspective [85.08718140718707]
  UNCompは不確実性を認識したフレームワークで、適応圧縮に使用できる空間パターンを明らかにする。 スパーシティパターンを詳細に分析する不確実性に注目して、UNCompはKVキャッシュサイズを4.74%に削減し、6%のプリフィルスピードアップを実現し、スループットを6.4倍改善した。
  論文  参考訳（メタデータ） (2024-10-04T02:32:36Z)
• Beyond Perplexity: Multi-dimensional Safety Evaluation of LLM Compression [33.45167213570976]
  モデル圧縮が4次元に与える影響について検討する:(1)退化障害、すなわち、世代におけるバイアスと毒性、(2)表現障害、すなわち、識別的タスクにおけるバイアス、(3)方言バイアス、(4)言語モデリングと下流タスクのパフォーマンス。 解析の結果,圧縮が予期せぬ結果をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-06T05:56:22Z)
• Decoding Compressed Trust: Scrutinizing the Trustworthiness of Efficient LLMs Under Compression [109.23761449840222]
  本研究は,Large Language Models (LLM) の最初の完全評価を行う。 量子化は現在、効率性と信頼性を同時に達成する上で、プルーニングよりも効果的なアプローチであることが分かっています。
  論文  参考訳（メタデータ） (2024-03-18T01:38:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。