論文の概要: Less Is More? Examining Fairness in Pruned Large Language Models for Summarising Opinions

• arxiv url: http://arxiv.org/abs/2508.17610v3
• Date: Sun, 14 Sep 2025 23:02:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 15:23:16.36565
• Title: Less Is More? Examining Fairness in Pruned Large Language Models for Summarising Opinions
• Title（参考訳）: より少ないのか? 要約のための大規模言語モデルにおける公平性の検討
• Authors: Nannan Huang, Haytham M. Fayek, Xiuzhen Zhang,
• Abstract要約: 本稿では,3つの最先端プルーニング手法と様々なキャリブレーションセットについて,意見要約の包括的実証分析を行った。 本稿では、入力処理に冗長だが出力生成に影響を及ぼすパラメータを特定し、除去する高勾配低活性化(HGLA)プルーニングを提案する。 我々の人間による評価では、HGLAによる出力は既存の最先端の刈り取り法よりも公平である。
• 参考スコア（独自算出の注目度）: 4.829365136759453
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model compression through post-training pruning offers a way to reduce model size and computational requirements without significantly impacting model performance. However, the effect of pruning on the fairness of LLM-generated summaries remains unexplored, particularly for opinion summarisation where biased outputs could influence public views.In this paper, we present a comprehensive empirical analysis of opinion summarisation, examining three state-of-the-art pruning methods and various calibration sets across three open-source LLMs using four fairness metrics. Our systematic analysis reveals that pruning methods have a greater impact on fairness than calibration sets. Building on these insights, we propose High Gradient Low Activation (HGLA) pruning, which identifies and removes parameters that are redundant for input processing but influential in output generation. Our experiments demonstrate that HGLA can better maintain or even improve fairness compared to existing methods, showing promise across models and tasks where traditional methods have limitations. Our human evaluation shows HGLA-generated outputs are fairer than existing state-of-the-art pruning methods. Code is available at: https://github.com/amberhuang01/HGLA.
• Abstract（参考訳）: 訓練後プルーニングによるモデル圧縮は、モデル性能に大きな影響を及ぼすことなく、モデルサイズと計算要求を減らす方法を提供する。 しかし,LLM生成サマリーの公平性に対するプルーニングの効果は未解明のままであり,特に,偏りのあるアウトプットが公衆の見解に影響を及ぼすような意見の要約について考察する。この記事では,3つの最先端プルーニング手法と3つのオープンソースLCMの様々なキャリブレーションセットを4つのフェアネス指標を用いて検討し,総合的な考察を行った。 系統解析により, 刈り取り法は校正セットよりも公平性に大きな影響を及ぼすことが明らかとなった。 これらの知見に基づいて、入力処理には冗長だが出力生成に影響を及ぼすパラメータを識別・除去する高勾配低活性化(HGLA)プルーニングを提案する。 我々の実験は、HGLAが従来の手法よりも保守性や公正性を向上できることを示し、従来の手法に制限があるモデルやタスク間での約束を示す。 我々の人間による評価では、HGLAによる出力は既存の最先端の刈り取り法よりも公平である。 コードは、https://github.com/amberhuang01/HGLAで入手できる。

関連論文リスト

• Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
  大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。 大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。 従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:09:47Z)
• A Unified Virtual Mixture-of-Experts Framework:Enhanced Inference and Hallucination Mitigation in Single-Model System [9.764336669208394]
  GPTやBERTのような生成モデルは、テキスト生成や要約といったタスクのパフォーマンスを大幅に改善した。 しかし、「モデルが非現実的または誤解を招くコンテンツを生成する場所」という幻覚は、特に小規模アーキテクチャでは問題となる。 本稿では,単一のQwen 1.5 0.5Bモデルにおいて,推論性能を高め,幻覚を緩和する仮想ミックス・オブ・エクササイズ(MoE)融合戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-01T11:38:01Z)
• THaMES: An End-to-End Tool for Hallucination Mitigation and Evaluation in Large Language Models [0.0]
  事実的に誤ったコンテンツの生成である幻覚は、大規模言語モデルにおいてますます困難になっている。 本稿では,このギャップに対処する統合フレームワークとライブラリであるTHaMESを紹介する。 THaMES は LLM における幻覚の評価と緩和のためのエンドツーエンドのソリューションを提供する。
  論文  参考訳（メタデータ） (2024-09-17T16:55:25Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Debiasing Multimodal Large Language Models via Penalization of Language Priors [38.97645845493758]
  MLLM(Multimodal Large Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 生成されたコンテンツは、入力画像よりも、基礎となるLarge Language Models (LLMs) の本質的な先行性によって駆動されることが多い。 本稿では、これらのバイアスを補正し、視覚情報に対するモデルの焦点をリダイレクトするための、単純でトレーニングのない2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Investigating Hallucinations in Pruned Large Language Models for Abstractive Summarization [37.55557353462219]
  プルーニング(Pruning)は、余分な重みを取り除くことによってモデルサイズを減らす手法であり、より効率的なスパース推論を可能にする。 本稿では,5つの要約データセット,2つの最先端プルーニング手法,および5つの命令調整LDMに関する実証的研究を行う。 驚いたことに、幻覚はオリジナルのモデルに比べて、刈り取られたLLMからそれほど多くない。
  論文  参考訳（メタデータ） (2023-11-15T19:49:24Z)
• Predicting Emergent Abilities with Infinite Resolution Evaluation [85.89911520190711]
  本稿では,デコードフェーズにおける大規模なサンプリングを通じて,理論的に無限の分解能を持つ評価戦略であるPassUntilを紹介する。 トレーニング開始前に0.05%の偏差でコード生成における2.4Bモデルの性能を予測する。 スケーリング曲線が標準スケーリング法則関数に適合できないような,高速化された出現の種を同定する。
  論文  参考訳（メタデータ） (2023-10-05T02:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。