論文の概要: The Impact of Inference Acceleration Strategies on Bias of LLMs

• arxiv url: http://arxiv.org/abs/2410.22118v1
• Date: Tue, 29 Oct 2024 15:19:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:42:59.387690
• Title: The Impact of Inference Acceleration Strategies on Bias of LLMs
• Title（参考訳）: LLMのバイアスに及ぼす推論加速方略の影響
• Authors: Elisabeth Kirsten, Ivan Habernal, Vedant Nanda, Muhammad Bilal Zafar,
• Abstract要約: 大規模言語モデル(LLM)は、コストがかかり遅い推論タスクを実行する。 推定加速度最適化によるモデル生成の人口統計バイアスがLLM性能の重要な側面であることを示す。 加速度戦略とバイアスタイプの組み合わせは、あるモデルではバイアスの変化が少ないが、別のモデルでは大きな影響をもたらす可能性がある。
• 参考スコア（独自算出の注目度）: 15.42319156860822
• License:
• Abstract: Last few years have seen unprecedented advances in capabilities of Large Language Models (LLMs). These advancements promise to deeply benefit a vast array of application domains. However, due to their immense size, performing inference with LLMs is both costly and slow. Consequently, a plethora of recent work has proposed strategies to enhance inference efficiency, e.g., quantization, pruning, and caching. These acceleration strategies reduce the inference cost and latency, often by several factors, while maintaining much of the predictive performance measured via common benchmarks. In this work, we explore another critical aspect of LLM performance: demographic bias in model generations due to inference acceleration optimizations. Using a wide range of metrics, we probe bias in model outputs from a number of angles. Analysis of outputs before and after inference acceleration shows significant change in bias. Worryingly, these bias effects are complex and unpredictable. A combination of an acceleration strategy and bias type may show little bias change in one model but may lead to a large effect in another. Our results highlight a need for in-depth and case-by-case evaluation of model bias after it has been modified to accelerate inference.
• Abstract（参考訳）: ここ数年、LLM(Large Language Models)の能力は前例のない進歩を遂げてきた。 これらの進歩は、広範囲のアプリケーションドメインに深い利益をもたらすことを約束します。 しかし、その大きなサイズのため、LSMによる推論はコストがかかり、遅くなる。 その結果、最近の研究で推論効率、例えば量子化、プルーニング、キャッシングを向上させる戦略が提案されている。 これらのアクセラレーション戦略は、一般的なベンチマークで測定される予測性能の多くを維持しながら、推論コストとレイテンシをいくつかの要因によって削減する。 本研究では,LLM性能の別の重要な側面として,推論加速度最適化によるモデル生成における人口統計バイアスについて考察する。 広い範囲のメトリクスを用いて、様々な角度からのモデル出力のバイアスを探索する。 推定加速度前後の出力分析はバイアスに大きな変化を示した。 さらに悪いことに、これらのバイアス効果は複雑で予測不能である。 加速度戦略とバイアスタイプの組み合わせは、あるモデルではバイアスの変化が少ないが、別のモデルでは大きな影響をもたらす可能性がある。 この結果から,モデルバイアスの深度・ケースバイケース評価の必要性が示唆された。

関連論文リスト

• Fine Tuning vs. Retrieval Augmented Generation for Less Popular Knowledge [15.553942864736989]
  低頻度トピックにおけるLMの性能を高めるための2つのアプローチは、検索型拡張生成(RAG)と合成データに対する微調整(FT)である。 本稿では,質問応答タスクにおける低周波エンティティ処理におけるLMのカスタマイズに対するRAGとFTの影響について検討し,評価する。 以上の結果から,FTはさまざまな人気を持つエンティティに対してパフォーマンスを向上するが,RAGは特に人気が低い事実知識において,FTをはるかに上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-03-03T08:07:55Z)
• Prompt Tuning Pushes Farther, Contrastive Learning Pulls Closer: A Two-Stage Approach to Mitigate Social Biases [13.837927115198308]
  本稿では,コントラスト学習と連続的プロンプト拡張を用いた逆トレーニングによる2段階脱バイアスモデルを提案する。 我々のアプローチは、トレーニングプロセスに困難を加えることで、より強固なデバイアス性能を達成するためのモデルを導出します。
  論文  参考訳（メタデータ） (2023-07-04T09:35:03Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Dynamic Transformers Provide a False Sense of Efficiency [75.39702559746533]
  マルチエグジットモデルは、計算の節約を早期出口から得るため、効率と精度をトレードオフする。 本稿では,マルチエグジットモデルの効率を抑えるために特別に最適化された,シンプルで効果的なアタック・フレームワークであるITAを提案する。 GLUEベンチマークの実験により、Pameは様々なマルチエクイットモデルの効率向上を平均80%削減できることが示された。
  論文  参考訳（メタデータ） (2023-05-20T16:41:48Z)
• Quantile Extreme Gradient Boosting for Uncertainty Quantification [1.7685947618629572]
  Extreme Gradient Boosting (XGBoost)は、最も人気のある機械学習(ML)手法の1つである。 本稿では,不確実性(QXGBoost)を推定する目的関数として,修正量子回帰を用いたXGBoostの拡張を提案する。 提案手法は, 正規および量子的光勾配向上のために生成した不確実性推定値と同等あるいは優れた性能を示した。
  論文  参考訳（メタデータ） (2023-04-23T19:46:19Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Cross Pairwise Ranking for Unbiased Item Recommendation [57.71258289870123]
  我々はCPR(Cross Pairwise Ranking)という新しい学習パラダイムを開発する。 CPRは、露出メカニズムを知らずに不偏の推奨を達成する。 理論的には、この方法が学習に対するユーザ/イテムの適合性の影響を相殺することを証明する。
  論文  参考訳（メタデータ） (2022-04-26T09:20:27Z)
• Accelerated Convergence for Counterfactual Learning to Rank [65.63997193915257]
  IPS重み付き勾配を持つSGD手法の収束速度は、IPS重みによる大きなばらつきに悩まされることを示す。 本稿では,従来のIPS重み付け勾配降下法よりも優れた収束性を有する新しい学習アルゴリズムであるCounterSampleを提案する。 我々は、CounterSampleがより早く収束し、理論的な結果と経験的な結果とを補完することを証明する。
  論文  参考訳（メタデータ） (2020-05-21T12:53:36Z)
• Adversarial Filters of Dataset Biases [96.090959788952]
  大規模なニューラルモデルでは、言語とビジョンベンチマークで人間レベルのパフォーマンスが実証されている。 それらの性能は、敵対的またはアウト・オブ・ディストリビューションのサンプルで著しく低下する。 このようなデータセットバイアスを逆フィルタするAFLiteを提案する。
  論文  参考訳（メタデータ） (2020-02-10T21:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。