Fugu-MT 論文翻訳(概要): You Never Know: Quantization Induces Inconsistent Biases in Vision-Language Foundation Models

論文の概要: You Never Know: Quantization Induces Inconsistent Biases in Vision-Language Foundation Models

arxiv url: http://arxiv.org/abs/2410.20265v1
Date: Sat, 26 Oct 2024 20:31:41 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-29 12:19:50.813567
Title: You Never Know: Quantization Induces Inconsistent Biases in Vision-Language Foundation Models
Title（参考訳）: 量子化はビジョンランゲージの基礎モデルにおいて一貫性のないバイアスを引き起こす
Authors: Eric Slyman, Anirudh Kanneganti, Sanghyun Hong, Stefan Lee,
Abstract要約: 本研究では,基礎的なビジョン言語モデルを圧縮する標準的な実践が,社会的にフェアなアウトプットを生成できるモデル能力に与える影響について検討する。量子化により圧縮されたモデルの集団間でバイアス等級や方向が一貫した変化は見つからない。
参考スコア（独自算出の注目度）: 15.067035577724502
License:
Abstract: We study the impact of a standard practice in compressing foundation vision-language models - quantization - on the models' ability to produce socially-fair outputs. In contrast to prior findings with unimodal models that compression consistently amplifies social biases, our extensive evaluation of four quantization settings across three datasets and three CLIP variants yields a surprising result: while individual models demonstrate bias, we find no consistent change in bias magnitude or direction across a population of compressed models due to quantization.
Abstract（参考訳）: 本研究では,基礎的なビジョン言語モデルを圧縮する標準的な実践が,社会的にフェアなアウトプットを生成できるモデル能力に与える影響について検討する。 3つのデータセットと3つのCLIP変異体にまたがる4つの量子化設定の広範囲な評価は、社会的バイアスを一貫して増幅する不定形モデルによる以前の発見とは対照的に、個々のモデルがバイアスを示す一方で、量子化によって圧縮されたモデルの集団間でバイアスの大きさや方向が一貫した変化は見つからないという驚くべき結果をもたらす。

関連論文リスト

Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
論文参考訳（メタデータ） (2024-10-06T15:25:39Z)
When Quantization Affects Confidence of Large Language Models? [4.338589334157708]
GPTQから4ビットへの変換は,言語モデルによって異なる影響で,真のラベルに対する信頼度を低下させることを示す。本稿では,信頼度に基づく量子化損失の説明を行い,まず,完全モデルが信頼度が低いサンプルに対して,量子化が不均等に影響を及ぼすことを示す。
論文参考訳（メタデータ） (2024-05-01T16:58:28Z)
Compressed Models Decompress Race Biases: What Quantized Models Forget for Fair Face Recognition [3.017721041662511]
本研究では,各民族サブグループにおける総合的パフォーマンスと人種的偏りについて検討する。 5つの異なるアーキテクチャと3つの異なるトレーニングデータセットをテストしました。モデルは、異なる民族における顔認識モデルの性能を推定し比較するために収集された第4のデータセットで評価された。
論文参考訳（メタデータ） (2023-08-23T00:17:50Z)
Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
論文参考訳（メタデータ） (2023-04-25T07:42:06Z)
Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
論文参考訳（メタデータ） (2021-11-29T18:59:09Z)
What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文参考訳（メタデータ） (2021-10-16T00:20:04Z)
Sparse MoEs meet Efficient Ensembles [49.313497379189315]
このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
論文参考訳（メタデータ） (2021-10-07T11:58:35Z)
Zero-shot Adversarial Quantization [11.722728148523366]
ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
論文参考訳（メタデータ） (2021-03-29T01:33:34Z)
How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文参考訳（メタデータ） (2021-02-17T18:25:30Z)
Model Compression for Domain Adaptation through Causal Effect Estimation [20.842938440720303]
ATE誘導モデル圧縮スキーム(AMoC)は、除去されたモデルコンポーネントによって異なる多くのモデル候補を生成する。次に、ATEを利用した段階的回帰モデルを用いて、最適候補を選択し、対象領域における期待性能を予測する。 AMoCは2つのテキスト分類タスクで60のドメインペアのうち46の強いベースラインより優れており、F1の平均的な改善は最強のベースラインより3%以上多い。
論文参考訳（メタデータ） (2021-01-18T14:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。