論文の概要: Debias your Large Multi-Modal Model at Test-Time via Non-Contrastive Visual Attribute Steering

• arxiv url: http://arxiv.org/abs/2411.12590v2
• Date: Thu, 13 Mar 2025 18:02:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 15:33:20.338252
• Title: Debias your Large Multi-Modal Model at Test-Time via Non-Contrastive Visual Attribute Steering
• Title（参考訳）: 非コントラスト型視覚属性ステアリングによる大規模マルチモーダルモデルのテスト時のデバイアス
• Authors: Neale Ratzlaff, Matthew Lyle Olson, Musashi Hinck, Estelle Aflalo, Shao-Yen Tseng, Vasudev Lal, Phillip Howard,
• Abstract要約: 大規模マルチモーダルモデル(LMM)のための学習自由脱バイアスフレームワークを提案する。 我々のフレームワークは、保護された属性に対する参照を減らすステアリングベクトルを構築することによって、テキスト生成中のモデルの表現に介入する。 実験の結果,これらの介入は,感情や流布を維持しつつ,保護属性に関連するテキストを生成するLMMの妥当性を効果的に低下させることが示唆された。
• 参考スコア（独自算出の注目度）: 7.471995248769638
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Multi-Modal Models (LMMs) have demonstrated impressive capabilities as general-purpose chatbots able to engage in conversations about visual inputs. However, their responses are influenced by societal biases present in their training datasets, leading to undesirable differences in how the model responds when presented with images depicting people of different demographics. In this work, we propose a training-free debiasing framework for LMMs that intervenes on the model's representations during text generation by constructing a steering vector that reduces reference on protected attributes. Our framework introduces two complementary methods: (1) a dataset-based approach that constructs a steering vector by contrasting model activations on biased and neutral inputs, and (2) a novel optimization-based approach designed for low-resource settings, which constructs the steering vector using a single step of gradient-based perturbation without requiring additional data. Our experiments show that these interventions effectively reduce the propensity of LMMs to generate text related to protected attributes while maintaining sentiment and fluency. Furthermore, we demonstrate that debiased LMMs achieve comparable accuracy to their unmodified counterparts on downstream tasks, indicating that bias mitigation can be achieved without sacrificing model performance.
• Abstract（参考訳）: LMM(Large Multi-Modal Models)は、視覚的な入力について会話できる汎用チャットボットとして、印象的な機能を示している。 しかし、彼らの反応はトレーニングデータセットに存在する社会的バイアスの影響を受けており、異なる人口層の人々を描いた画像が提示されたとき、モデルがどのように反応するかに好ましくない違いをもたらす。 本研究では,保護属性の参照を低減したステアリングベクトルを構築することにより,テキスト生成中にモデル表現に介入するLMMの学習自由脱バイアスフレームワークを提案する。 本フレームワークでは,(1)モデルアクティベーションをバイアスや中性入力と対比してステアリングベクターを構築するデータセットベースアプローチ,(2)低リソース設定用に設計された新しい最適化ベースのアプローチを,追加データを必要としない勾配に基づく摂動の単一ステップを用いて構成する。 実験の結果,これらの介入は,感情や流布を維持しつつ,保護属性に関連するテキストを生成するLMMの妥当性を効果的に低下させることが示唆された。 さらに、デバイアス付きLMMは、下流タスクにおける修正されていないタスクと同等の精度を達成できることを示し、モデル性能を犠牲にすることなくバイアス軽減を実現できることを示す。

関連論文リスト

• Investigating Generalization of One-shot LLM Steering Vectors [21.2431937128876]
  本稿では,1つのトレーニング例に基づいて,勾配降下によるステアリングベクトルの最適化を提案する。 得られたベクトルは、複数のモデルにおける安全関連挙動を効果的に媒介する。
  論文  参考訳（メタデータ） (2025-02-26T06:13:01Z)
• Exploring Patterns Behind Sports [3.2838877620203935]
  本稿では、ARIMAとLSTMを組み合わせたハイブリッドモデルを用いて、時系列予測のための包括的なフレームワークを提案する。 このモデルには埋め込みやPCAといった機能エンジニアリング技術が組み込まれており、生データを低次元の表現に変換する。
  論文  参考訳（メタデータ） (2025-02-11T11:51:07Z)
• Scalable Language Models with Posterior Inference of Latent Thought Vectors [52.63299874322121]
  Latent-Thought Language Models (LTM) には、潜在空間における明示的な事前モデルに従う明示的な潜在思考ベクトルが含まれている。 LTMは従来のLLMを超える拡張次元を持ち、構造化された設計空間を提供する。 LTMは従来の自己回帰モデルや離散拡散モデルよりも、検証の難易度やゼロショット言語モデリングにおいて著しく優れている。
  論文  参考訳（メタデータ） (2025-02-03T17:50:34Z)
• Model Integrity when Unlearning with T2I Diffusion Models [11.321968363411145]
  「忘れ分布からのサンプルを特徴とする特定種類の画像の生成を減らすために、近似機械学習アルゴリズムを提案する。」 次に、既存のベースラインと比較してモデルの整合性を保つ上で優れた効果を示す未学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-04T13:15:28Z)
• Debiasing Large Vision-Language Models by Ablating Protected Attribute Representations [7.052925981783274]
  本稿では,テキスト生成時のバイアス属性を直接評価することで,LVLMのための新しい脱バイアスフレームワークを提案する。 本手法では, トレーニングを必要とせず, 比較的少数の代表バイアス出力が要求される。 我々の実験は、LVLMが保護属性に関連するテキストを生成することの妥当性を最小化できるだけでなく、合成データを使ってアブレーションを知らせることさえできることを示した。
  論文  参考訳（メタデータ） (2024-10-17T19:02:31Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Graph-based Unsupervised Disentangled Representation Learning via Multimodal Large Language Models [42.17166746027585]
  複素データ内の因子化属性とその相互関係を学習するための双方向重み付きグラフベースフレームワークを提案する。 具体的には、グラフの初期ノードとして要素を抽出する$beta$-VAEベースのモジュールを提案する。 これらの相補的加群を統合することで、我々は細粒度、実用性、教師なしの絡み合いをうまく達成できる。
  論文  参考訳（メタデータ） (2024-07-26T15:32:21Z)
• Enhancing Large Vision Language Models with Self-Training on Image Comprehension [131.14381425260706]
  本稿では、画像理解に特化して自己学習アプローチを強調する自己学習 on Image (STIC)を紹介する。 まず、ラベルのない画像を用いて、画像記述の好みを自己構築する。 抽出した視覚情報に対する推論をさらに自己改善するため,既存の命令調整データのごく一部をモデルに再利用する。
  論文  参考訳（メタデータ） (2024-05-30T05:53:49Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception [66.88792390480343]
  本稿では,拡散モデルの生成的フィードバックを利用して画像エンコーダのセマンティックな分布を整合させる,シンプルだが効果的なアプローチであるDEEMを提案する。 DEEMは、トレーニング可能なパラメータが少なく、事前学習データが少なく、ベースモデルのサイズが小さいことを利用して、モデル幻覚を軽減するために、強化された堅牢性と優れた能力を示す。
  論文  参考訳（メタデータ） (2024-05-24T05:46:04Z)
• Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
  本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚トークンの概念を提案する。 さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
  論文  参考訳（メタデータ） (2024-03-12T14:58:52Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• On quantifying and improving realism of images generated with diffusion [50.37578424163951]
  与えられた画像の5つの統計的測度から算出した画像リアリズムスコア(IRS)と呼ばれるメトリクスを提案する。 IRSは、与えられた画像を実または偽のものとして分類する手段として容易に利用できる。 我々は,安定拡散モデル (SDM) , Dalle2, Midjourney, BigGAN による偽画像の検出に成功して,提案したIRSのモデルおよびデータに依存しない性質を実験的に確立した。 このデータセットは、高品質の4つのモデルによって生成される100のクラスに対して1,000のサンプルを提供します。
  論文  参考訳（メタデータ） (2023-09-26T08:32:55Z)
• BDC-Adapter: Brownian Distance Covariance for Better Vision-Language Reasoning [26.75156572762166]
  視覚言語推論の分野にブラウン距離共分散(BDC)を導入する。 BDCは全ての可能な関係をモデル化でき、特徴依存を測定するための堅牢な指標を提供する。 本稿では,BDCプロトタイプの類似性推論とマルチモーダル推論ネットワーク予測を統合したBDC-Adapterを提案する。
  論文  参考訳（メタデータ） (2023-09-03T19:45:02Z)
• DeAR: Debiasing Vision-Language Models with Additive Residuals [5.672132510411465]
  大規模な事前学習型視覚言語モデル(VLM)は、リッチで適応可能な画像とテキスト表現を提供する。 これらのモデルは、トレーニングデータ中の様々なアイデンティティ群が歪んだ分布のため、社会的バイアスに悩まされる。 本稿では,元の表現をオフセットする付加的残像表現を学習する新しいデバイアス法であるDeARを提案する。
  論文  参考訳（メタデータ） (2023-03-18T14:57:43Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Through a fair looking-glass: mitigating bias in image datasets [1.0323063834827415]
  目的変数間の統計的依存を最小化し,画像データセットを非バイアス化するための高速かつ効果的なモデルを提案する。 提案手法をCelebAデータセット上で評価し、その結果を最先端のデバイアス法と比較し、そのモデルが有望なフェアネスと精度の組み合わせを達成することを示す。
  論文  参考訳（メタデータ） (2022-09-18T20:28:36Z)
• Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
  相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。 マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
  論文  参考訳（メタデータ） (2022-09-14T22:04:10Z)
• Evaluation of HTR models without Ground Truth Material [2.4792948967354236]
  手書き文字認識モデルの開発における評価は容易である。 しかし、開発からアプリケーションに切り替えると、評価プロセスはトリッキーになります。 我々は,レキシコンに基づく評価が,レキシコンに基づく手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-01-17T01:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。