論文の概要: BendVLM: Test-Time Debiasing of Vision-Language Embeddings

• arxiv url: http://arxiv.org/abs/2411.04420v1
• Date: Thu, 07 Nov 2024 04:16:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:39:39.348616
• Title: BendVLM: Test-Time Debiasing of Vision-Language Embeddings
• Title（参考訳）: BendVLM:Vision-Language Embeddingのテスト時間劣化
• Authors: Walter Gerych, Haoran Zhang, Kimia Hamidieh, Eileen Pan, Maanas Sharma, Thomas Hartvigsen, Marzyeh Ghassemi,
• Abstract要約: 視覚言語モデル(VLM)埋め込みは、トレーニングデータに存在するバイアスを符号化する。 VLMを微調整するデバイアスングアプローチは、しばしば破滅的な忘れ物に悩まされる。 本稿では,VLM埋込脱バイアスに対する非線形,微調整不要なアプローチであるBend-VLMを提案する。
• 参考スコア（独自算出の注目度）: 31.033058277888234
• License:
• Abstract: Vision-language model (VLM) embeddings have been shown to encode biases present in their training data, such as societal biases that prescribe negative characteristics to members of various racial and gender identities. VLMs are being quickly adopted for a variety of tasks ranging from few-shot classification to text-guided image generation, making debiasing VLM embeddings crucial. Debiasing approaches that fine-tune the VLM often suffer from catastrophic forgetting. On the other hand, fine-tuning-free methods typically utilize a "one-size-fits-all" approach that assumes that correlation with the spurious attribute can be explained using a single linear direction across all possible inputs. In this work, we propose Bend-VLM, a nonlinear, fine-tuning-free approach for VLM embedding debiasing that tailors the debiasing operation to each unique input. This allows for a more flexible debiasing approach. Additionally, we do not require knowledge of the set of inputs a priori to inference time, making our method more appropriate for online, open-set tasks such as retrieval and text guided image generation.
• Abstract（参考訳）: 視覚言語モデル(VLM)の埋め込みは、様々な人種的および性別的アイデンティティのメンバーに否定的な特性を示す社会的バイアスなど、トレーニングデータに存在するバイアスを符号化することが示されている。 VLMは、数発の分類からテキスト誘導画像生成まで、様々なタスクに急速に採用され、VLMの埋め込みを損なうことが重要になっている。 VLMを微調整するデバイアスングアプローチは、しばしば破滅的な忘れ物に悩まされる。 一方、ファインチューニングフリーな手法は通常、全ての可能な入力に対して単一の線形方向を用いてスプリアス属性との相関を説明できると仮定する「1-size-fits-all」アプローチを用いる。 本研究では,VLM埋込脱バイアスに対する非線形,微調整不要なアプローチであるBend-VLMを提案する。 これにより、より柔軟なデバイアスのアプローチが可能になる。 さらに,提案手法は,検索やテキストガイド画像生成などのオープンなタスクに対して,より適切であるように,入力セットの知識を推論時間よりも優先的に必要としない。

関連論文リスト

• MarvelOVD: Marrying Object Recognition and Vision-Language Models for Robust Open-Vocabulary Object Detection [107.15164718585666]
  開語彙検出コンテキスト下でのVLMの偏り予測の根本原因について検討した。 私たちの観察は、非常に優れたトレーニングターゲットを生成する、単純で効果的なパラダイム、コード化されたMarvelOVDにつながります。 我々の手法は、他の最先端技術よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2024-07-31T09:23:57Z)
• Evaluating Nuanced Bias in Large Language Model Free Response Answers [8.775925011558995]
  複数の選択テストでは識別できない自由テキストにおける数種類のニュアンスバイアスを同定する。 本稿では, 偏見を検知する半自動パイプラインについて, 解答を非偏見として自動的に分類する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T19:58:13Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Self-Supervised Position Debiasing for Large Language Models [39.261233221850155]
  大規模言語モデル(LLM)における位置バイアスを軽減するための自己教師型位置偏差検出(SOD)フレームワークを提案する。 8つのデータセットと5つのタスクの実験により、SODは3つのタイプの位置バイアスを緩和する既存の手法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-02T14:12:41Z)
• ProbVLM: Probabilistic Adapter for Frozen Vision-Language Models [69.50316788263433]
  本稿では,事前学習された視覚言語モデルの埋め込みに対する確率分布を推定する確率的アダプタProbVLMを提案する。 本稿では,検索タスクにおける不確実性埋め込みのキャリブレーションを定量化し,ProbVLMが他の手法よりも優れていることを示す。 本稿では,大規模な事前学習型潜伏拡散モデルを用いて,埋め込み分布を可視化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-01T18:16:06Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Mitigating Representation Bias in Action Recognition: Algorithms and Benchmarks [76.35271072704384]
  ディープラーニングモデルは、稀なシーンやオブジェクトを持つビデオに適用すると、パフォーマンスが悪くなります。 この問題にはアルゴリズムとデータセットの2つの異なる角度から対処する。 偏りのある表現は、他のデータセットやタスクに転送するとより一般化できることを示す。
  論文  参考訳（メタデータ） (2022-09-20T00:30:35Z)
• VLMixer: Unpaired Vision-Language Pre-training via Cross-Modal CutMix [59.25846149124199]
  本稿では,データ拡張手法,すなわちクロスモーダルCutMixを提案する。 CMCは自然文をテキストビューからマルチモーダルビューに変換する。 クロスモーダルノイズをユニモーダルデータにアタッチすることで、モダリティ間のトークンレベルの相互作用を学習し、より優れたデノゲーションを実現する。
  論文  参考訳（メタデータ） (2022-06-17T17:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。