論文の概要: Removing Bias in Multi-modal Classifiers: Regularization by Maximizing
Functional Entropies
- arxiv url: http://arxiv.org/abs/2010.10802v1
- Date: Wed, 21 Oct 2020 07:40:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 23:16:25.943357
- Title: Removing Bias in Multi-modal Classifiers: Regularization by Maximizing
Functional Entropies
- Title(参考訳): マルチモーダル分類器のバイアス除去:機能エントロピー最大化による正則化
- Authors: Itai Gat and Idan Schwartz and Alexander Schwing and Tamir Hazan
- Abstract要約: いくつかのモダリティは、他のものよりも分類結果に容易に寄与することができる。
機能的エントロピーと機能的フィッシャー情報とを結合した対数ソボレフの不等式に基づく手法を開発した。
VQA-CPv2 と SocialIQ の2つの挑戦的マルチモーダルデータセットに対して,より均一にモダリティを活用しながら,最先端の結果を得る。
- 参考スコア(独自算出の注目度): 88.0813215220342
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Many recent datasets contain a variety of different data modalities, for
instance, image, question, and answer data in visual question answering (VQA).
When training deep net classifiers on those multi-modal datasets, the
modalities get exploited at different scales, i.e., some modalities can more
easily contribute to the classification results than others. This is suboptimal
because the classifier is inherently biased towards a subset of the modalities.
To alleviate this shortcoming, we propose a novel regularization term based on
the functional entropy. Intuitively, this term encourages to balance the
contribution of each modality to the classification result. However,
regularization with the functional entropy is challenging. To address this, we
develop a method based on the log-Sobolev inequality, which bounds the
functional entropy with the functional-Fisher-information. Intuitively, this
maximizes the amount of information that the modalities contribute. On the two
challenging multi-modal datasets VQA-CPv2 and SocialIQ, we obtain
state-of-the-art results while more uniformly exploiting the modalities. In
addition, we demonstrate the efficacy of our method on Colored MNIST.
- Abstract(参考訳): 最近のデータセットの多くは、視覚的質問応答(VQA)における画像、質問、回答データなど、さまざまなデータモダリティを含んでいる。
これらのマルチモーダルデータセット上でディープネット分類器を訓練する場合、モダリティは異なるスケールで利用され、例えば、いくつかのモダリティは他のモダリティよりも容易に分類結果に寄与することができる。
これは、分類器が本質的にモダリティのサブセットに偏っているため、準最適である。
この欠点を解消するために,関数エントロピーに基づく新しい正規化項を提案する。
直感的には、この用語は分類結果に対する各様相の寄与のバランスをとることを奨励する。
しかし、機能エントロピーによる正規化は困難である。
そこで本研究では,機能的エントロピーと機能的魚介情報とを結びつけるlog-sobolev不等式に基づく手法を開発した。
直感的には、モダリティが貢献する情報の量を最大化する。
VQA-CPv2 と SocialIQ の2つの挑戦的マルチモーダルデータセットに対して,より均一にモダリティを活用しながら,最先端の結果を得る。
さらに,色付きMNISTに対する本手法の有効性を実証した。
関連論文リスト
- Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。
ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。
これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
論文 参考訳(メタデータ) (2023-11-28T16:46:14Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳(メタデータ) (2023-06-22T10:53:10Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳(メタデータ) (2022-02-25T13:47:09Z) - Perceptual Score: What Data Modalities Does Your Model Perceive? [73.75255606437808]
モデルが入力特徴の異なる部分集合に依存する度合いを評価する指標である知覚スコアを導入する。
近年,視覚的質問応答に対するマルチモーダルモデルでは,前者よりも視覚的データを知覚しにくい傾向がみられた。
知覚スコアを使用することで、スコアをデータサブセットのコントリビューションに分解することで、モデルのバイアスを分析することもできる。
論文 参考訳(メタデータ) (2021-10-27T12:19:56Z) - Learning to Transfer with von Neumann Conditional Divergence [14.926485055255942]
我々は、複数の領域間の転送可能性を改善するために、最近提案されたフォン・ノイマン条件分岐を導入する。
本研究では,これらの課題が同時に,あるいは逐次的に観察されることを前提として,新たな学習目標を設計する。
どちらのシナリオでも、新しいタスクの一般化誤差が小さく、(シーケンシャルな設定で)ソースタスクを忘れないという点で、最先端のメソッドに対して好ましい性能が得られる。
論文 参考訳(メタデータ) (2021-08-07T22:18:23Z) - Maximizing Conditional Entropy for Batch-Mode Active Learning of
Perceptual Metrics [14.777274711706653]
最大エントロピー原理を用いたバッチモードアクティブメトリック学習の新たなアプローチを提案する。
単調に増大する部分モジュラーエントロピー関数を利用して効率的なグリードアルゴリズムを構築する。
私たちのアプローチは、トリプルレット全体の情報性と多様性のバランスをとる統一されたスコアを定義する最初のバッチモードアクティブメトリック学習方法です。
論文 参考訳(メタデータ) (2021-02-15T06:55:17Z) - Information-theoretic Feature Selection via Tensor Decomposition and
Submodularity [38.05393186002834]
本稿では,全ての変数の結合PMFの低ランクテンソルモデルを導入し,複雑性を緩和し,与えられた特徴量の分類性能を最大化する手法として間接的ターゲットを提案する。
原目標変数の代わりにネイブベイズモデルの潜伏変数を間接的に予測することにより、濃度制約を受ける単調部分モジュラ函数として特徴選択問題を定式化することができる。
論文 参考訳(メタデータ) (2020-10-30T10:36:46Z) - Generalized Entropy Regularization or: There's Nothing Special about
Label Smoothing [83.78668073898001]
本稿では, ラベル平滑化を含むエントロピー正則化器群を紹介する。
モデル性能のばらつきはモデルのエントロピーによって大きく説明できる。
我々は,他のエントロピー正規化手法の使用を推奨する。
論文 参考訳(メタデータ) (2020-05-02T12:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。