論文の概要: Removing Bias in Multi-modal Classifiers: Regularization by Maximizing Functional Entropies

• arxiv url: http://arxiv.org/abs/2010.10802v1
• Date: Wed, 21 Oct 2020 07:40:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 23:16:25.943357
• Title: Removing Bias in Multi-modal Classifiers: Regularization by Maximizing Functional Entropies
• Title（参考訳）: マルチモーダル分類器のバイアス除去:機能エントロピー最大化による正則化
• Authors: Itai Gat and Idan Schwartz and Alexander Schwing and Tamir Hazan
• Abstract要約: いくつかのモダリティは、他のものよりも分類結果に容易に寄与することができる。 機能的エントロピーと機能的フィッシャー情報とを結合した対数ソボレフの不等式に基づく手法を開発した。 VQA-CPv2 と SocialIQ の2つの挑戦的マルチモーダルデータセットに対して,より均一にモダリティを活用しながら,最先端の結果を得る。
• 参考スコア（独自算出の注目度）: 88.0813215220342
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Many recent datasets contain a variety of different data modalities, for instance, image, question, and answer data in visual question answering (VQA). When training deep net classifiers on those multi-modal datasets, the modalities get exploited at different scales, i.e., some modalities can more easily contribute to the classification results than others. This is suboptimal because the classifier is inherently biased towards a subset of the modalities. To alleviate this shortcoming, we propose a novel regularization term based on the functional entropy. Intuitively, this term encourages to balance the contribution of each modality to the classification result. However, regularization with the functional entropy is challenging. To address this, we develop a method based on the log-Sobolev inequality, which bounds the functional entropy with the functional-Fisher-information. Intuitively, this maximizes the amount of information that the modalities contribute. On the two challenging multi-modal datasets VQA-CPv2 and SocialIQ, we obtain state-of-the-art results while more uniformly exploiting the modalities. In addition, we demonstrate the efficacy of our method on Colored MNIST.
• Abstract（参考訳）: 最近のデータセットの多くは、視覚的質問応答(VQA)における画像、質問、回答データなど、さまざまなデータモダリティを含んでいる。 これらのマルチモーダルデータセット上でディープネット分類器を訓練する場合、モダリティは異なるスケールで利用され、例えば、いくつかのモダリティは他のモダリティよりも容易に分類結果に寄与することができる。 これは、分類器が本質的にモダリティのサブセットに偏っているため、準最適である。 この欠点を解消するために,関数エントロピーに基づく新しい正規化項を提案する。 直感的には、この用語は分類結果に対する各様相の寄与のバランスをとることを奨励する。 しかし、機能エントロピーによる正規化は困難である。 そこで本研究では,機能的エントロピーと機能的魚介情報とを結びつけるlog-sobolev不等式に基づく手法を開発した。 直感的には、モダリティが貢献する情報の量を最大化する。 VQA-CPv2 と SocialIQ の2つの挑戦的マルチモーダルデータセットに対して,より均一にモダリティを活用しながら,最先端の結果を得る。 さらに,色付きMNISTに対する本手法の有効性を実証した。

関連論文リスト

• A Complete Decomposition of KL Error using Refined Information and Mode Interaction Selection [11.994525728378603]
  我々は高次モード相互作用に着目したログ線形モデルの古典的定式化を再考する。 学習した分布は、実際に利用可能な有限量のデータをより効率的に利用することができる。
  論文  参考訳（メタデータ） (2024-10-15T18:08:32Z)
• AnyLoss: Transforming Classification Metrics into Loss Functions [21.34290540936501]
  評価指標は、バイナリ分類タスクにおけるモデルの性能を評価するために使用することができる。 ほとんどのメトリクスは、非微分可能形式の混乱行列から派生しており、直接最適化できる微分可能損失関数を生成することは困難である。 本稿では,任意の混乱行列に基づく計量を,最適化プロセスで利用可能な損失関数 textitAnyLoss に変換する汎用的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:14:16Z)
• Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
  我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。 ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。 これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
  論文  参考訳（メタデータ） (2023-11-28T16:46:14Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Perceptual Score: What Data Modalities Does Your Model Perceive? [73.75255606437808]
  モデルが入力特徴の異なる部分集合に依存する度合いを評価する指標である知覚スコアを導入する。 近年,視覚的質問応答に対するマルチモーダルモデルでは,前者よりも視覚的データを知覚しにくい傾向がみられた。 知覚スコアを使用することで、スコアをデータサブセットのコントリビューションに分解することで、モデルのバイアスを分析することもできる。
  論文  参考訳（メタデータ） (2021-10-27T12:19:56Z)
• Learning to Transfer with von Neumann Conditional Divergence [14.926485055255942]
  我々は、複数の領域間の転送可能性を改善するために、最近提案されたフォン・ノイマン条件分岐を導入する。 本研究では,これらの課題が同時に,あるいは逐次的に観察されることを前提として,新たな学習目標を設計する。 どちらのシナリオでも、新しいタスクの一般化誤差が小さく、(シーケンシャルな設定で)ソースタスクを忘れないという点で、最先端のメソッドに対して好ましい性能が得られる。
  論文  参考訳（メタデータ） (2021-08-07T22:18:23Z)
• Generalized Entropy Regularization or: There's Nothing Special about Label Smoothing [83.78668073898001]
  本稿では, ラベル平滑化を含むエントロピー正則化器群を紹介する。 モデル性能のばらつきはモデルのエントロピーによって大きく説明できる。 我々は,他のエントロピー正規化手法の使用を推奨する。
  論文  参考訳（メタデータ） (2020-05-02T12:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。