論文の概要: Gaze-Guided Learning: Avoiding Shortcut Bias in Visual Classification
- arxiv url: http://arxiv.org/abs/2504.05583v1
- Date: Tue, 08 Apr 2025 00:40:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-09 13:30:00.714991
- Title: Gaze-Guided Learning: Avoiding Shortcut Bias in Visual Classification
- Title（参考訳）: Gaze-Guided Learning:視覚分類におけるショートカットバイアス回避
- Authors: Jiahang Li, Shibo Xue, Yong Su,
- Abstract要約: 本稿では,人間の視線時系列データセットであるGaze-CIFAR-10と2列視線エンコーダを紹介する。
並行して、視覚変換器(ViT)を用いて画像内容のシーケンシャルな表現を学習する。
画像特徴表現における不正確な局所化を効果的に補正する。
- 参考スコア（独自算出の注目度）: 3.1208151315473622
- License:
- Abstract: Inspired by human visual attention, deep neural networks have widely adopted attention mechanisms to learn locally discriminative attributes for challenging visual classification tasks. However, existing approaches primarily emphasize the representation of such features while neglecting their precise localization, which often leads to misclassification caused by shortcut biases. This limitation becomes even more pronounced when models are evaluated on transfer or out-of-distribution datasets. In contrast, humans are capable of leveraging prior object knowledge to quickly localize and compare fine-grained attributes, a capability that is especially crucial in complex and high-variance classification scenarios. Motivated by this, we introduce Gaze-CIFAR-10, a human gaze time-series dataset, along with a dual-sequence gaze encoder that models the precise sequential localization of human attention on distinct local attributes. In parallel, a Vision Transformer (ViT) is employed to learn the sequential representation of image content. Through cross-modal fusion, our framework integrates human gaze priors with machine-derived visual sequences, effectively correcting inaccurate localization in image feature representations. Extensive qualitative and quantitative experiments demonstrate that gaze-guided cognitive cues significantly enhance classification accuracy.
- Abstract（参考訳）: 人間の視覚的注意に触発されたディープニューラルネットワークは、視覚的分類タスクに挑戦するために、局所的な識別的属性を学習するための注意機構を広く採用してきた。
しかし、既存のアプローチは主にそのような特徴の表現を強調し、正確な局所化を無視し、しばしばショートカットバイアスによる誤分類を引き起こす。
この制限は、モデルが転送またはアウト・オブ・ディストリビューションデータセットで評価されるときにさらに顕著になる。
対照的に、人間は事前のオブジェクト知識を活用して、特に複雑で高分散の分類シナリオにおいて重要な、きめ細かい属性を素早くローカライズし比較することができる。
そこで本研究では、人間の視線時系列データセットであるGaze-CIFAR-10と、異なる局所属性に基づいて人の注意の正確な位置をモデル化する2列視線エンコーダを紹介する。
並行して、視覚変換器(ViT)を用いて画像内容のシーケンシャルな表現を学習する。
画像特徴表現における不正確な局所化を効果的に補正するため, クロスモーダル融合により, 人間の視線前兆と機械由来の視覚系列を統合した。
広汎な質的および定量的実験により、視線誘導による認知的手がかりは分類精度を著しく向上させることが示された。
関連論文リスト
- Understanding and Improving Training-Free AI-Generated Image Detections with Vision Foundation Models [68.90917438865078]
顔合成と編集のためのディープフェイク技術は、生成モデルに重大なリスクをもたらす。
本稿では,モデルバックボーン,タイプ,データセット間で検出性能がどう変化するかを検討する。
本稿では、顔画像のパフォーマンスを向上させるContrastive Blurと、ノイズタイプのバイアスに対処し、ドメイン間のパフォーマンスのバランスをとるMINDERを紹介する。
論文 参考訳（メタデータ） (2024-11-28T13:04:45Z) - Enhancing Fine-Grained Visual Recognition in the Low-Data Regime Through Feature Magnitude Regularization [23.78498670529746]
抽出した特徴量の均等分布を保証するために正規化手法を導入する。
その明らかな単純さにもかかわらず、我々の手法は様々な細粒度視覚認識データセットに対して顕著な性能向上を示した。
論文 参考訳（メタデータ） (2024-09-03T07:32:46Z) - UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。
我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
論文 参考訳（メタデータ） (2024-07-26T20:51:54Z) - High-Discriminative Attribute Feature Learning for Generalized Zero-Shot Learning [54.86882315023791]
一般化ゼロショット学習(HDAFL)のための高識別属性特徴学習(High-Discriminative Attribute Feature Learning)という革新的な手法を提案する。
HDAFLは複数の畳み込みカーネルを使用して、画像の属性と高い相関性を持つ識別領域を自動的に学習する。
また、属性間の識別能力を高めるために、Transformerベースの属性識別エンコーダを導入する。
論文 参考訳（メタデータ） (2024-04-07T13:17:47Z) - Foveated Retinotopy Improves Classification and Localization in CNNs [0.0]
画像分類タスクにおいて,葉柄付き網膜移植が深層畳み込みニューラルネットワーク(CNN)にどのような効果をもたらすかを示す。
以上の結果から,葉状網膜地図は視覚的物体形状に関する暗黙の知識をコードしていることが示唆された。
論文 参考訳（メタデータ） (2024-02-23T18:15:37Z) - SR-GNN: Spatial Relation-aware Graph Neural Network for Fine-Grained
Image Categorization [24.286426387100423]
本稿では,最も関連性の高い画像領域からコンテキスト認識機能を集約することで,微妙な変化を捉える手法を提案する。
我々のアプローチは、近年の自己注意とグラフニューラルネットワーク(GNN)の発展にインスパイアされている。
これは、認識精度のかなりの差で最先端のアプローチよりも優れている。
論文 参考訳（メタデータ） (2022-09-05T19:43:15Z) - Efficient Modelling Across Time of Human Actions and Interactions [92.39082696657874]
3つの畳み込みニューラルネットワーク(CNND)における現在の固定サイズの時間的カーネルは、入力の時間的変動に対処するために改善できると主張している。
我々は、アーキテクチャの異なるレイヤにまたがる機能の違いを強化することで、アクションのクラス間でどのようにうまく対処できるかを研究する。
提案手法は、いくつかのベンチマークアクション認識データセットで評価され、競合する結果を示す。
論文 参考訳（メタデータ） (2021-10-05T15:39:11Z) - Deep Collaborative Multi-Modal Learning for Unsupervised Kinship
Estimation [53.62256887837659]
キンシップ検証は、コンピュータビジョンにおける長年の研究課題である。
本稿では,顔特性に表される基礎情報を統合するために,新しい協調型多モーダル学習(DCML)を提案する。
我々のDCML法は、常に最先端のキンシップ検証法よりも優れている。
論文 参考訳（メタデータ） (2021-09-07T01:34:51Z) - Calibrating Class Activation Maps for Long-Tailed Visual Recognition [60.77124328049557]
本稿では,CNNの長期分布からネットワーク学習を改善するための2つの効果的な修正を提案する。
まず,ネットワーク分類器の学習と予測を改善するために,CAMC (Class Activation Map) モジュールを提案する。
第2に,長期化問題における表現学習における正規化分類器の利用について検討する。
論文 参考訳（メタデータ） (2021-08-29T05:45:03Z) - Understanding Character Recognition using Visual Explanations Derived
from the Human Visual System and Deep Networks [6.734853055176694]
深層ニューラルネットワークの情報収集戦略における合同性,あるいはその欠如について検討する。
深層学習モデルは、人間が正しく分類された文字に対して固定した文字の類似した領域を考慮に入れた。
本稿では、視線追跡実験から得られた視覚的固定マップを、モデルが関連する文字領域に焦点を合わせるための監督入力として用いることを提案する。
論文 参考訳（メタデータ） (2021-08-10T10:09:37Z) - Improve the Interpretability of Attention: A Fast, Accurate, and
Interpretable High-Resolution Attention Model [6.906621279967867]
そこで本稿では,タスク関連情報を取り込むための,非線形代表非パラメトリックアテンション(BR-NPA)戦略を提案する。
提案したモデルは、分類が関与する様々な近代的な深層モデルに容易に適応できる。
また、通常のニューラルアテンションモジュールよりも正確で高速で、メモリフットプリントも小さい。
論文 参考訳（メタデータ） (2021-06-04T15:57:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。