論文の概要: Learning to Adapt to Position Bias in Vision Transformer Classifiers

• arxiv url: http://arxiv.org/abs/2505.13137v1
• Date: Mon, 19 May 2025 14:07:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.63406
• Title: Learning to Adapt to Position Bias in Vision Transformer Classifiers
• Title（参考訳）: 視覚変換器における位置バイアス適応学習
• Authors: Robert-Jan Bruintjes, Jan van Gemert,
• Abstract要約: 我々は,視覚変換器の画像分類器の性能において,位置バイアスが重要な役割を担っていることを示す。 異なるデータセットに様々なレベルの位置偏差を示し、最適な位置埋め込みの選択は、データセットに明らかな位置偏差に依存する。
• 参考スコア（独自算出の注目度）: 10.210145452318041
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How discriminative position information is for image classification depends on the data. On the one hand, the camera position is arbitrary and objects can appear anywhere in the image, arguing for translation invariance. At the same time, position information is key for exploiting capture/center bias, and scene layout, e.g.: the sky is up. We show that position bias, the level to which a dataset is more easily solved when positional information on input features is used, plays a crucial role in the performance of Vision Transformers image classifiers. To investigate, we propose Position-SHAP, a direct measure of position bias by extending SHAP to work with position embeddings. We show various levels of position bias in different datasets, and find that the optimal choice of position embedding depends on the position bias apparent in the dataset. We therefore propose Auto-PE, a single-parameter position embedding extension, which allows the position embedding to modulate its norm, enabling the unlearning of position information. Auto-PE combines with existing PEs to match or improve accuracy on classification datasets.
• Abstract（参考訳）: 画像分類のための識別位置情報は、そのデータに依存する。 一方、カメラの位置は任意であり、オブジェクトは画像のどこにでも現れ、翻訳の不変性を主張する。 同時に、位置情報はキャプチャー/センターバイアスを利用するための鍵であり、シーンレイアウト、例えば、空が上がっている。 我々は,視覚変換器の画像分類器の性能において,入力特徴の位置情報を用いた場合,データセットの解き易い位置バイアスが重要な役割を担っていることを示す。 そこで本研究では,位置バイアスの直接的尺度であるPight-SHAPを提案する。 異なるデータセットに様々なレベルの位置偏差を示し、最適な位置埋め込みの選択は、データセットに明らかな位置偏差に依存する。 そこで我々は単一パラメータ位置埋め込み拡張であるAuto-PEを提案し、位置埋め込みはその標準を変更できるようにし、位置情報の未学習を可能にする。 Auto-PEは既存のPEと組み合わせて、分類データセットの一致や精度の向上を行う。

関連論文リスト

• Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
  位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。 我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。 位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
  論文  参考訳（メタデータ） (2024-07-01T09:06:57Z)
• Mitigate Position Bias in Large Language Models via Scaling a Single Dimension [47.792435921037274]
  本稿ではまず,位置バイアスのマイクロレベル表現について考察し,注目重みが位置バイアスのマイクロレベル表現であることを示す。 さらに、位置埋め込みに加えて、因果注意マスクは位置特異的な隠れ状態を作成することによって位置バイアスに寄与する。 これらの知見に基づいて,この位置隠れ状態のスケーリングにより位置バイアスを軽減する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T17:55:38Z)
• Click-Conversion Multi-Task Model with Position Bias Mitigation for Sponsored Search in eCommerce [51.211924408864355]
  位置認識型クリック変換(PACC)と位置埋め込み(PACC-PE)によるPACCの2つの位置バイアスのない予測モデルを提案する。 Eコマースが支援する製品検索データセットの実験により、提案したモデルではランキングの有効性が向上し、CTRとCVRの予測における位置バイアスを大幅に軽減できることが示された。
  論文  参考訳（メタデータ） (2023-07-29T19:41:16Z)
• The Curious Case of Absolute Position Embeddings [65.13827063579728]
  トランスフォーマー言語モデルは、位置情報を用いた単語順序の概念を符号化する。 自然言語では、絶対的な位置ではなく相対的な位置であり、APEがこのような情報を捉えることができる範囲は研究されていない。 我々は, APE を用いて訓練されたモデルが, 位置情報をシフトした文を入力した時点で, 位置情報に基づいて過度に訓練されていることを観察した。
  論文  参考訳（メタデータ） (2022-10-23T00:00:04Z)
• Where am I looking at? Joint Location and Orientation Estimation by Cross-View Matching [95.64702426906466]
  ジオタグ付き空中画像の大規模データベースを考えると、クロスビューなジオローカライゼーションは問題となる。 地上画像と空中画像の向きを知ることは、これらの2つのビュー間のあいまいさを著しく軽減することができる。 局所化時の横方向のアライメントを推定する動的類似マッチングネットワークを設計する。
  論文  参考訳（メタデータ） (2020-05-08T05:21:16Z)
• How Can CNNs Use Image Position for Segmentation? [23.98839374194848]
  最近の研究では、CNNの畳み込み層に使用されるゼロパディングが、CNNに位置情報を提供することを示している。 しかし, 実験の設計には技術的問題があるため, クレームの正確性はまだ検証されていない。
  論文  参考訳（メタデータ） (2020-05-07T13:38:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。