論文の概要: PARIC: Probabilistic Attention Regularization for Language Guided Image Classification from Pre-trained Vison Language Models

• arxiv url: http://arxiv.org/abs/2503.11360v1
• Date: Fri, 14 Mar 2025 12:53:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:05:00.525957
• Title: PARIC: Probabilistic Attention Regularization for Language Guided Image Classification from Pre-trained Vison Language Models
• Title（参考訳）: PARIC:事前訓練されたバイソン言語モデルからの言語ガイド画像分類のための確率的注意規則化
• Authors: Mayank Nautiyal, Stela Arranz Gheorghe, Kristiana Stefa, Li Ju, Ida-Maria Sintorn, Prashant Singh,
• Abstract要約: 本稿では,言語仕様による視覚的注意を導くための確率的フレームワークであるPARICを紹介する。 提案手法は,事前学習した視覚言語モデルを用いて確率論的参照アテンションマップを生成する。 ベンチマークテスト問題に関する実験では、PARICが予測精度を高め、バイアスを軽減し、一貫した予測を保証し、さまざまなデータセットにわたって改善していることが示されている。
• 参考スコア（独自算出の注目度）: 2.2760325783059074
• License:
• Abstract: Language-guided attention frameworks have significantly enhanced both interpretability and performance in image classification; however, the reliance on deterministic embeddings from pre-trained vision-language foundation models to generate reference attention maps frequently overlooks the intrinsic multivaluedness and ill-posed characteristics of cross-modal mappings. To address these limitations, we introduce PARIC, a probabilistic framework for guiding visual attention via language specifications. Our approach enables pre-trained vision-language models to generate probabilistic reference attention maps, which align textual and visual modalities more effectively while incorporating uncertainty estimates, as compared to their deterministic counterparts. Experiments on benchmark test problems demonstrate that PARIC enhances prediction accuracy, mitigates bias, ensures consistent predictions, and improves robustness across various datasets.
• Abstract（参考訳）: 言語誘導型アテンションフレームワークは、画像分類における解釈可能性と性能の両方を著しく向上させたが、事前学習された視覚言語基礎モデルから参照アテンションマップを生成するための決定論的埋め込みへの依存は、クロスモーダルマッピングの本質的な多値性と不適切な特性をしばしば見落としている。 これらの制約に対処するため,言語仕様による視覚的注意を導くための確率的フレームワークであるPARICを導入する。 提案手法では,事前学習した視覚言語モデルを用いて確率的参照アテンションマップを生成し,テキストや視覚のモダリティをより効果的に調整し,不確実性を考慮した推定を行う。 ベンチマークテスト問題の実験では、PARICが予測精度を高め、バイアスを軽減し、一貫した予測を保証し、さまざまなデータセット間の堅牢性を改善することが示されている。

関連論文リスト

• LatentBKI: Open-Dictionary Continuous Mapping in Visual-Language Latent Spaces with Quantifiable Uncertainty [6.986230616834552]
  本稿では,新しい確率的マッピングアルゴリズムであるlatntBKIを導入し,不確かさを定量化するオープン語彙マッピングを実現する。 LatentBKIは、人気のMatterport3DとSemantic KITTIデータセット上で、同様の明示的なセマンティックマッピングとVLマッピングフレームワークに対して評価されている。 実世界の実験は、挑戦的な屋内環境に適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-15T17:02:32Z)
• CONTESTS: a Framework for Consistency Testing of Span Probabilities in Language Models [16.436592723426305]
  単語スパンに関節確率を割り当てる異なる方法で、言語モデルが同じ値を生成するかどうかは不明である。 我々の研究はConTestSという新しいフレームワークを導入し、交換可能な完了順序と条件付き順序でスコアの整合性を評価する統計的テストを含む。
  論文  参考訳（メタデータ） (2024-09-30T06:24:43Z)
• Visual Explanations of Image-Text Representations via Multi-Modal Information Bottleneck Attribution [49.762034744605955]
  視覚言語モデルの解釈性を改善するために,マルチモーダル情報ボトルネック手法を提案する。 視覚言語事前学習モデルの帰属分析にM2IBを適用する方法を示す。
  論文  参考訳（メタデータ） (2023-12-28T18:02:22Z)
• Uncertainty Estimation of Transformers' Predictions via Topological Analysis of the Attention Matrices [3.1466086042810884]
  トランスフォーマーベースの言語モデルは、幅広いNLPタスクに新しいベンチマークを設定している。 予測の不確実性を確実に見積もるのは 重要な課題です モデル信頼度を評価するために,複数の頭部・層にまたがるアテンションマップの幾何学的特徴を活用することで,これらの制約に対処する。 提案手法は,アクセプタビリティ判定と人工テキスト検出のためのベンチマークにおいて,既存の不確実性推定手法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-08-22T09:17:45Z)
• Explaining Language Models' Predictions with High-Impact Concepts [11.47612457613113]
  概念ベースの解釈可能性手法をNLPに拡張するための完全なフレームワークを提案する。 出力予測が大幅に変化する特徴を最適化する。 本手法は, ベースラインと比較して, 予測的影響, ユーザビリティ, 忠実度に関する優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T14:48:27Z)
• MAP: Multimodal Uncertainty-Aware Vision-Language Pre-training Model [35.52349231889843]
  確率分布 (Probability Distribution, PDE) を用いて, 確率分布として全てのモダリティの表現を投影する。 既存の決定論的手法と比較して、そのような不確実性モデリングはよりリッチなマルチモーダル意味情報を伝達することができる。 本稿では,D-VLC(Dis Distribution-based Vision-Language Contrastive Learning),D-MLM(Dis Distribution-based Masked Language Modeling),D-ITM(Dis Distribution-based Image-Text Matching)を提案する。
  論文  参考訳（メタデータ） (2022-10-11T10:54:54Z)
• Few-shot Subgoal Planning with Language Models [58.11102061150875]
  事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。 サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
  論文  参考訳（メタデータ） (2022-05-28T01:03:30Z)
• Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
  実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。 わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。 これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
  論文  参考訳（メタデータ） (2022-04-17T15:55:18Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Behind the Scene: Revealing the Secrets of Pre-trained Vision-and-Language Models [65.19308052012858]
  最近のTransformerベースの大規模事前学習モデルは、視覚言語(V+L)研究に革命をもたらした。 VALUEは,マルチモーダル事前学習における内部動作の解明を目的とした,精密に設計された探索タスクのセットである。 主要な観察:事前訓練されたモデルは、推論中の画像よりもテキストに出席する傾向を示す。
  論文  参考訳（メタデータ） (2020-05-15T01:06:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。