論文の概要: When Does Perceptual Alignment Benefit Vision Representations?
- arxiv url: http://arxiv.org/abs/2410.10817v1
- Date: Mon, 14 Oct 2024 17:59:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-29 19:24:58.932912
- Title: When Does Perceptual Alignment Benefit Vision Representations?
- Title（参考訳）: 知覚的アライメント・ベネフィット・ビジョンはいつ表現されるか?
- Authors: Shobhita Sundaram, Stephanie Fu, Lukas Muttenthaler, Netanel Y. Tamir, Lucy Chai, Simon Kornblith, Trevor Darrell, Phillip Isola,
- Abstract要約: 視覚モデル表現と人間の知覚的判断との整合がユーザビリティに与える影響について検討する。
モデルと知覚的判断を一致させることで、多くの下流タスクで元のバックボーンを改善する表現が得られることがわかった。
その結果,人間の知覚的知識に関する帰納バイアスを視覚モデルに注入することは,より良い表現に寄与することが示唆された。
- 参考スコア（独自算出の注目度）: 76.32336818860965
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Humans judge perceptual similarity according to diverse visual attributes, including scene layout, subject location, and camera pose. Existing vision models understand a wide range of semantic abstractions but improperly weigh these attributes and thus make inferences misaligned with human perception. While vision representations have previously benefited from alignment in contexts like image generation, the utility of perceptually aligned representations in more general-purpose settings remains unclear. Here, we investigate how aligning vision model representations to human perceptual judgments impacts their usability across diverse computer vision tasks. We finetune state-of-the-art models on human similarity judgments for image triplets and evaluate them across standard vision benchmarks. We find that aligning models to perceptual judgments yields representations that improve upon the original backbones across many downstream tasks, including counting, segmentation, depth estimation, instance retrieval, and retrieval-augmented generation. In addition, we find that performance is widely preserved on other tasks, including specialized out-of-distribution domains such as in medical imaging and 3D environment frames. Our results suggest that injecting an inductive bias about human perceptual knowledge into vision models can contribute to better representations.
- Abstract（参考訳）: 人間は、シーンのレイアウト、被写体の位置、カメラのポーズなど、様々な視覚特性に応じて知覚的類似性を判断する。
既存の視覚モデルは、幅広いセマンティック抽象化を理解するが、これらの属性を不適切に重み付けすることにより、推論を人間の知覚と一致させる。
視覚表現は、画像生成のようなコンテキストにおけるアライメントの恩恵を受けてきたが、より汎用的な設定における知覚的にアライメントされた表現の有用性は、まだ不明である。
本稿では,視覚モデル表現と人間の知覚的判断との整合が,コンピュータビジョンタスクにおけるユーザビリティに与える影響について検討する。
我々は、画像三重項の人間類似性判定の最先端モデルを微調整し、標準的な視覚ベンチマークで評価する。
知覚的判断にモデルを合わせることで、カウント、セグメンテーション、深さ推定、インスタンス検索、検索強化生成など、多くの下流タスクにおける元のバックボーンを改善する表現が得られることがわかった。
また,医用画像や3D環境フレームなど,専門分野の特化など,他のタスクでもパフォーマンスが維持されていることが判明した。
その結果,人間の知覚的知識に関する帰納バイアスを視覚モデルに注入することは,より良い表現に寄与することが示唆された。
関連論文リスト
- Mind the GAP: Glimpse-based Active Perception improves generalization and sample efficiency of visual reasoning [0.7999703756441756]
視覚関係を理解する人間の能力は、AIシステムよりもはるかに優れている。
Glimpse-based Active Perception (GAP) システムを開発した。
その結果,GAPは即時的な視覚内容を超えた視覚関係の抽出に不可欠であることが示唆された。
論文 参考訳（メタデータ） (2024-09-30T11:48:11Z) - Evaluating Multiview Object Consistency in Humans and Image Models [68.36073530804296]
我々は、物体の形状に関するゼロショット視覚的推論を必要とする認知科学の実験的設計を活用する。
我々は500人以上の参加者から行動データの35万件の試行を収集した。
次に、一般的な視覚モデルの性能を評価する。
論文 参考訳（メタデータ） (2024-09-09T17:59:13Z) - For a semiotic AI: Bridging computer vision and visual semiotics for computational observation of large scale facial image archives [3.418398936676879]
この研究は、ソーシャルメディアプラットフォームにおける画像の社会的・文化的影響を大規模に調査するためのフレームワークであるFRESCOを提示する。
FRESCOは、最新のコンピュータビジョン技術を用いて、画像を数値変数と分類変数に分解する。
このフレームワークは、線や色のような基本的な視覚的特徴を含むプラスティックレベル、特定の実体や概念を表す図形レベル、特にオブザーバーとオブザーバーの視点を構築することに焦点を当てた啓示レベルという3つのレベルにわたって画像を分析する。
論文 参考訳（メタデータ） (2024-07-03T16:57:38Z) - Dual Thinking and Perceptual Analysis of Deep Learning Models using Human Adversarial Examples [5.022336433202968]
視覚における双対思考の知覚は、直感的および論理的処理からの推論が異なるイメージを必要とする。
我々は、人間の視覚における二重思考の枠組みの証拠を提供するために、敵対的データセットを導入する。
また,人間の視覚の計算モデルとして分類モデルを用いた場合の批判についても検討した。
論文 参考訳（メタデータ） (2024-06-11T05:50:34Z) - Cohere3D: Exploiting Temporal Coherence for Unsupervised Representation
Learning of Vision-based Autonomous Driving [73.3702076688159]
本稿では,コヒーレントなインスタンス表現を長期入力シーケンスで学習するための,新しいコントラスト学習アルゴリズムであるCohere3Dを提案する。
我々は,様々な下流認識,予測,計画タスクにおいて,事前学習したモデルを微調整することにより,アルゴリズムを評価する。
論文 参考訳（メタデータ） (2024-02-23T19:43:01Z) - Localization vs. Semantics: Visual Representations in Unimodal and
Multimodal Models [57.08925810659545]
既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。
我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。
我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
論文 参考訳（メタデータ） (2022-12-01T05:00:18Z) - A domain adaptive deep learning solution for scanpath prediction of
paintings [66.46953851227454]
本稿では,ある絵画の視覚的体験における視聴者の眼球運動分析に焦点を当てた。
我々は、人間の視覚的注意を予測するための新しいアプローチを導入し、人間の認知機能に影響を及ぼす。
提案した新しいアーキテクチャは、画像を取り込んでスキャンパスを返す。
論文 参考訳（メタデータ） (2022-09-22T22:27:08Z) - Human Eyes Inspired Recurrent Neural Networks are More Robust Against Adversarial Noises [7.689542442882423]
我々は人間の脳にインスパイアされたデュアルストリーム視覚モデルを設計した。
このモデルは網膜のような入力層を特徴とし、次の焦点(固定点)を決定する2つのストリームと、固定点を取り巻く視覚を解釈する2つのストリームを含む。
このモデルを,物体認識,視線行動,対向強靭性の観点から評価した。
論文 参考訳（メタデータ） (2022-06-15T03:44:42Z) - Peripheral Vision Transformer [52.55309200601883]
我々は生物学的にインスパイアされたアプローチを採用し、視覚認識のためのディープニューラルネットワークの周辺視覚をモデル化する。
本稿では,マルチヘッド自己アテンション層に周辺位置エンコーディングを組み込むことにより,トレーニングデータから視覚領域を様々な周辺領域に分割することをネットワークが学べるようにすることを提案する。
大規模画像Netデータセット上でPerViTと呼ばれる提案したネットワークを評価し,マシン知覚モデルの内部動作を体系的に検討した。
論文 参考訳（メタデータ） (2022-06-14T12:47:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。