論文の概要: Task Bias in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2212.04412v1
- Date: Thu, 8 Dec 2022 17:10:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-09 15:07:54.640807
- Title: Task Bias in Vision-Language Models
- Title（参考訳）: 視覚言語モデルにおけるタスクバイアス
- Authors: Sachit Menon, Ishaan Preetam Chandratreya, Carl Vondrick
- Abstract要約: 私たちはCLIPモデルを探求し、その視覚的表現が、しばしば他のタスクよりも、いくつかのタスクに強く偏っていることを示す。
この課題バイアスを解決するために,視覚的プロンプトの学習方法を示す。
- 参考スコア（独自算出の注目度）: 18.025004053980545
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Incidental supervision from language has become a popular approach for
learning generic visual representations that can be prompted to perform many
recognition tasks in computer vision. We conduct an in-depth exploration of the
CLIP model and show that its visual representation is often strongly biased
towards solving some tasks more than others. Moreover, which task the
representation will be biased towards is unpredictable, with little consistency
across images. To resolve this task bias, we show how to learn a visual prompt
that guides the representation towards features relevant to their task of
interest. Our results show that these visual prompts can be independent of the
input image and still effectively provide a conditioning mechanism to steer
visual representations towards the desired task.
- Abstract（参考訳）: 言語からの付随的な監督は、コンピュータビジョンで多くの認識タスクを実行するように促される汎用的な視覚表現を学ぶための一般的なアプローチとなっている。
クリップモデルの詳細を調査して,その視覚的表現が,他のタスクよりも問題解決に強く偏っていることを示します。
さらに、どのタスクがバイアスを受けるかは予測不可能であり、画像間の一貫性がほとんどない。
このタスクのバイアスを解決するために、関心のあるタスクに関連する機能に対して表現を導く視覚的なプロンプトの学習方法を示す。
その結果、これらの視覚プロンプトは入力画像から独立し、望ましいタスクに対して視覚表現を制御できる条件付け機構を効果的に提供できることがわかった。
関連論文リスト
- Unifying Image Processing as Visual Prompting Question Answering [62.84955983910612]
画像処理はコンピュータビジョンの基本的な課題であり、画像の品質を高め、その後の視覚アプリケーションに不可欠な特徴を抽出することを目的としている。
伝統的に、タスク固有のモデルは個々のタスクのために開発され、そのようなモデルの設計には異なる専門知識が必要である。
本稿では,画像復元,画像強調,画像特徴抽出タスクを網羅する汎用画像処理モデルを提案する。
論文 参考訳（メタデータ） (2023-10-16T15:32:57Z) - InstructCV: Instruction-Tuned Text-to-Image Diffusion Models as Vision Generalists [66.85125112199898]
我々は,タスク固有の設計選択を抽象化する,コンピュータビジョンタスクのための統一言語インタフェースを開発する。
InstructCVと呼ばれる我々のモデルは、他のジェネラリストやタスク固有の視覚モデルと比較して競合的に機能する。
論文 参考訳（メタデータ） (2023-09-30T14:26:43Z) - Tuning computer vision models with task rewards [88.45787930908102]
モデル予測と意図された使用法とのミスは、コンピュータビジョンモデルの展開に有害である。
自然言語処理では、モデルとタスク報酬を整合させる強化学習技術を用いて、この問題に対処することが多い。
我々はこのアプローチを採用し、オブジェクト検出、汎視的セグメンテーション、着色、画像キャプションなど、複数のコンピュータビジョンタスクにまたがる驚くべき効果を示す。
論文 参考訳（メタデータ） (2023-02-16T11:49:48Z) - Images Speak in Images: A Generalist Painter for In-Context Visual
Learning [98.78475432114595]
コンテキスト内学習により、モデルはいくつかのプロンプトと例だけで、様々なタスクに迅速に適応できる。
汎用タスクをどのように定義すれば、ビジョンモデルがドメイン外のタスクを理解し、転送できるのかは不明だ。
我々は、コアビジョンタスクの出力をイメージとして再定義し、タスクプロンプトを画像として指定する汎用モデルであるPapererを提案する。
論文 参考訳（メタデータ） (2022-12-05T18:59:50Z) - GAMR: A Guided Attention Model for (visual) Reasoning [7.919213739992465]
人間は、複雑な視覚シーンを柔軟に解析し理解する能力において、現代のAIシステムよりも優れています。
視覚的推論のための新しいモジュール,(視覚的)推論のためのガイド付き注意モデル(GAMR)を提案する。
GAMRは、タスク関連視覚情報をメモリに選択してルーティングするために、注意シフトのシーケンスを通じて、脳が複雑な視覚的推論問題を動的に解くことを示唆している。
論文 参考訳（メタデータ） (2022-06-10T07:52:06Z) - Learning Task Informed Abstractions [10.920599910769276]
本稿では,報酬関連視覚的特徴を注意散らしから明確に分離する学習タスクインフォームド抽象化(TIA)を提案する。
TIAは、多くの視覚制御タスクにおける最先端の手法よりも大きなパフォーマンス向上をもたらす。
論文 参考訳（メタデータ） (2021-06-29T17:56:11Z) - Learning Visual Representations with Caption Annotations [19.24013129952071]
本稿では,視覚的表現をイメージ・キャプション・ペア上で学習するプロキシ・タスクを提案する。
ICMLMは視覚的手がかりに頼って字幕中のマスキング語を予測する。
実験の結果,画像キャプションを利用してグローバルな意味情報を視覚表現に注入できることが確認された。
論文 参考訳（メタデータ） (2020-08-04T08:04:16Z) - Self-supervised Learning from a Multi-view Perspective [121.63655399591681]
自己教師型表現はタスク関連情報を抽出し,タスク関連情報を破棄することができることを示す。
我々の理論的枠組みは、自己教師型学習目標設計のより広い空間への道を開くものである。
論文 参考訳（メタデータ） (2020-06-10T00:21:35Z) - Exploit Clues from Views: Self-Supervised and Regularized Learning for
Multiview Object Recognition [66.87417785210772]
本研究では,マルチビュー自己教師型学習(MV-SSL)の問題点について検討する。
対象不変」表現を追求し,自己指導型学習のための新しい代理課題を提案する。
実験の結果,ビュー不変プロトタイプ埋め込み(VISPE)による認識と検索は,他の自己教師あり学習方法よりも優れていた。
論文 参考訳（メタデータ） (2020-03-28T07:06:06Z) - Analyzing Visual Representations in Embodied Navigation Tasks [45.35107294831313]
我々は、最近提案されたプロジェクション重み付き正準相関解析(PWCCA)を用いて、異なるタスクを実行することで、同じ環境で学習した視覚的表現の類似度を測定する。
次に、あるタスクで学習した視覚的表現が、別のタスクに効果的に転送できることを実証的に示す。
論文 参考訳（メタデータ） (2020-03-12T19:43:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。