論文の概要: PaliGemma 2: A Family of Versatile VLMs for Transfer
- arxiv url: http://arxiv.org/abs/2412.03555v1
- Date: Wed, 04 Dec 2024 18:50:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-05 15:07:50.915595
- Title: PaliGemma 2: A Family of Versatile VLMs for Transfer
- Title（参考訳）: PaliGemma 2: トランスファー用のVersatile VLMファミリー
- Authors: Andreas Steiner, André Susano Pinto, Michael Tschannen, Daniel Keysers, Xiao Wang, Yonatan Bitton, Alexey Gritsenko, Matthias Minderer, Anthony Sherbondy, Shangbang Long, Siyang Qin, Reeve Ingle, Emanuele Bugliarello, Sahar Kazemzadeh, Thomas Mesnard, Ibrahim Alabdulmohsin, Lucas Beyer, Xiaohua Zhai,
- Abstract要約: PaliGemma 2 は Gemma 2 の言語モデルに基づいた PaliGemma Open Vision-Language Model (VLM) のアップグレードである。
私たちは、PaliGemmaが使用していたSigLIP-So400mビジョンエンコーダと、2Bモデルから27Bモデルまで、Gemma 2の全モデルを組み合わせています。
これらのモデルを複数の段階で3つの解像度(224px, 448px, 896px)でトレーニングし, 微調整による転送の知識を広く確保する。
- 参考スコア（独自算出の注目度）: 48.68777561571185
- License:
- Abstract: PaliGemma 2 is an upgrade of the PaliGemma open Vision-Language Model (VLM) based on the Gemma 2 family of language models. We combine the SigLIP-So400m vision encoder that was also used by PaliGemma with the whole range of Gemma 2 models, from the 2B one all the way up to the 27B model. We train these models at three resolutions (224px, 448px, and 896px) in multiple stages to equip them with broad knowledge for transfer via fine-tuning. The resulting family of base models covering different model sizes and resolutions allows us to investigate factors impacting transfer performance (such as learning rate) and to analyze the interplay between the type of task, model size, and resolution. We further increase the number and breadth of transfer tasks beyond the scope of PaliGemma including different OCR-related tasks such as table structure recognition, molecular structure recognition, music score recognition, as well as long fine-grained captioning and radiography report generation, on which PaliGemma 2 obtains state-of-the-art results.
- Abstract（参考訳）: PaliGemma 2 は Gemma 2 の言語モデルに基づいた PaliGemma Open Vision-Language Model (VLM) のアップグレードである。
私たちは、PaliGemmaが使用していたSigLIP-So400mビジョンエンコーダと、2Bモデルから27Bモデルまで、Gemma 2の全モデルを組み合わせています。
これらのモデルを複数の段階で3つの解像度(224px, 448px, 896px)でトレーニングし, 微調整による転送の知識を広く確保する。
モデルサイズと解像度の異なるベースモデルのファミリは、転送性能(学習率など)に影響を与える要因を調査し、タスクの種類、モデルサイズ、解像度間の相互作用を分析する。
さらに、テーブル構造認識、分子構造認識、音楽スコア認識などのOCR関連タスクや、PaliGemma 2が最先端の結果を得られる長い粒度のキャプションやラジオグラフィーレポート生成を含む、PaliGemmaの範囲を超えて、転送タスクの数と幅を拡大する。
関連論文リスト
- DiM-Gestor: Co-Speech Gesture Generation with Adaptive Layer Normalization Mamba-2 [6.6954598568836925]
DiM-GestorはMamba-2アーキテクチャを利用したエンドツーエンドの生成モデルである。
Mamba-2上にファジィ特徴抽出器と音声・ジェスチャーマッピングモジュールを構築する。
提案手法は競合する結果をもたらし,メモリ使用量を約2.4倍に削減し,推論速度を2～4倍に向上させる。
論文 参考訳（メタデータ） (2024-11-23T08:02:03Z) - VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks [60.5257456681402]
我々は、幅広い下流タスクを扱える普遍的な埋め込みモデルを構築している。
1 MMEB(Massive Multimodal Embedding Benchmark)は、4 つのメタタスク(分類、視覚的質問応答、マルチモーダル検索、視覚的グラウンド)と36 つのデータセット(20 のトレーニングと16 の評価データセットを含む)と、2 の VLM2Vec (Vision-Language Model -> Vector) を含む。
論文 参考訳（メタデータ） (2024-10-07T16:14:05Z) - GaitMA: Pose-guided Multi-modal Feature Fusion for Gait Recognition [26.721242606715354]
歩行認識は、歩行パターンを通して人間の身元を認識する生体計測技術である。
我々は、Gait Multi-model Aggregation Network (GaitMA)と呼ばれる新しい歩行認識フレームワークを提案する。
まず, 2つのCNN特徴抽出器を用いて, シルエットと骨格の特徴を抽出した。
論文 参考訳（メタデータ） (2024-07-20T09:05:17Z) - PaliGemma: A versatile 3B VLM for transfer [112.41933621495446]
PaliGemmaはオープンビジョン言語モデル(VLM)であり、SigLIP-So400mビジョンエンコーダとGemma-2B言語モデルに基づいている。
我々は、標準的なVLMベンチマークを含む約40のタスクに対して、PaliGemmaを評価するとともに、リモートセンシングやセグメンテーションといった専門的なタスクも評価する。
論文 参考訳（メタデータ） (2024-07-10T14:57:46Z) - Masked Pre-Training of Transformers for Histology Image Analysis [4.710921988115685]
デジタル病理学では、がん診断や予後予測などの応用に全スライド画像(WSI)が広く用いられている。
パッチ間の空間的関係を保ちながら、WSIの広い領域を符号化するための有望な方法として、ビジュアルトランスフォーマーモデルが登場した。
本稿では,この問題を解決するためにラベル付きデータを使わずにトランスフォーマーモデルをトレーニングするためのプレテキストタスクを提案する。
我々のモデルであるMaskHITは、トランスフォーマー出力を用いて、マスクしたパッチを再構築し、それらの位置と視覚的特徴に基づいて代表的組織学的特徴を学習する。
論文 参考訳（メタデータ） (2023-04-14T23:56:49Z) - mPLUG-2: A Modularized Multi-modal Foundation Model Across Text, Image
and Video [89.19867891570945]
mPLUG-2は、マルチモーダル事前訓練のためのモジュール化された設計を備えた新しい統一パラダイムである。
モダリティ協力のための共通普遍加群を共有し、モダリティの絡み合いを扱うために異なるモダリティ加群を切り離す。
テキスト、画像、ビデオを含むすべてのモダリティの異なる理解タスクと生成タスクのために、異なるモジュールを選択することは柔軟です。
論文 参考訳（メタデータ） (2023-02-01T12:40:03Z) - Part-aware Prototypical Graph Network for One-shot Skeleton-based Action
Recognition [57.86960990337986]
ワンショットスケルトンに基づくアクション認識は、ベースクラスから新しいクラスへの変換可能な表現を学習する上で、ユニークな課題となる。
単発骨格に基づく行動認識のためのパートアウェアなプロトタイプ表現を提案する。
本手法の有効性を2つの公開骨格に基づく行動認識データセットに示す。
論文 参考訳（メタデータ） (2022-08-19T04:54:56Z) - Adversarial Bipartite Graph Learning for Video Domain Adaptation [50.68420708387015]
ドメイン適応技術は,異なる領域間のモデルを適応させることに重点を置いているが,ビデオ認識領域ではめったに研究されていない。
近年,映像のソースと対象映像の表現を統一するために,対角学習を活用する視覚領域適応はビデオにはあまり効果がない。
本稿では,ソースとターゲットの相互作用を直接モデル化するAdversarial Bipartite Graph (ABG)学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-31T03:48:41Z) - Deep brain state classification of MEG data [2.9048924265579124]
本稿では、Human Connectome Project(HCP)が提供するMEGデータと、様々な深層ニューラルネットワークモデルを組み合わせて脳復号を行う。
論文 参考訳（メタデータ） (2020-07-02T05:51:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。