Fugu-MT 論文翻訳(概要): PaliGemma: A versatile 3B VLM for transfer

論文の概要: PaliGemma: A versatile 3B VLM for transfer

arxiv url: http://arxiv.org/abs/2407.07726v2
Date: Thu, 10 Oct 2024 17:28:23 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-08 22:40:08.307887
Title: PaliGemma: A versatile 3B VLM for transfer
Title（参考訳）: PaliGemma: 転送のための多用途3B VLM
Abstract要約: PaliGemmaはオープンビジョン言語モデル(VLM)であり、SigLIP-So400mビジョンエンコーダとGemma-2B言語モデルに基づいている。我々は、標準的なVLMベンチマークを含む約40のタスクに対して、PaliGemmaを評価するとともに、リモートセンシングやセグメンテーションといった専門的なタスクも評価する。
参考スコア（独自算出の注目度）: 112.41933621495446
License: http://creativecommons.org/licenses/by/4.0/
Abstract: PaliGemma is an open Vision-Language Model (VLM) that is based on the SigLIP-So400m vision encoder and the Gemma-2B language model. It is trained to be a versatile and broadly knowledgeable base model that is effective to transfer. It achieves strong performance on a wide variety of open-world tasks. We evaluate PaliGemma on almost 40 diverse tasks including standard VLM benchmarks, but also more specialized tasks such as remote-sensing and segmentation.
Abstract（参考訳）: PaliGemmaはオープンビジョン言語モデル(VLM)であり、SigLIP-So400mビジョンエンコーダとGemma-2B言語モデルに基づいている。移動に有効な多目的で広く理解可能なベースモデルであるように訓練されている。さまざまなオープンワールドタスクにおいて、強力なパフォーマンスを実現している。我々は、標準的なVLMベンチマークを含む約40のタスクに対して、PaliGemmaを評価するとともに、リモートセンシングやセグメンテーションといった専門的なタスクも評価する。

関連論文リスト

FabriVLA: A Lightweight Vision-Language-Action Model for Precise Multi-Task Manipulation [5.328444469283032]
本稿では,FabriVLAを提案する。 Meta-World MT50ベンチマークでは、50種類の操作タスクにまたがって、FabriVLAの平均的な成功率は90.0%に達した。
論文参考訳（メタデータ） (2026-07-09T15:06:43Z)
GLM-4.5V and GLM-4.1V-Thinking: Towards Versatile Multimodal Reasoning with Scalable Reinforcement Learning [116.80874591718323]
視覚言語モデル(VLM)のファミリーであるGLM-4.1VシンキングとGLM-4.5Vを提案する。 GLM-4.5Vは、ほぼ全てのタスクにおいて、同じ大きさのオープンソースモデル間で最先端のパフォーマンスを達成する。より小型のGLM-4.1V-9Bシンキングは29のベンチマークでより大型のQwen2.5-VL-72Bよりも競争力に優れていた。
論文参考訳（メタデータ） (2025-07-01T17:55:04Z)
EmbodiedBench: Comprehensive Benchmarking Multi-modal Large Language Models for Vision-Driven Embodied Agents [63.43699771428243]
EmbodiedBenchは、視覚駆動型エンボディエージェントを評価するために設計された広範囲なベンチマークである。我々はEmbodiedBench内のプロプライエタリでオープンソースなMLLMを19件評価した。 MLLMは高レベルのタスクでは優れているが、低レベルの操作には苦労する。
論文参考訳（メタデータ） (2025-02-13T18:11:34Z)
PaliGemma 2: A Family of Versatile VLMs for Transfer [48.68777561571185]
PaliGemma 2 は Gemma 2 の言語モデルに基づいた PaliGemma Open Vision-Language Model (VLM) のアップグレードである。私たちは、PaliGemmaが使用していたSigLIP-So400mビジョンエンコーダと、2Bモデルから27Bモデルまで、Gemma 2の全モデルを組み合わせています。これらのモデルを複数の段階で3つの解像度(224px, 448px, 896px)でトレーニングし, 微調整による転送の知識を広く確保する。
論文参考訳（メタデータ） (2024-12-04T18:50:42Z)
Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% Performance [78.48606021719206]
Mini-InternVL は 1B から 4B までのパラメータを持つ一連の MLLM であり、パラメータの 5% しか持たない性能の90% を達成している。我々は,ダウンストリームタスクにおける特化モデルの転送と性能向上を可能にする,Mini-InternVLの統一適応フレームワークを開発した。
論文参考訳（メタデータ） (2024-10-21T17:58:20Z)
MoME: Mixture of Multimodal Experts for Generalist Multimodal Large Language Models [57.091523832149655]
本稿では,タスク干渉を緩和し,汎用MLLMを得るためのマルチモーダルエキスパート(MoME)の混合を提案する。私たちのMoMEは、視覚専門家の混合(MoVE)と言語専門家の混合(MoLE)の2つの重要なコンポーネントで構成されています。
論文参考訳（メタデータ） (2024-07-17T16:31:38Z)
Dense Connector for MLLMs [89.50595155217108]
Dense Connector - 既存のMLLMを大幅に強化するプラグイン・アンド・プレイ型ヴィジュアル言語コネクタ。この上に構築されたEfficient Dense Connectorは,視覚トークンの25%に過ぎず,LLaVA-v1.5に匹敵するパフォーマンスを実現する。画像のみを訓練したわれわれのモデルは、ビデオ理解でも際立ったゼロショットの能力を誇示している。
論文参考訳（メタデータ） (2024-05-22T16:25:03Z)
MMT-Bench: A Comprehensive Multimodal Benchmark for Evaluating Large Vision-Language Models Towards Multitask AGI [71.53579367538725]
MMT-Benchは、大規模なマルチモーダルタスクにわたるLVLM(Large Vision-Language Models)を評価するために設計されたベンチマークである。 MMT-Benchは、様々なマルチモーダルシナリオから、巧妙にキュレートされたマルチチョイスの視覚的質問を31,325ドルで提供する。
論文参考訳（メタデータ） (2024-04-24T17:37:05Z)
Mipha: A Comprehensive Overhaul of Multimodal Assistant with Small Language Models [25.724995114710165]
マルチモーダル小言語モデル(Multimodal Small Language Models, MLM)の設計側面について検討し, Mipha という名前の効率的なマルチモーダルアシスタントを提案する。私たちのMipha-3Bは、最先端の大規模MLLM、特にLLaVA-1.5-13Bを複数のベンチマークで上回ります。
論文参考訳（メタデータ） (2024-03-10T12:43:27Z)
InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks [92.03764152132315]
我々は、視覚基盤モデルを60億のパラメータにスケールアップする大規模視覚言語基盤モデル(InternVL)を設計する。このモデルは、32の汎用視覚言語ベンチマークにおいて、最先端のパフォーマンスを広く適用し、達成することができる。強力な視覚能力を備え、ViT-22Bの代替となる。
論文参考訳（メタデータ） (2023-12-21T18:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。