論文の概要: Olympus: A Universal Task Router for Computer Vision Tasks

• arxiv url: http://arxiv.org/abs/2412.09612v2
• Date: Fri, 13 Dec 2024 12:27:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 11:43:12.793297
• Title: Olympus: A Universal Task Router for Computer Vision Tasks
• Title（参考訳）: Olympus: コンピュータビジョンタスクのためのユニバーサルタスクルータ
• Authors: Yuanze Lin, Yunsheng Li, Dongdong Chen, Weijian Xu, Ronald Clark, Philip H. S. Torr,
• Abstract要約: Olympusは,マルチモーダル大規模言語モデル(MLLM)を,幅広いコンピュータビジョンタスクを処理可能な統一フレームワークに変換する新しいアプローチである。 Olympusは20のタスクで平均94.75%のルーティング精度を達成し、連鎖したアクションシナリオでは91.82%の精度を実現している。
• 参考スコア（独自算出の注目度）: 74.07725903782928
• License:
• Abstract: We introduce Olympus, a new approach that transforms Multimodal Large Language Models (MLLMs) into a unified framework capable of handling a wide array of computer vision tasks. Utilizing a controller MLLM, Olympus delegates over 20 specialized tasks across images, videos, and 3D objects to dedicated modules. This instruction-based routing enables complex workflows through chained actions without the need for training heavy generative models. Olympus easily integrates with existing MLLMs, expanding their capabilities with comparable performance. Experimental results demonstrate that Olympus achieves an average routing accuracy of 94.75% across 20 tasks and precision of 91.82% in chained action scenarios, showcasing its effectiveness as a universal task router that can solve a diverse range of computer vision tasks. Project page: http://yuanze-lin.me/Olympus_page/
• Abstract（参考訳）: Olympusは,マルチモーダル大規模言語モデル(MLLM)を,幅広いコンピュータビジョンタスクを処理可能な統一フレームワークに変換する新しいアプローチである。 コントローラMLLMを利用することで、Olympusは20以上の特別なタスクをイメージ、ビデオ、および3Dオブジェクトを専用のモジュールに委譲する。 この命令ベースのルーティングは、重い生成モデルをトレーニングすることなく、連鎖したアクションを通じて複雑なワークフローを可能にする。 Olympusは既存のMLLMと簡単に統合でき、同等のパフォーマンスで機能を拡張できる。 実験の結果、Olympusは20のタスクで平均94.75%のルーティング精度、連鎖したアクションシナリオで91.82%の精度を実現し、多様なコンピュータビジョンタスクを解決できるユニバーサルタスクルータとしての有効性を示した。 プロジェクトページ:http://yuanze-lin.me/Olympus_page/

関連論文リスト

• PerspectiveNet: Multi-View Perception for Dynamic Scene Understanding [1.2781698000674653]
  PerspectiveNetは、複数のカメラビューにわたる長い記述を生成するための軽量モデルである。 提案手法では,視覚エンコーダ,コンパクトコネクタモジュール,および大規模言語モデルを用いる。 結果として得られるモデルは軽量で、効率的なトレーニングと推論を確実にします。
  論文  参考訳（メタデータ） (2024-10-22T08:57:17Z)
• PUMA: Empowering Unified MLLM with Multi-granular Visual Generation [62.747751204215916]
  統一MLLMと多言語視覚生成を併用したPUMAを提案する。 PUMAはMLLMの入力と出力の両方としてマルチグラニュラ視覚特徴を統一する。 この研究は、様々な視覚的タスクの粒度要求に適応できる真に統一されたMLLMに向けた重要なステップである。
  論文  参考訳（メタデータ） (2024-10-17T17:59:57Z)
• ComNeck: Bridging Compressed Image Latents and Multimodal LLMs via Universal Transform-Neck [45.83457913639876]
  本稿では,マルチモーダル大言語モデル(MLLM)を応用した下流視覚タスクのニーズに適合する圧縮画像潜在者を適応させる最初の研究について述べる。 本稿では,MLLMに基づく視覚タスクに対して,軽量なトランスフォーメーションネックとサロゲート損失を用いた圧縮画像ラテントを適応させる新しいフレームワークを提案する。 我々のフレームワークには,トランスフォーメーションネックのトレーニングから下流MLLMを除いた印象的な機能と,ニューラルイメージも備えています。
  論文  参考訳（メタデータ） (2024-07-29T02:32:44Z)
• VisionLLM v2: An End-to-End Generalist Multimodal Large Language Model for Hundreds of Vision-Language Tasks [89.24440488456405]
  VisionLLM v2は、エンドツーエンドの汎用マルチモーダル大モデル(MLLM)である。 単一のフレームワーク内で視覚的知覚、理解、生成を統一する。
  論文  参考訳（メタデータ） (2024-06-12T16:44:50Z)
• Grounding Multimodal Large Language Models in Actions [65.88208317380793]
  我々はMLLMを異なる実施形態とその関連する行動空間にベストグラウンドする方法について研究する。 連続的な動作に対しては、学習されたトークン化が十分なモデリング精度を実現することが示される。 離散的な動作に対して、これらの動作をMLLMのネイティブな出力トークン空間と意味的に整合させることが、最も高いパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2024-06-12T06:12:04Z)
• Lumen: Unleashing Versatile Vision-Centric Capabilities of Large Multimodal Models [87.47400128150032]
  本稿では,多目的視覚中心機能拡張を備えた大規模マルチモーダルモデルであるLumenという新しいLMMアーキテクチャを提案する。 ルーメンはまず、きめ細かい視覚言語の概念のアライメントを促進する。 そして、共有表現を軽量なタスクデコーダに柔軟にルーティングすることで、タスク固有のデコーダを実行する。
  論文  参考訳（メタデータ） (2024-03-12T04:13:45Z)
• Jack of All Tasks, Master of Many: Designing General-purpose Coarse-to-Fine Vision-Language Model [83.85856356798531]
  VistaLLMは、粗くきめ細かな視覚言語タスクに対処する視覚システムである。 2値分割マスクをシーケンスとして表現するために、勾配対応の適応サンプリング技術を採用している。 また、新しいタスクであるAttCoSegを導入し、複数の入力画像に対してモデルの推論とグラウンド化能力を高める。
  論文  参考訳（メタデータ） (2023-12-19T18:53:01Z)
• RoboLLM: Robotic Vision Tasks Grounded on Multimodal Large Language Models [4.4173427917548524]
  MLLM(Multimodal Large Language Models)は、様々な下流タスクのための新しいバックボーンとして登場した。 我々は、ARMBenchチャレンジにおける視覚的認識タスクに対処するため、BEiT-3バックボーンを備えたRoboLLMフレームワークを紹介した。
  論文  参考訳（メタデータ） (2023-10-16T09:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。