Fugu-MT 論文翻訳(概要): Megrez-Omni Technical Report

論文の概要: Megrez-Omni Technical Report

arxiv url: http://arxiv.org/abs/2502.15803v1
Date: Wed, 19 Feb 2025 06:14:14 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-25 15:53:26.130962
Title: Megrez-Omni Technical Report
Title（参考訳）: Megrez-Omni技術報告
Authors: Boxun Li, Yadong Li, Zhiyuan Li, Congyi Liu, Weilin Liu, Guowei Niu, Zheyue Tan, Haiyang Xu, Zhuyu Yao, Tao Yuan, Dong Zhou, Yueqing Zhuang, Shengen Yan, Guohao Dai, Yu Wang,
Abstract要約: Megrezモデルは、高速な推論、コンパクト性、堅牢なエッジサイドインテリジェンスを提供するように設計されている。 Megrez-3B-Instructには、高精度、高速、使いやすさ、幅広いアプリケーションなど、いくつかの利点がある。 Megrez-3B-Omniは、画像、テキスト、音声分析をサポートするデバイス上でのマルチモーダルなLLMである。
参考スコア（独自算出の注目度）: 21.397366563719782
License:
Abstract: In this work, we present the Megrez models, comprising a language model (Megrez-3B-Instruct) and a multimodal model (Megrez-3B-Omni). These models are designed to deliver fast inference, compactness, and robust edge-side intelligence through a software-hardware co-design approach. Megrez-3B-Instruct offers several advantages, including high accuracy, high speed, ease of use, and a wide range of applications. Building on Megrez-3B-Instruct, Megrez-3B-Omni is an on-device multimodal understanding LLM that supports image, text, and audio analysis. It achieves state-of-the-art accuracy across all three modalities and demonstrates strong versatility and robustness, setting a new benchmark for multimodal AI models.
Abstract（参考訳）: 本稿では,言語モデル(Megrez-3B-Instruct)とマルチモーダルモデル(Megrez-3B-Omni)からなるMegrezモデルを提案する。これらのモデルは、ソフトウェアハードウェアの共同設計アプローチを通じて、高速な推論、コンパクト性、堅牢なエッジサイドインテリジェンスを提供するように設計されている。 Megrez-3B-Instructには、高精度、高速、使いやすさ、幅広いアプリケーションなど、いくつかの利点がある。 Megrez-3B-Instruct上に構築されているMegrez-3B-Omniは、画像、テキスト、音声分析をサポートするデバイス上でのマルチモーダル理解LLMである。 3つのモードすべてにわたって最先端の精度を実現し、強力な汎用性と堅牢性を示し、マルチモーダルAIモデルの新たなベンチマークを設定する。

関連論文リスト

OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論するモデルの能力を厳格に評価するために設計された新しいベンチマークである。本研究の主目的は,ほとんどのOLMが3モーダル文脈における指示追従能力と推論能力に限界があることである。このギャップに対処するため、84.5KのトレーニングサンプルであるOmniInstructの命令チューニングデータセットをキュレートし、OLMをマルチモーダルなコンテキストに適応させる。
論文参考訳（メタデータ） (2024-09-23T17:59:05Z)
mPLUG-Owl3: Towards Long Image-Sequence Understanding in Multi-Modal Large Language Models [71.40705814904898]
本稿では,多目的なマルチモーダル大言語モデルであるmPLUG-Owl3を提案する。具体的には、視覚と言語を共通の言語誘導意味空間に効率的に統合する新しいハイパーアテンションブロックを提案する。
論文参考訳（メタデータ） (2024-08-09T03:25:42Z)
S3: A Simple Strong Sample-effective Multimodal Dialog System [61.31055673156622]
本稿では,多モーダルダイアログタスクであるS3モデルに対して,概念的にシンプルだが強力なベースラインを提案する。このシステムは、訓練済みの大規模言語モデル、画像とオーディオのための訓練済みのモダリティエンコーダ、および訓練可能なモダリティプロジェクタに基づいている。
論文参考訳（メタデータ） (2024-06-26T12:45:43Z)
MG-LLaVA: Towards Multi-Granularity Visual Instruction Tuning [44.497776004372724]
MLLM(Multi-modal large language model)は、様々な視覚的理解タスクにおいて大きな進歩を遂げている。 MG-LLaVAは,多粒度視覚フローを組み込むことで,モデルの視覚処理能力を向上する革新的MLLMである。さらに, 物体認識能力を向上するため, オフライン検出器によって識別された境界ボックスから得られる物体レベルの特徴を取り入れた。
論文参考訳（メタデータ） (2024-06-25T17:55:11Z)
Imp: Highly Capable Large Multimodal Models for Mobile Devices [19.328141787433704]
大規模言語モデル(LLM)は、オープンワールドのマルチモーダル理解において顕著な汎用性を示している。それらは通常パラメータ重で計算集約的であり、リソース制約のあるシナリオにおける適用性を妨げます。本稿では,モデルアーキテクチャ,トレーニング戦略,トレーニングデータの観点から,軽量LMMの体系的研究を行う。その結果,2B-4Bスケールで高い能力を有するLMMのファミリーであるImpが得られた。
論文参考訳（メタデータ） (2024-05-20T15:23:19Z)
Octopus v3: Technical Report for On-device Sub-billion Multimodal AI Agent [10.998608318944985]
マルチモーダルAIエージェントは、さまざまなタイプのデータから処理および学習する能力によって特徴付けられる。本稿では,AIエージェントアプリケーション用に設計された関数トークンの概念を取り入れたマルチモーダルモデルを提案する。我々はこのモデルがRaspberry Piのように制約のある幅広いエッジデバイス上で効率的に動作可能であることを実証した。
論文参考訳（メタデータ） (2024-04-17T15:07:06Z)
InstantMesh: Efficient 3D Mesh Generation from a Single Image with Sparse-view Large Reconstruction Models [66.83681825842135]
InstantMeshは、単一のイメージからインスタント3Dメッシュを生成するためのフィードフォワードフレームワークである。最新世代の品質とトレーニングのスケーラビリティが特徴だ。 InstantMeshのコード、重み、デモをすべてリリースし、3D生成AIのコミュニティに多大な貢献ができることを意図しています。
論文参考訳（メタデータ） (2024-04-10T17:48:37Z)
Noise-powered Multi-modal Knowledge Graph Representation Framework [52.95468915728721]
マルチモーダル・プレトレーニングの台頭は、統合されたマルチモーダル知識グラフ表現学習フレームワークの必要性を強調している。モードレベルのノイズマスキングを備えたトランスフォーマーアーキテクチャを用いた新しいSNAG手法を提案する。提案手法は10個のデータセットにまたがってSOTA性能を実現し,その汎用性を実証する。
論文参考訳（メタデータ） (2024-03-11T15:48:43Z)
BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation [26.65107475147534]
本稿では,M3-Embeddingと呼ばれる新しい埋め込みモデルを提案する。 100以上の作業言語をサポートすることができるため、多言語および多言語検索タスクにおける最先端のパフォーマンスが新たに向上する。 M3-Embeddingは、短い文から最大8192トークンの長いドキュメントまで、さまざまな粒度の入力を処理することができる。
論文参考訳（メタデータ） (2024-02-05T17:26:49Z)
ESPnet-SPK: full pipeline speaker embedding toolkit with reproducible recipes, self-supervised front-ends, and off-the-shelf models [51.35570730554632]
ESPnet-SPKは、話者埋め込み抽出器を訓練するためのツールキットである。我々は、x-vectorから最近のSKA-TDNNまで、いくつかのモデルを提供している。開発モデルと他のドメインとの橋渡しも目指しています。
論文参考訳（メタデータ） (2024-01-30T18:18:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。