Fugu-MT 論文翻訳(概要): Towards Multi-Modal Mastery: A 4.5B Parameter Truly Multi-Modal Small Language Model

論文の概要: Towards Multi-Modal Mastery: A 4.5B Parameter Truly Multi-Modal Small Language Model

arxiv url: http://arxiv.org/abs/2411.05903v1
Date: Fri, 08 Nov 2024 17:15:17 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-12 14:13:08.672881
Title: Towards Multi-Modal Mastery: A 4.5B Parameter Truly Multi-Modal Small Language Model
Title（参考訳）: マルチモーダル・マスタリに向けて: 4.5Bパラメータの真多モーダル小言語モデル
Authors: Ben Koska, Mojmír Horváth,
Abstract要約: 本稿では,複数入力と出力のモダリティを扱える新しい4.5Bパラメータ小言語モデルを提案する。モデルのサイズは小さいが、様々なタスクにおける最先端のパフォーマンスをほぼ達成している。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: We present a novel 4.5B parameter small language model that can handle multiple input and output modalities, including text, images, videos, and audio. Despite its small size, the model achieves near state-of-the-art performance on a variety of tasks, demonstrating the potential of multi-modal models to tackle complex real-world problems. Our approach leverages recent advancements in language modeling and multi-task learning to create a versatile and high-performing model that can even be deployed for edge inference. Experimental results show the model's strong performance across multiple benchmarks, paving the way for further progress in multi-modal artificial intelligence.
Abstract（参考訳）: 本稿では,テキスト,画像,ビデオ,音声などの複数入力および出力モードを扱える新しい4.5Bパラメータ小言語モデルを提案する。モデルのサイズは小さいが、様々なタスクにおける最先端のパフォーマンスをほぼ達成し、複雑な実世界の問題に対処するためのマルチモーダルモデルの可能性を示す。我々のアプローチは、言語モデリングとマルチタスク学習の最近の進歩を活用して、エッジ推論のためにデプロイできる汎用的でハイパフォーマンスなモデルを作成する。実験の結果、モデルは複数のベンチマークで強い性能を示し、マルチモーダル人工知能のさらなる進歩の道を開いた。

関連論文リスト

4M-21: An Any-to-Any Vision Model for Tens of Tasks and Modalities [17.374241865041856]
1つのモデルをトレーニングすることで、既存のモデルよりも少なくとも3倍多くのタスク/モダリティを解決し、パフォーマンスを損なうことなくそれを実行することが可能であることを示す。数十のモダリティと異なるデータセットを使用して、トレーニングを30億のパラメータモデルに拡張することに成功しました。得られたモデルとトレーニングコードは4m.epfl.chでオープンソース化されている。
論文参考訳（メタデータ） (2024-06-13T17:59:42Z)
Generative Multimodal Models are In-Context Learners [60.50927925426832]
我々は37億のパラメータを持つ生成的マルチモーダルモデルであるEmu2を紹介し、大規模マルチモーダルシーケンスで訓練する。 Emu2は、マルチモーダルなインコンテキスト学習能力を示し、オンザフライ推論を必要とするタスクを解決しようとさえしている。
論文参考訳（メタデータ） (2023-12-20T18:59:58Z)
4M: Massively Multimodal Masked Modeling [20.69496647914175]
現在のビジョンのための機械学習モデルは、しばしば高度に専門化されており、単一のモダリティとタスクに限られている。最近の大規模言語モデルは幅広い能力を示しており、コンピュータビジョンにおける同様の汎用モデルの可能性を示している。視覚タスクのための多目的かつスケーラブルな基礎モデルをトレーニングするためのマルチモーダルトレーニングスキームである4Mを提案する。
論文参考訳（メタデータ） (2023-12-11T18:57:35Z)
TextBind: Multi-turn Interleaved Multimodal Instruction-following in the Wild [102.93338424976959]
マルチターンインターリーブ型インストラクションフォロー機能を備えた,より大規模な言語モデルを実現するための,ほとんどアノテーションのないフレームワークであるTextBindを紹介する。提案手法では,画像キャプチャペアのみが必要であり,言語モデルからマルチターンマルチモーダル・インストラクション・レスポンス・会話を生成する。そこで我々は,画像エンコーダとデコーダモデルをシームレスに統合する言語モデル中心アーキテクチャであるMIMを考案した。
論文参考訳（メタデータ） (2023-09-14T15:34:01Z)
eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
論文参考訳（メタデータ） (2023-03-20T19:20:34Z)
PaLM-E: An Embodied Multimodal Language Model [101.29116156731762]
本研究では,実世界の連続型センサを言語モデルに組み込むための具体的言語モデルを提案する。我々は、複数の具体的タスクのために、事前訓練された大規模言語モデルとともに、これらのエンコーディングをエンドツーエンドにトレーニングする。 562Bパラメータを持つ大モデル PaLM-E-562B は、OK-VQA 上での最先端性能を持つ視覚言語ジェネラリストである。
論文参考訳（メタデータ） (2023-03-06T18:58:06Z)
A Visual Tour Of Current Challenges In Multimodal Language Models [24.083086685623247]
マルチモーダル学習は、関数語に対する効果的な単語表現を学習する際の課題を克服することができる。安定拡散モデルは,少数の関数語のみを効果的にモデル化する。
論文参考訳（メタデータ） (2022-10-22T22:53:55Z)
MultiViz: An Analysis Benchmark for Visualizing and Understanding Multimodal Models [103.9987158554515]
MultiVizは、解釈可能性の問題を4段階に足場化することで、マルチモーダルモデルの振る舞いを分析する手法である。 MultiVizの相補的な段階は、モデル予測をシミュレートし、機能に解釈可能な概念を割り当て、モデル誤分類のエラー解析を行い、エラー解析からモデルデバッグへの洞察を利用することを可能にする。
論文参考訳（メタデータ） (2022-06-30T18:42:06Z)
PaLM: Scaling Language Modeling with Pathways [180.69584031908113]
我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
論文参考訳（メタデータ） (2022-04-05T16:11:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。