論文の概要: LLaVaOLMoBitnet1B: Ternary LLM goes Multimodal!

• arxiv url: http://arxiv.org/abs/2408.13402v1
• Date: Fri, 23 Aug 2024 23:00:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 19:39:20.389390
• Title: LLaVaOLMoBitnet1B: Ternary LLM goes Multimodal!
• Title（参考訳）: LLaVaOLMoBitnet1B: Ternary LLM goes Multimodal!
• Authors: Jainaveen Sundaram, Ravishankar Iyer,
• Abstract要約: LLaVaOLMoBitnet1B - Image(s)+Text入力を受信可能な最初の3次マルチモーダルLCM。 このモデルは、この分野のさらなる研究を促進するためのトレーニングスクリプトとともに、完全にオープンソースである。 この付随する技術レポートは、トレーニングプロセス、評価の詳細、第三次モデルに関連する課題、将来の機会を強調します。
• 参考スコア（独自算出の注目度）: 0.38366697175402226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MM-LLMs) have seen significant advancements in the last year, demonstrating impressive performance across tasks. However, to truly democratize AI, models must exhibit strong capabilities and be able to run efficiently on small compute footprints accessible by most. Part of this quest, we introduce LLaVaOLMoBitnet1B - the first Ternary Multimodal LLM capable of accepting Image(s)+Text inputs to produce coherent textual responses. The model is fully open-sourced along with training scripts to encourage further research in this space. This accompanying technical report highlights the training process, evaluation details, challenges associated with ternary models and future opportunities. Link to the model: https://huggingface.co/IntelLabs/LlavaOLMoBitnet1B
• Abstract（参考訳）: MM-LLM(Multimodal Large Language Models)は、過去1年で大幅に進歩し、タスク間で素晴らしいパフォーマンスを誇示している。 しかし、AIを真に民主化するためには、モデルは強力な能力を示し、ほとんどの人がアクセス可能な小さな計算フットプリント上で効率的に実行できなければならない。 LLaVaOLMoBitnet1B - Image(s)+Text入力を受信してコヒーレントなテキスト応答を生成する3次マルチモーダルLCM。 このモデルは、この分野のさらなる研究を促進するためのトレーニングスクリプトとともに、完全にオープンソースである。 この付随する技術レポートは、トレーニングプロセス、評価の詳細、第三次モデルに関連する課題、将来の機会を強調します。 モデルへのリンク:https://huggingface.co/IntelLabs/LlavaOLMoBitnet1B

関連論文リスト

• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• Efficient Multimodal Learning from Data-centric Perspective [21.35857180519653]
  効率的なマルチモーダル学習のためのフレキシブルビジョンと言語バックボーンを備えた軽量MLLMのファミリであるBunnyを紹介する。 実験の結果,Bunny-4B/8Bは複数のベンチマークで最先端の大規模MLLMよりも優れていた。
  論文  参考訳（メタデータ） (2024-02-18T10:09:10Z)
• ArthModel: Enhance Arithmetic Skills to Large Language Model [0.0]
  この作業は、さまざまな思考方法、トレーニング方法、言語モデルの使用方法を提供します。 コードとモデルはurlhttps://www.eteced.com/eteced/arithmetic_finetuning_v1でリリースされる。
  論文  参考訳（メタデータ） (2023-11-30T15:06:50Z)
• Octavius: Mitigating Task Interference in MLLMs via LoRA-MoE [83.00018517368973]
  LLM(Large Language Models)は、命令チューニングを通じて、ゼロショット能力をマルチモーダル学習に拡張することができる。 ネガティブな対立や干渉は パフォーマンスに悪影響を及ぼすかもしれない 我々は、よく知られたMixture-of-Experts(MoE)と代表的なPEFT技法の1つであるLoRA(LoRA-MoE)を組み合わせて、マルチモーダル学習のための新しいLLMベースのデコーダ(LoRA-MoE)を設計する。
  論文  参考訳（メタデータ） (2023-11-05T15:48:29Z)
• mBLIP: Efficient Bootstrapping of Multilingual Vision-LLMs [50.17767479660832]
  視覚言語モデル(Vision-LLMs)は、事前訓練された画像エンコーダを(凍結した)大型言語モデル(LLMs)とポストホック条件LLMsに整合させ、画像入力を理解する。 我々は,マルチ言語LLMを利用した最初のビジョン-LLMであるmBLIPを,コンシューマレベルのハードウェア上で計算的に効率よく提供する。
  論文  参考訳（メタデータ） (2023-07-13T17:51:58Z)
• Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models [77.2078051555533]
  大規模言語モデル(LLM)の有効なVL適応のための,新規で安価なソリューションを提案する。 画像エンコーダとLLMを接続するために大きなニューラルネットワークを使用する代わりに、MMAは軽量モジュール、すなわちアダプタを採用する。 MMAはまた、LLMがシングルモードとマルチモードの命令を自動シフトするのを助けるルーティングアルゴリズムも備えている。
  論文  参考訳（メタデータ） (2023-05-24T11:06:15Z)
• mPLUG-Owl: Modularization Empowers Large Language Models with Multimodality [95.76661165594884]
  mPLUG-Owlは、大規模言語モデル(LLM)にマルチモーダル能力を持たせる訓練パラダイムである。 トレーニングパラダイムは、LLMの助けを借りて視覚知識を学ぶ、画像とテキストの整列のための2段階の手法を含む。 実験の結果,本モデルは既存のマルチモーダルモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-04-27T13:27:01Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。