論文の概要: Beyond Text: Unveiling Multimodal Proficiency of Large Language Models with MultiAPI Benchmark

• arxiv url: http://arxiv.org/abs/2311.13053v1
• Date: Tue, 21 Nov 2023 23:26:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 16:44:03.253391
• Title: Beyond Text: Unveiling Multimodal Proficiency of Large Language Models with MultiAPI Benchmark
• Title（参考訳）: Beyond Text: MultiAPIベンチマークで大規模言語モデルのマルチモーダル能率を明らかにする
• Authors: Xiao Liu, Jianfeng Lin, Jiawei Zhang
• Abstract要約: この研究は、包括的な大規模APIベンチマークデータセットのパイオニアであるMultiAPIを紹介した。 235の多様なAPIコールと2,038のコンテキストプロンプトで構成されており、マルチモーダルタスクを扱うツール拡張LDMのユニークなプラットフォーム評価を提供する。 LLMはAPIコール決定の熟練度を示すが,ドメイン識別や関数選択,引数生成といった課題に直面している。
• 参考スコア（独自算出の注目度）: 11.572835837392867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The proliferation of Large Language Models like ChatGPT has significantly advanced language understanding and generation, impacting a broad spectrum of applications. However, these models predominantly excel in text-based tasks, overlooking the complexity of real-world multimodal information. This study introduces MultiAPI, a pioneering comprehensive large-scale API benchmark dataset aimed at expanding LLMs' proficiency in multimodal contexts. Developed collaboratively through ChatGPT, MultiAPI consists of 235 diverse API calls and 2,038 contextual prompts, offering a unique platform evaluation of tool-augmented LLMs handling multimodal tasks. Through comprehensive experiments, our findings reveal that while LLMs demonstrate proficiency in API call decision-making, they face challenges in domain identification, function selection, and argument generation. What's more, we surprisingly notice that auxiliary context can actually impair the performance. An in-depth error analysis paves the way for a new paradigm to address these challenges, suggesting a potential direction for future LLM research.
• Abstract（参考訳）: ChatGPTのような大規模言語モデルの普及は言語理解と生成を著しく進歩させ、幅広いアプリケーションに影響を与える。 しかし、これらのモデルは主にテキストベースのタスクに優れており、実世界のマルチモーダル情報の複雑さを見下ろしている。 マルチモーダルコンテキストにおけるLLMの習熟度向上を目的とした,包括的大規模APIベンチマークデータセットであるMultiAPIを紹介する。 ChatGPTを通じて共同で開発されたMultiAPIは,235の多様なAPIコールと2,038のコンテキストプロンプトで構成されている。 総合的な実験により, LLMはAPIコール決定の熟練度を示す一方で, ドメイン識別, 関数選択, 引数生成の課題に直面していることがわかった。 さらに、補助的なコンテキストが実際にパフォーマンスを損なうことは驚くべきことです。 詳細なエラー解析は、これらの課題に対処する新しいパラダイムへの道を開き、将来のllm研究の方向性を示唆する。

関連論文リスト

• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• A Comprehensive Review of Multimodal Large Language Models: Performance and Challenges Across Different Tasks [74.52259252807191]
  MLLM(Multimodal Large Language Models)は、単一のモダリティシステムの能力を超えた現実世界のアプリケーションの複雑さに対処する。 本稿では,自然言語,視覚,音声などのマルチモーダルタスクにおけるMLLMの応用を体系的に整理する。
  論文  参考訳（メタデータ） (2024-08-02T15:14:53Z)
• UniMEL: A Unified Framework for Multimodal Entity Linking with Large Language Models [0.42832989850721054]
  MEL(Multimodal Entities Linking)は、ウィキペディアのようなマルチモーダル知識ベースの参照エンティティに、多モーダルコンテキスト内で曖昧な言及をリンクすることを目的とした重要なタスクである。 既存の方法はMELタスクを過度に複雑にし、視覚的意味情報を見渡す。 大規模言語モデルを用いたマルチモーダル・エンティティ・リンクタスクを処理するための新しいパラダイムを確立する統一フレームワークUniMELを提案する。
  論文  参考訳（メタデータ） (2024-07-23T03:58:08Z)
• Fine-tuning Multimodal Large Language Models for Product Bundling [53.01642741096356]
  Bundle-MLLMは,大規模言語モデル(LLM)をハイブリットアイテムトークン化アプローチにより微調整する新しいフレームワークである。 具体的には、テキスト、メディア、およびリレーショナルデータを統一トークン化に統合し、テキストトークンと非テキストトークンを区別するソフトな分離トークンを導入する。 1)バンドルパターンを学習し,2)製品バンドル固有のマルチモーダルセマンティック理解の強化を行う。
  論文  参考訳（メタデータ） (2024-07-16T13:30:14Z)
• LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
  不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。 テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。 研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
  論文  参考訳（メタデータ） (2023-11-13T15:08:59Z)
• How to Bridge the Gap between Modalities: A Comprehensive Survey on Multimodal Large Language Model [12.890344377484759]
  本稿では,MLLM(Multimodal Large Language Models)について概説する。 MLLMはGPT-4のような大規模言語モデル(LLM)を統合し、テキストやビジョンなどのマルチモーダルデータを処理する。 適切なモダリティアライメント法を選択することは重要である。
  論文  参考訳（メタデータ） (2023-11-10T09:51:24Z)
• On the Performance of Multimodal Language Models [4.677125897916577]
  本研究は、異なるマルチモーダル命令チューニングアプローチの比較分析を行う。 大規模言語モデルにマルチモーダル機能を組み込む際に,アーキテクチャ選択を導く上で重要な洞察を明らかにする。
  論文  参考訳（メタデータ） (2023-10-04T23:33:36Z)
• Macaw-LLM: Multi-Modal Language Modeling with Image, Audio, Video, and Text Integration [50.94902442781148]
  視覚情報,音声情報,テキスト情報をシームレスに統合する新しい多モード大言語モデル(LLM)を提案する。 Macaw-LLMは、マルチモーダルデータを符号化するモダリティモジュール、事前訓練されたLLMを利用する認知モジュール、多様な表現を調和させるアライメントモジュールの3つの主要コンポーネントから構成される。 我々は,69K画像インスタンスと50Kビデオインスタンスを含む,大規模なマルチモーダル・インストラクション・データセットを構築した。
  論文  参考訳（メタデータ） (2023-06-15T12:45:25Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。