論文の概要: Enhancing Subtask Performance of Multi-modal Large Language Model

• arxiv url: http://arxiv.org/abs/2308.16474v1
• Date: Thu, 31 Aug 2023 05:37:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-01 15:42:13.776465
• Title: Enhancing Subtask Performance of Multi-modal Large Language Model
• Title（参考訳）: マルチモーダル大規模言語モデルのサブタスク性能向上
• Authors: Yongqiang Zhao, Zhenyu Li, Feng Zhang, Xinhai Xu, Donghong Liu
• Abstract要約: MLLM(Multi-modal Large Language Model)は、マルチモーダルデータを扱う能力を持つLarge Language Model(LLM)から拡張されたモデルである。 本研究では、異なる評価手法に基づいて、同一サブタスクに焦点を当てた複数の事前学習モデルを選択する。 同じサブタスクに対する複数の事前学習モデルの結果をLLMを用いて比較し、そのサブタスクの結果として最もよい結果を選択する。
• 参考スコア（独自算出の注目度）: 12.033301861738952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal Large Language Model (MLLM) refers to a model expanded from a Large Language Model (LLM) that possesses the capability to handle and infer multi-modal data. Current MLLMs typically begin by using LLMs to decompose tasks into multiple subtasks, then employing individual pre-trained models to complete specific subtasks, and ultimately utilizing LLMs to integrate the results of each subtasks to obtain the results of the task. In real-world scenarios, when dealing with large projects, it is common practice to break down the project into smaller sub-projects, with different teams providing corresponding solutions or results. The project owner then decides which solution or result to use, ensuring the best possible outcome for each subtask and, consequently, for the entire project. Inspired by this, this study considers selecting multiple pre-trained models to complete the same subtask. By combining the results from multiple pre-trained models, the optimal subtask result is obtained, enhancing the performance of the MLLM. Specifically, this study first selects multiple pre-trained models focused on the same subtask based on distinct evaluation approaches, and then invokes these models in parallel to process input data and generate corresponding subtask results. Finally, the results from multiple pre-trained models for the same subtask are compared using the LLM, and the best result is chosen as the outcome for that subtask. Extensive experiments are conducted in this study using GPT-4 annotated datasets and human-annotated datasets. The results of various evaluation metrics adequately demonstrate the effectiveness of the proposed approach in this paper.
• Abstract（参考訳）: MLLM(Multi-modal Large Language Model)は、マルチモーダルデータを扱う能力を持つLarge Language Model(LLM)から拡張されたモデルである。 現在のMLLMは、通常、LSMを使用してタスクを複数のサブタスクに分解し、個別のトレーニング済みモデルを使用して特定のサブタスクを完成させ、最終的に各サブタスクの結果を統合することでタスクの結果を得る。 現実のシナリオでは、大規模なプロジェクトを扱う場合、プロジェクトを小さなサブプロジェクトに分割し、異なるチームが対応するソリューションや結果を提供するのが一般的です。 プロジェクトオーナーは、どのソリューションまたは結果を使うかを決め、各サブタスクで最高の結果が得られ、その結果、プロジェクト全体の結果が得られます。 このことから着想を得た本研究では,複数の事前学習モデルを選択して同じサブタスクを完了させる。 複数の事前学習モデルの結果を組み合わせることで、最適サブタスク結果を得ることができ、MLLMの性能を向上させることができる。 具体的には、まず、異なる評価アプローチに基づいて、同一サブタスクに焦点を当てた複数の事前学習モデルを選択し、これらのモデルを並列に実行し、入力データを処理し、対応するサブタスク結果を生成する。 最後に、同一サブタスクに対する複数の事前学習モデルの結果をLLMを用いて比較し、そのサブタスクの結果として最良の結果を選択する。 GPT-4アノテートデータセットとヒトアノテートデータセットを用いた大規模な実験を行った。 本稿では,様々な評価指標の結果から,提案手法の有効性を十分に示す。

関連論文リスト

• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。 以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。 我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。 本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• SelectLLM: Query-Aware Efficient Selection Algorithm for Large Language Models [8.558834738072363]
  大規模言語モデル(LLM)は、様々なタスクで顕著な成功を収めたため、人気が高まっている。 しかしながら、個々のLLMは、トレーニングバイアス、モデルサイズ、使用されるデータセットなどの要因のために、複雑なタスクに適用する場合に制限がある。 本稿では,入力クエリを大規模プールからLLMの最も適切なサブセットに誘導する新しいアルゴリズムであるSelectLLMを紹介する。
  論文  参考訳（メタデータ） (2024-08-16T06:11:21Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
  textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。 提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
  論文  参考訳（メタデータ） (2024-06-17T10:12:45Z)
• UniDM: A Unified Framework for Data Manipulation with Large Language Models [66.61466011795798]
  大規模言語モデル(LLM)は複数のデータ操作タスクを解決する。 LLMはパフォーマンス面では明るい利点を示すが、それぞれのタスクに合うようにカスタマイズされた設計が必要である。 データ操作タスクを処理するための新しいパラダイムを確立する統一フレームワークUniDMを提案する。
  論文  参考訳（メタデータ） (2024-05-10T14:44:04Z)
• On Inter-dataset Code Duplication and Data Leakage in Large Language Models [4.148857672591562]
  本稿では,データセット間の重複現象とその大規模言語モデル(LLM)評価への影響について検討する。 この結果から,複数のSEタスクにまたがるLCMの評価は,データ間重複現象に起因する可能性が示唆された。 オープンソースモデルがデータセット間の重複に影響される可能性があることを示す。
  論文  参考訳（メタデータ） (2024-01-15T19:46:40Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• Concrete Subspace Learning based Interference Elimination for Multi-task Model Fusion [86.6191592951269]
  一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。 本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T07:24:54Z)
• Large Language Model Routing with Benchmark Datasets [40.42044096089315]
  通常、単一のモデルがすべてのタスクやユースケースで最高の精度を達成することはない。 そこで我々は,この選択のための"ルータ"モデルを学習するために,ベンチマークデータセットを再利用した新しい定式化を提案する。 本稿では,この問題をバイナリ分類タスクの集合に還元できることを示す。
  論文  参考訳（メタデータ） (2023-09-27T17:08:40Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。