論文の概要: Retrieval-augmented Multi-modal Chain-of-Thoughts Reasoning for Large
Language Models
- arxiv url: http://arxiv.org/abs/2312.01714v2
- Date: Sun, 3 Mar 2024 06:12:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 01:30:46.830798
- Title: Retrieval-augmented Multi-modal Chain-of-Thoughts Reasoning for Large
Language Models
- Title(参考訳): 大規模言語モデルに対する検索強化マルチモーダル・チェーン推論
- Authors: Bingshuai Liu, Chenyang Lyu, Zijun Min, Zhanyu Wang, Jinsong Su,
Longyue Wang
- Abstract要約: Chain of Thought (CoT)アプローチは、複雑な推論タスクにおいて、LLM(Large Language Models)の能力を高めるために使用できる。
しかし、マルチモーダル推論における最適なCoT実例の選択は、まだ検討されていない。
本稿では,この課題に対処する新しい手法として,検索機構を用いて実演例を自動的に選択する手法を提案する。
- 参考スコア(独自算出の注目度): 56.256069117502385
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The advancement of Large Language Models (LLMs) has brought substantial
attention to the Chain of Thought (CoT) approach, primarily due to its ability
to enhance the capability of LLMs on complex reasoning tasks. Moreover, the
significance of CoT approaches extends to the application of LLMs for
multi-modal tasks. However, the selection of optimal CoT demonstration examples
in multi-modal reasoning remains less explored for LLMs due to the inherent
complexity of multi-modal examples. In this paper, we introduce a novel
approach that addresses this challenge by using retrieval mechanisms to
dynamically and automatically select demonstration examples based on
cross-modal and intra-modal similarities. Furthermore, we employ a Stratified
Sampling method of categorising demonstration examples into groups based on
their types and then retrieving examples from different groups respectively to
promote the diversity of demonstration examples. Through a series of
experiments on two popular benchmark datasets: ScienceQA and MathVista, we
demonstrate that our approach significantly improves the performance of GPT-4
by 6% on ScienceQA and 12.9% on MathVista, and enhances the performance of
GPT-4V on two datasets by 2.7%, substantially improving the performance of the
most advanced LLMs and LMMs for complex multi-modal reasoning tasks.
- Abstract(参考訳): LLM(Large Language Models)の進歩は、複雑な推論タスクにおいてLLMの能力を高める能力によって、CoT(Chain of Thought)アプローチに大きな注目を集めている。
さらに、CoT アプローチの重要性は、マルチモーダルタスクに対する LLM の適用にまで及ぶ。
しかし、マルチモーダル推論における最適なCoT実例の選択は、マルチモーダル実例固有の複雑さのため、LLMでは検討されていない。
本稿では,この課題に対処する新しい手法を提案する。探索機構を用いて,モーダル・イントラモーダル類似性に基づく実演例を動的かつ自動選択する。
さらに,実演例を種類別に分類し,それぞれ異なるグループの例を抽出し,実演例の多様性を促進する階層化サンプリング手法を採用する。
我々は,ScienceQAとMathVistaの2つのベンチマークデータセットに関する一連の実験を通じて,GPT-4の性能がScienceQAで6%,MathVistaで12.9%向上し,GPT-4Vが2.7%向上し,複雑なマルチモーダル推論タスクにおいて最も進んだLLMとLMMの性能が大幅に向上することが実証された。
関連論文リスト
- Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚的単語の概念を提案する。
さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
論文 参考訳(メタデータ) (2024-03-12T14:58:52Z) - Model Composition for Multimodal Large Language Models [73.70317850267149]
本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。
我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
論文 参考訳(メタデータ) (2024-02-20T06:38:10Z) - CaMML: Context-Aware Multimodal Learner for Large Models [17.49545692638154]
大規模マルチモーダルモデル(LMM)をチューニングするためのコンテキスト認識型マルチモーダル学習器(CaMML)を導入する。
CaMMLは、マルチモーダルなコンテキストサンプルを大きなモデルにシームレスに統合するように設計されている。
CaMMLをベースとした2つのマルチモーダルモデルであるCaMML-7BとCaMML-13Bを開発した。
論文 参考訳(メタデータ) (2024-01-06T07:54:58Z) - Which Examples to Annotate for In-Context Learning? Towards Effective
and Efficient Selection [35.924633625147365]
大規模言語モデル(LLM)は、文脈内学習(ICL)を介して新しいタスクに適応できる
そこで本研究では,ICLのアクティブな学習手法について検討し,アノテートのための予算が限られている。
本稿では,モデルが不確実であることを示すモデル適応型最適化自由アルゴリズムAdaICLを提案する。
論文 参考訳(メタデータ) (2023-10-30T22:03:55Z) - Provable Benefits of Multi-task RL under Non-Markovian Decision Making
Processes [56.714690083118406]
マルコフ決定過程 (MDP) 下でのマルチタスク強化学習 (RL) において, 共有潜在構造の存在は, シングルタスクRLと比較して, サンプル効率に有意な利益をもたらすことが示されている。
このような利点が、部分的に観測可能なMDP(POMDP)やより一般的な予測状態表現(PSR)といった、より一般的なシーケンシャルな意思決定問題にまで拡張できるかどうかを検討する。
提案手法は,全てのPSRに対してほぼ最適ポリシーを求めるための,証明可能なアルゴリズム UMT-PSR を提案し,PSR の合同モデルクラスが有するマルチタスク学習の利点が示されることを示す。
論文 参考訳(メタデータ) (2023-10-20T14:50:28Z) - MM-BigBench: Evaluating Multimodal Models on Multimodal Content
Comprehension Tasks [56.60050181186531]
MM-BigBenchを導入し、様々なモデルや命令のパフォーマンスを広範囲に評価する。
本稿では,6タスクにまたがる14のマルチモーダルデータセット上で,20の言語モデル (14 MLLM) を評価し,各タスクに10の指示を与え,新しい洞察を導き出す。
論文 参考訳(メタデータ) (2023-10-13T11:57:04Z) - Lightweight In-Context Tuning for Multimodal Unified Models [57.10831399642176]
MultiModal In-conteXt Tuning (M$2$IXT)は、マルチモーダル統一モデルのICL機能を強化する軽量モジュールである。
最大50Kのマルチモーダルデータをチューニングすると、M$2$IXTは数ショットのICL性能を大幅に向上させることができる。
論文 参考訳(メタデータ) (2023-10-08T10:47:24Z) - On the Performance of Multimodal Language Models [4.677125897916577]
本研究は、異なるマルチモーダル命令チューニングアプローチの比較分析を行う。
大規模言語モデルにマルチモーダル機能を組み込む際に,アーキテクチャ選択を導く上で重要な洞察を明らかにする。
論文 参考訳(メタデータ) (2023-10-04T23:33:36Z) - Abstractive Sentence Summarization with Guidance of Selective Multimodal
Reference [3.505062507621494]
モーダル間の相互関係を考慮したマルチモーダル階層選択変換器(mhsf)モデルを提案する。
提案したmhsfモデルの汎用性を,事前学習+微調整および新鮮トレーニング戦略を用いて評価した。
論文 参考訳(メタデータ) (2021-08-11T09:59:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。