論文の概要: Retrieval-augmented Multi-modal Chain-of-Thoughts Reasoning for Large
Language Models
- arxiv url: http://arxiv.org/abs/2312.01714v1
- Date: Mon, 4 Dec 2023 08:07:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 15:49:38.556184
- Title: Retrieval-augmented Multi-modal Chain-of-Thoughts Reasoning for Large
Language Models
- Title（参考訳）: 大規模言語モデルに対する検索強化マルチモーダル・チェーン推論
- Authors: Bingshuai Liu, Chenyang Lyu, Zijun Min, Zhanyu Wang, Jinsong Su,
Longyue Wang
- Abstract要約: マルチモーダル推論シナリオにおける最適なCoT実例の選択という課題に対処する新しいアプローチを提案する。
本手法は,マルチモーダルシナリオにおけるCOT推論プロセスを,より関連性の高い情報的例でLLMに通知することで改善することを目的としている。
提案手法はLLMの性能を著しく向上させ,マルチモーダル推論タスクにおける最先端の成果を達成できることを実証する。
- 参考スコア（独自算出の注目度）: 56.256069117502385
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The advancement of Large Language Models(LLMs) has brought substantial
attention to the Chain of Thought(CoT) approach, primarily due to its ability
to enhance the capability of LLMs on tasks requiring complex reasoning.
Moreover, the significance of CoT approaches extends to the application of LLMs
for multi-modal tasks, such as multi-modal question answering. However, the
selection of optimal CoT demonstration examples in multi-modal reasoning for
LLMs remains less explored for LLMs due to the inherent complexity of
multi-modal examples. In this paper, we introduce a novel approach that
addresses this challenge by using retrieval mechanisms to dynamically and
automatically select demonstration examples based on cross-modal similarities.
This method aims to refine the CoT reasoning process in multi-modal scenarios
via informing LLMs with more relevant and informative examples. Furthermore, we
employ a stratified sampling method categorising demonstration examples into
groups based on their types and retrieving examples from different groups
respectively to promote the diversity of demonstration examples. Through a
series of experiments, we demonstrate that our approach significantly improves
the performance of LLMs, achieving state-of-the-art results in multi-modal
reasoning tasks. Specifically, our methods demonstrate significant advancements
on the ScienceQA dataset. While our method based on ChatGPT outperforms the
Chameleon(ChatGPT) by 2.74% with an accuracy of 82.67%, the GPT4-based approach
surpasses the Chameleon(GPT-4) by 0.89%, achieving 87.43% on accuracy under the
same setting. Moreover, our best performing show a 6.05% increase over
Chameleon for ChatGPT-based models and a 4.57% increase for GPT-4-based models.
- Abstract（参考訳）: LLM(Large Language Models)の進歩は、複雑な推論を必要とするタスクにおいてLLMの能力を高める能力によって、Chain of Thought(CoT)アプローチに大きな注目を集めている。
さらに、CoTアプローチの重要性は、マルチモーダル質問応答のようなマルチモーダルタスクに対するLLMの適用にまで拡張されている。
しかし、マルチモーダル推論における最適CoT実例の選択は、マルチモーダル実例に固有の複雑さがあるため、LLMでは検討されていない。
本稿では,この課題に対処する新しい手法を提案する。探索機構を用いて,モーダル間の類似性に基づいた実演例を動的かつ自動選択する。
本手法は,マルチモーダルシナリオにおけるCOT推論プロセスを,より関連性の高い情報的例でLLMに通知することを目的としている。
さらに,実験例を分類した階層化サンプリング手法を用い,実験例の多様性を促進するために,各グループからそれぞれサンプルを抽出する。
一連の実験を通して,本手法はLLMの性能を著しく向上させ,マルチモーダル推論タスクにおける最先端の成果を達成することを実証した。
具体的には,ScienceQAデータセットに大きな進歩を示した。
本手法はChatGPTを精度82.67%でChameleon(ChatGPT)を2.74%上回るが、GPT4ベースの手法はChameleon(GPT-4)を0.89%上回って87.43%の精度で達成している。
さらに,ChatGPTモデルではChameleonが6.05%,GPT-4モデルでは4.57%向上した。
関連論文リスト
- FedMLLM: Federated Fine-tuning MLLM on Multimodal Heterogeneity Data [64.50893177169996]
フェデレートラーニング(FL)による微調整型マルチモーダル大言語モデル(MLLM)は、プライベートデータソースを含めることで、トレーニングデータの範囲を拡大することができる。
マルチモーダルなヘテロジニアスシナリオにおけるMLLMのファインチューニングにおける様々なダウンストリームタスクを評価するためのベンチマークを提案する。
我々は,2つのモダリティに依存しない戦略とともに,4つの代表的FL手法を統合する汎用FedMLLMフレームワークを開発した。
論文 参考訳（メタデータ） (2024-11-22T04:09:23Z) - Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization [65.64108848398696]
本稿では,MLLMのマルチモーダル推論能力を高めるための選好最適化プロセスを提案する。
我々は,マルチモーダルCoT性能を向上する,MPO(Mixed Preference Optimization)と呼ばれるシンプルで効果的な手法を開発した。
我々のモデルであるInternVL2-8B-MPOは、MathVista上で67.0の精度を実現し、InternVL2-8Bを8.7ポイント上回り、10倍のInternVL2-76Bに匹敵する性能を達成する。
論文 参考訳（メタデータ） (2024-11-15T18:59:27Z) - Cross-Modal Few-Shot Learning: a Generative Transfer Learning Framework [58.362064122489166]
本稿では,複数モーダルからインスタンスを識別するクロスモーダルなFew-Shot Learningタスクを提案する。
本稿では,1つの段階からなる生成的転帰学習フレームワークを提案する。1つは豊富な一助データに対する学習を伴い,もう1つは新しいデータに適応するための転帰学習に焦点を当てる。
以上の結果から,GTLは4つの異なるマルチモーダルデータセット間の最先端手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-14T16:09:38Z) - Large Language Models Know What Makes Exemplary Contexts [42.90814615222177]
In-context Learning (ICL) は、Large Language Model (LLM) の発展において重要な機能であることが証明されている。
本稿では,LLMのための統合フレームワークを提案する。このフレームワークにより,影響力のあるインコンテキストのサンプルを自己選択してコンテキストを構成することができる。
論文 参考訳（メタデータ） (2024-08-14T12:32:41Z) - From Introspection to Best Practices: Principled Analysis of Demonstrations in Multimodal In-Context Learning [47.82447085244952]
マルチモーダル ICL では,タスクごとにモダリティが異なることが示される。
タスク固有のモダリティの影響に導かれ、ICL性能を高めるためのモダリティ駆動型実証戦略を推奨する。
論文 参考訳（メタデータ） (2024-07-01T01:57:21Z) - Model Composition for Multimodal Large Language Models [71.5729418523411]
本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。
我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
論文 参考訳（メタデータ） (2024-02-20T06:38:10Z) - On the Performance of Multimodal Language Models [4.677125897916577]
本研究は、異なるマルチモーダル命令チューニングアプローチの比較分析を行う。
大規模言語モデルにマルチモーダル機能を組み込む際に,アーキテクチャ選択を導く上で重要な洞察を明らかにする。
論文 参考訳（メタデータ） (2023-10-04T23:33:36Z) - Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。
具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。
ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
論文 参考訳（メタデータ） (2023-05-22T13:18:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。