論文の概要: CLOVA: A Closed-Loop Visual Assistant with Tool Usage and Update
- arxiv url: http://arxiv.org/abs/2312.10908v1
- Date: Mon, 18 Dec 2023 03:34:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 21:26:30.302980
- Title: CLOVA: A Closed-Loop Visual Assistant with Tool Usage and Update
- Title(参考訳): CLOVA:ツール使用とアップデートを備えたクローズドループビジュアルアシスタント
- Authors: Zhi Gao, Yuntao Du, Xintong Zhang, Xiaojian Ma, Wenjuan Han, Song-Chun
Zhu, Qing Li
- Abstract要約: この制限に対処するクローズドループビジュアルアシスタントであるCLOVAを提案する。
推論中、LLMはプログラムを生成し、与えられたタスクを達成するための対応するツールを実行する。
リフレクションフェーズではマルチモーダルなグローバルローカルリフレクション方式を導入し、どのツールを更新する必要があるかを分析する。
学習フェーズは3つのフレキシブルな方法でトレーニングデータをリアルタイムで収集し、ツールを更新するための新しいプロンプトチューニングスキームを導入する。
- 参考スコア(独自算出の注目度): 73.08470271514605
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Leveraging large language models (LLMs) to integrate off-the-shelf tools
(e.g., visual models and image processing functions) is a promising research
direction to build powerful visual assistants for solving diverse visual tasks.
However, the learning capability is rarely explored in existing methods, as
they freeze the used tools after deployment, thereby limiting the
generalization to new environments requiring specific knowledge. In this paper,
we propose CLOVA, a Closed-LOop Visual Assistant to address this limitation,
which encompasses inference, reflection, and learning phases in a closed-loop
framework. During inference, LLMs generate programs and execute corresponding
tools to accomplish given tasks. The reflection phase introduces a multimodal
global-local reflection scheme to analyze whether and which tool needs to be
updated based on environmental feedback. Lastly, the learning phase uses three
flexible manners to collect training data in real-time and introduces a novel
prompt tuning scheme to update the tools, enabling CLOVA to efficiently learn
specific knowledge for new environments without human involvement. Experiments
show that CLOVA outperforms tool-usage methods by 5% in visual question
answering and multiple-image reasoning tasks, by 10% in knowledge tagging
tasks, and by 20% in image editing tasks, highlighting the significance of the
learning capability for general visual assistants.
- Abstract(参考訳): 大型言語モデル(LLM)を活用して市販のツール(例えば、ビジュアルモデルや画像処理機能)を統合することは、多様な視覚的タスクを解決する強力なビジュアルアシスタントを構築するための有望な研究方向である。
しかし、デプロイ後に使用するツールを凍結し、特定の知識を必要とする新しい環境への一般化を制限するため、既存の方法では学習能力が探求されることは滅多にない。
本稿では,この制限に対処するクローズドループビジュアルアシスタントであるCLOVAを提案し,クローズドループフレームワークにおける推論,リフレクション,学習の各フェーズを包含する。
推論中、LLMはプログラムを生成し、与えられたタスクを達成するための対応するツールを実行する。
リフレクションフェーズでは、環境フィードバックに基づいてどのツールを更新する必要があるかを分析するために、マルチモーダルグローバルローカルリフレクションスキームが導入されている。
最後に、学習フェーズは3つのフレキシブルな方法でトレーニングデータをリアルタイムで収集し、ツールを更新するための新しいプロンプトチューニングスキームを導入し、CLOVAが人間の関与なしに新しい環境に関する特定の知識を効率的に学習できるようにする。
実験の結果,CLOVAは視覚的質問応答や複数画像推論タスクで5%,知識タグ付けタスクで10%,画像編集タスクで20%,一般的な視覚アシスタントにおける学習能力の意義を強調してツール利用方法よりも優れていた。
関連論文リスト
- LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。
試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。
STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
論文 参考訳(メタデータ) (2024-03-07T18:50:51Z) - Look Before You Leap: Towards Decision-Aware and Generalizable
Tool-Usage for Large Language Models [28.19932548630398]
意思決定・汎用ツール・ユース・フレームワーク(DEER)を提案する。
具体的には、まず、自動生成パイプラインを介して、複数の決定ブランチを持つツール使用サンプルを構築します。
提案するDEERは, 各種データセットのベースラインよりも効果的で, 著しく優れる。
論文 参考訳(メタデータ) (2024-02-26T16:11:03Z) - Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。
本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。
このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
論文 参考訳(メタデータ) (2024-01-14T16:17:07Z) - Improving Reinforcement Learning Efficiency with Auxiliary Tasks in
Non-Visual Environments: A Comparison [0.0]
本研究は,低次元非視覚的観察のための唯一の疎結合表現学習法である,我々の知識を最大限に活用して,一般的な補助課題と比較する。
その結果, 十分複雑な環境下では, 補助的タスクによる表現学習は, 性能向上にのみ寄与することがわかった。
論文 参考訳(メタデータ) (2023-10-06T13:22:26Z) - CRAFT: Customizing LLMs by Creating and Retrieving from Specialized
Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。
タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。
本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文 参考訳(メタデータ) (2023-09-29T17:40:26Z) - Confucius: Iterative Tool Learning from Introspection Feedback by
Easy-to-Difficult Curriculum [42.36892453363961]
本研究では,大規模言語モデル(LLM)を学習し,現実のシナリオで複雑なツールを使用するための新しいツール学習フレームワークを提案する。
まず,多段階の学習手法を提案する。
次に、イントロスペクティブフィードバックからの反復自己インストラクションを提案し、データセットを動的に構築し、複雑なツールを使用する能力を改善する。
論文 参考訳(メタデータ) (2023-08-27T07:53:00Z) - Learning without Forgetting for Vision-Language Models [65.49600786387106]
CIL(Class-Incremental Learning)あるいは継続的学習(Continuous Learning)は、現実世界において望ましい能力である。
VLM(Vision-Language Models)の最近の進歩は、一般化可能な表現を学習する上で有望な能力を示している。
本稿では,VLM を忘れずに学習できる ProjectiOn Fusion (PROOF) を提案する。
論文 参考訳(メタデータ) (2023-05-30T17:59:32Z) - Exploring Effective Factors for Improving Visual In-Context Learning [56.14208975380607]
In-Context Learning(ICL)は、いくつかのデモ(別名プロンプト)を通じて新しいタスクを理解し、モデルをチューニングせずに新しい入力を予測することである。
本稿では,視覚的文脈学習の推論性能に直接的な影響を及ぼす要因として,迅速な選択と迅速な融合があげられる。
視覚的インコンテキスト学習のためのシンプルなフレームワークプロンプトSelFを提案する。
論文 参考訳(メタデータ) (2023-04-10T17:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。