Fugu-MT 論文翻訳(概要): Captioning Visualizations with Large Language Models (CVLLM): A Tutorial

論文の概要: Captioning Visualizations with Large Language Models (CVLLM): A Tutorial

arxiv url: http://arxiv.org/abs/2406.19512v1
Date: Thu, 27 Jun 2024 20:18:18 GMT
ステータス: 処理完了
システム内更新日: 2024-07-01 18:31:50.644402
Title: Captioning Visualizations with Large Language Models (CVLLM): A Tutorial
Title（参考訳）: 大規模言語モデル (CVLLM: Captioning Visualizations with Large Language Models) : チュートリアル
Authors: Giuseppe Carenini, Jordon Johnson, Ali Salamatian,
Abstract要約: 本チュートリアルでは,ニューラルモデルと汎用LLMで使用されるトランスフォーマーアーキテクチャを紹介する。次に、それらの最近のアプリケーションをInfoVisで議論し、キャプションに焦点を当てます。
参考スコア（独自算出の注目度）: 15.783846961698018
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Automatically captioning visualizations is not new, but recent advances in large language models(LLMs) open exciting new possibilities. In this tutorial, after providing a brief review of Information Visualization (InfoVis) principles and past work in captioning, we introduce neural models and the transformer architecture used in generic LLMs. We then discuss their recent applications in InfoVis, with a focus on captioning. Additionally, we explore promising future directions in this field.
Abstract（参考訳）: 可視化の自動キャプションは新しいものではないが、大規模言語モデル(LLM)の最近の進歩は、エキサイティングな新しい可能性を開く。本稿では,インフォメーションビジュアライゼーション(インフォメーションビジュアライゼーション)の原則とキャプションにおける過去の成果を概観した上で,ニューラルモデルと汎用LLMで使用されるトランスフォーマーアーキテクチャを紹介する。次に、それらの最近のアプリケーションをInfoVisで議論し、キャプションに焦点を当てます。また、この分野における将来的な方向性についても検討する。

関連論文リスト

Croc: Pretraining Large Multimodal Models with Cross-Modal Comprehension [21.500920290909843]
本稿では,Large Language Models (LLM) のための新しい事前学習パラダイムを提案し,その視覚的理解能力を高める。具体的には、動的に学習可能なプロンプトトークンプールを設計し、ハンガリーのアルゴリズムを用いて、元のビジュアルトークンの一部を最も関連性の高いプロンプトトークンに置き換える。我々はCrocと呼ばれる新しい基礎モデルを提案し、大規模な視覚言語ベンチマークで最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2024-10-18T09:44:25Z)
Visual Prompting in Multimodal Large Language Models: A Survey [95.75225825537528]
MLLM(Multimodal large language model)は、視覚機能を備えた事前訓練された多言語モデル(LLM)である。ビジュアルプロンプトはよりきめ細かな自由形式のビジュアルインストラクションのために現れた。本稿では,視覚的プロンプト,即時生成,構成的推論,即時学習に焦点をあてる。
論文参考訳（メタデータ） (2024-09-05T08:47:34Z)
FILS: Self-Supervised Video Feature Prediction In Semantic Language Space [11.641926922266347]
本稿では,セマンティックビデオ表現を学習するための自己教師型アプローチを示す。本稿では,意味言語空間における特徴予測手法であるFILSについて述べる。
論文参考訳（メタデータ） (2024-06-05T16:44:06Z)
Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
論文参考訳（メタデータ） (2024-03-19T17:59:52Z)
Backward Lens: Projecting Language Model Gradients into the Vocabulary Space [94.85922991881242]
勾配行列は、その前方および後方の入力の低ランク線形結合としてキャスト可能であることを示す。次に、これらの勾配を語彙項目に投影する手法を開発し、新しい情報がLMのニューロンにどのように格納されているかのメカニズムを探索する。
論文参考訳（メタデータ） (2024-02-20T09:57:08Z)
Eliciting In-Context Learning in Vision-Language Models for Videos Through Curated Data Distributional Properties [13.938281516499119]
textbfEmergent textbfIn-context textbfLearning on textbfVideos (eilev)を実装する。我々の結果、分析、およびアイレフ学習モデルは、ビデオやテキスト上での文脈内学習の出現に関する多くの洞察を得られる。
論文参考訳（メタデータ） (2023-11-28T18:53:06Z)
Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
論文参考訳（メタデータ） (2023-09-09T03:01:38Z)
DeViL: Decoding Vision features into Language [53.88202366696955]
ポストホックな説明法は、ディープニューラルネットワークの意思決定プロセスを抽象化するためにしばしば批判されてきた。この研究では、ビジョンバックボーンの異なるレイヤが学んだことについて、自然言語で記述したいと考えています。我々は、トランスフォーマーネットワークをトレーニングし、任意の視覚層の個々の画像特徴を、分離した既製の言語モデルが自然言語に復号するプロンプトに変換する。
論文参考訳（メタデータ） (2023-09-04T13:59:55Z)
CapText: Large Language Model-based Caption Generation From Image Context and Description [0.0]
テキスト記述と文脈のみからキャプションを生成する新しいアプローチを提案し,評価する。提案手法は,OSCAR-VinVL などの最先端画像テキストアライメントモデルにおいて,CIDEr メトリック上でのタスクにおいて優れる。
論文参考訳（メタデータ） (2023-06-01T02:40:44Z)
Retrieval-Augmented Transformer for Image Captioning [51.79146669195357]
我々は、kNNメモリを用いた画像キャプション手法を開発し、外部コーパスから知識を抽出して生成プロセスを支援する。我々のアーキテクチャは、視覚的類似性に基づく知識検索と、識別可能なエンコーダと、トークンを予測するためにkNN拡張アテンション層を組み合わせる。 COCOデータセットで実施した実験結果は、明示的な外部メモリを利用することで、生成プロセスの助けとなり、キャプションの品質が向上することを示した。
論文参考訳（メタデータ） (2022-07-26T19:35:49Z)
Learning Visual Representations with Caption Annotations [19.24013129952071]
本稿では,視覚的表現をイメージ・キャプション・ペア上で学習するプロキシ・タスクを提案する。 ICMLMは視覚的手がかりに頼って字幕中のマスキング語を予測する。実験の結果,画像キャプションを利用してグローバルな意味情報を視覚表現に注入できることが確認された。
論文参考訳（メタデータ） (2020-08-04T08:04:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。