論文の概要: GPT4RoI: Instruction Tuning Large Language Model on Region-of-Interest

• arxiv url: http://arxiv.org/abs/2307.03601v3
• Date: Sat, 1 Jun 2024 08:50:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 21:10:26.455611
• Title: GPT4RoI: Instruction Tuning Large Language Model on Region-of-Interest
• Title（参考訳）: GPT4RoI: 関心領域に基づく大規模言語モデルの学習
• Authors: Shilong Zhang, Peize Sun, Shoufa Chen, Min Xiao, Wenqi Shao, Wenwei Zhang, Yu Liu, Kai Chen, Ping Luo,
• Abstract要約: 本稿では,空間的命令チューニングを提案し,その命令における関心領域(RoI)を参照することを提案する。 我々のモデルであるGPT4RoIは、7つのリージョンテキストペアデータセットに基づいて訓練されており、前例のない対話的かつ対話的な体験をもたらす。
• 参考スコア（独自算出の注目度）: 51.68383826362895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual instruction tuning large language model(LLM) on image-text pairs has achieved general-purpose vision-language abilities. However, the lack of region-text pairs limits their advancements to fine-grained multimodal understanding. In this paper, we propose spatial instruction tuning, which introduces the reference to the region-of-interest(RoI) in the instruction. Before sending to LLM, the reference is replaced by RoI features and interleaved with language embeddings as a sequence. Our model GPT4RoI, trained on 7 region-text pair datasets, brings an unprecedented interactive and conversational experience compared to previous image-level models. (1) Interaction beyond language: Users can interact with our model by both language and drawing bounding boxes to flexibly adjust the referring granularity. (2) Versatile multimodal abilities: A variety of attribute information within each RoI can be mined by GPT4RoI, e.g., color, shape, material, action, etc. Furthermore, it can reason about multiple RoIs based on common sense. On the Visual Commonsense Reasoning(VCR) dataset, GPT4RoI achieves a remarkable accuracy of 81.6%, surpassing all existing models by a significant margin (the second place is 75.6%) and almost reaching human-level performance of 85.0%. The code, dataset, and demo can be found at https://github.com/jshilong/GPT4RoI.
• Abstract（参考訳）: 画像とテキストのペアにおける大規模言語モデル(LLM)の視覚的チューニングは、汎用的な視覚言語能力を実現している。 しかし、領域文対の欠如は、その進歩を細かなマルチモーダル理解に制限する。 本稿では,この命令における関心領域(RoI)を参照する空間的命令チューニングを提案する。 LLMに送信する前に、参照はRoI機能に置き換えられ、シーケンスとして言語埋め込みとインターリーブされる。 我々のモデルであるGPT4RoIは、7つの領域テキストペアデータセットに基づいて訓練されており、従来の画像レベルモデルと比較して、前例のない対話的かつ会話的な体験をもたらす。 1) 言語以外のインタラクション: ユーザーは言語とバウンディングボックスの両方でモデルと対話し、参照粒度を柔軟に調整できる。 2) 多様なマルチモーダル能力:各RoI内の属性情報を GPT4RoI, eg, 色, 形状, 材料, 作用等によりマイニングすることができる。 さらに、常識に基づいて複数のRoIを推論することができる。 Visual Commonsense Reasoning(VCR)データセットでは、GPT4RoIは81.6%の精度を達成し、既存のモデル全てを大きく上回っている(第2位は75.6%)。 コード、データセット、デモはhttps://github.com/jshilong/GPT4RoIで見ることができる。

関連論文リスト

• Exploring Multiple Strategies to Improve Multilingual Coreference Resolution in CorefUD [0.0]
  本稿では,エンド・ツー・エンドのニューラル・コアス・リゾリューションシステムについて述べる。 まず、モノリンガルとクロスリンガルのバリエーションを含む強力なベースラインモデルを構築します。 多様な言語文脈における性能向上のためのいくつかの拡張を提案する。
  論文  参考訳（メタデータ） (2024-08-29T20:27:05Z)
• Fine-tuning multilingual language models in Twitter/X sentiment analysis: a study on Eastern-European V4 languages [0.0]
  未表現言語におけるTwitter/Xデータに基づくABSAサブタスクに着目した。 我々はロシアとウクライナに対する感情の分類のためにいくつかのLSMを微調整した。 いくつかのモデルは、Twitterのマルチ言語タスクにおいて、他のモデルよりもはるかにきめ細やかに調整可能であることを示す興味深い現象をいくつか報告している。
  論文  参考訳（メタデータ） (2024-08-04T14:35:30Z)
• Improving Low-resource Reading Comprehension via Cross-lingual Transposition Rethinking [0.9236074230806579]
  Extractive Reading (ERC)は、大規模で高品質なERCトレーニングデータの提供によって、大幅に進歩した。 このような急速な進歩と広範囲の応用にもかかわらず、英語のような高リソース言語以外の言語のデータセットは依然として不足している。 多言語環境において,既存の高品質抽出読解データセットをモデル化し,XLTT(Cross-Lingual Transposition ReThinking)モデルを提案する。
  論文  参考訳（メタデータ） (2021-07-11T09:35:16Z)
• Language and Visual Entity Relationship Graph for Agent Navigation [54.059606864535304]
  VLN(Vision-and-Language Navigation)は、エージェントが自然言語の指示に従って現実世界の環境をナビゲートする必要がある。 テキストと視覚間のモーダル関係をモデル化するための新しい言語とビジュアルエンティティ関係グラフを提案する。 実験によって、私たちは最先端技術よりも改善できる関係を利用しています。
  論文  参考訳（メタデータ） (2020-10-19T08:25:55Z)
• Room-Across-Room: Multilingual Vision-and-Language Navigation with Dense Spatiotemporal Grounding [75.03682706791389]
  新しいビジョン・アンド・ランゲージ・ナビゲーション(VLN)データセットであるRoom-Across-Room(RxR)を紹介する。 RxRは多言語(英語、ヒンディー語、テルグ語)で、他のVLNデータセットよりも大きい(パスと命令がより多い)。 これはVLNにおける言語の役割を強調し、パスにおける既知のバイアスに対処し、可視化されたエンティティへのより多くの参照を引き出す。
  論文  参考訳（メタデータ） (2020-10-15T18:01:15Z)
• Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision [110.66085917826648]
  我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。 語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。 これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
  論文  参考訳（メタデータ） (2020-10-14T02:11:51Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。