論文の概要: GPT4RoI: Instruction Tuning Large Language Model on Region-of-Interest

• arxiv url: http://arxiv.org/abs/2307.03601v2
• Date: Fri, 13 Oct 2023 03:25:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 17:27:09.066967
• Title: GPT4RoI: Instruction Tuning Large Language Model on Region-of-Interest
• Title（参考訳）: GPT4RoI: 関心領域に基づく大規模言語モデルの学習
• Authors: Shilong Zhang, Peize Sun, Shoufa Chen, Min Xiao, Wenqi Shao, Wenwei Zhang, Yu Liu, Kai Chen, Ping Luo
• Abstract要約: 本稿では,空間的命令チューニングを提案し,その命令における関心領域(RoI)を参照することを提案する。 我々のモデルであるGPT4RoIは、7つのリージョンテキストペアデータセットに基づいて訓練されており、前例のない対話的かつ対話的な体験をもたらす。
• 参考スコア（独自算出の注目度）: 53.62745462528879
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual instruction tuning large language model(LLM) on image-text pairs has achieved general-purpose vision-language abilities. However, the lack of region-text pairs limits their advancements to fine-grained multimodal understanding. In this paper, we propose spatial instruction tuning, which introduces the reference to the region-of-interest(RoI) in the instruction. Before sending to LLM, the reference is replaced by RoI features and interleaved with language embeddings as a sequence. Our model GPT4RoI, trained on 7 region-text pair datasets, brings an unprecedented interactive and conversational experience compared to previous image-level models. (1) Interaction beyond language: Users can interact with our model by both language and drawing bounding boxes to flexibly adjust the referring granularity. (2) Versatile multimodal abilities: A variety of attribute information within each RoI can be mined by GPT4RoI, e.g., color, shape, material, action, etc. Furthermore, it can reason about multiple RoIs based on common sense. On the Visual Commonsense Reasoning(VCR) dataset, GPT4RoI achieves a remarkable accuracy of 81.6%, surpassing all existing models by a significant margin (the second place is 75.6%) and almost reaching human-level performance of 85.0%. The code, dataset, and demo can be found at https://github.com/jshilong/GPT4RoI.
• Abstract（参考訳）: 画像テキストペアで大言語モデル(llm)をチューニングするビジュアル命令は、汎用視覚言語能力を達成している。 しかし、領域文対の欠如は、その進歩を細かなマルチモーダル理解に制限する。 本稿では,この命令における関心領域(RoI)を参照する空間的命令チューニングを提案する。 LLMに送信する前に、参照はRoI機能に置き換えられ、シーケンスとして言語埋め込みとインターリーブされる。 我々のモデルであるGPT4RoIは、7つの領域テキストペアデータセットに基づいて訓練されており、従来の画像レベルモデルと比較して、前例のない対話的かつ会話的な体験をもたらす。 1) 言語を超えたインタラクション: ユーザは言語と境界ボックスの描画の両方でモデルと対話でき、参照の粒度を柔軟に調整できます。 2)多彩なマルチモーダル能力:各roi内のさまざまな属性情報をgpt4roi(例えば色、形状、材料、動作など)によってマイニングすることができる。 さらに、常識に基づいて複数のRoIを推論することができる。 visual commonsense reasoning(vcr)データセットでは、gpt4roiは81.6%という驚くべき精度を達成し、既存の全てのモデルを大きく上回り(第2位は75.6%)、ほぼ人間レベルのパフォーマンス85.0%に達した。 コード、データセット、デモはhttps://github.com/jshilong/gpt4roiで見ることができる。

関連論文リスト

• Fine-tuning multilingual language models in Twitter/X sentiment analysis: a study on Eastern-European V4 languages [0.0]
  未表現言語におけるTwitter/Xデータに基づくABSAサブタスクに着目した。 我々はロシアとウクライナに対する感情の分類のためにいくつかのLSMを微調整した。 いくつかのモデルは、Twitterのマルチ言語タスクにおいて、他のモデルよりもはるかにきめ細やかに調整可能であることを示す興味深い現象をいくつか報告している。
  論文  参考訳（メタデータ） (2024-08-04T14:35:30Z)
• M2-Encoder: Advancing Bilingual Image-Text Understanding by Large-scale Efficient Pretraining [26.262677587795242]
  我々は、60億以上の画像テキストペアを持つ包括的バイリンガルデータセットBM-6Bを導入する。 このようなデータセットのスケールを扱うために,画像テキストのコントラッシブな損失計算のためのグループ集約手法を提案する。 BM-6B上での細粒度理解能力を向上したバイリンガル画像テキスト基盤モデルの事前訓練を行う。
  論文  参考訳（メタデータ） (2024-01-29T05:43:33Z)
• Improving Low-resource Reading Comprehension via Cross-lingual Transposition Rethinking [0.9236074230806579]
  Extractive Reading (ERC)は、大規模で高品質なERCトレーニングデータの提供によって、大幅に進歩した。 このような急速な進歩と広範囲の応用にもかかわらず、英語のような高リソース言語以外の言語のデータセットは依然として不足している。 多言語環境において,既存の高品質抽出読解データセットをモデル化し,XLTT(Cross-Lingual Transposition ReThinking)モデルを提案する。
  論文  参考訳（メタデータ） (2021-07-11T09:35:16Z)
• Language and Visual Entity Relationship Graph for Agent Navigation [54.059606864535304]
  VLN(Vision-and-Language Navigation)は、エージェントが自然言語の指示に従って現実世界の環境をナビゲートする必要がある。 テキストと視覚間のモーダル関係をモデル化するための新しい言語とビジュアルエンティティ関係グラフを提案する。 実験によって、私たちは最先端技術よりも改善できる関係を利用しています。
  論文  参考訳（メタデータ） (2020-10-19T08:25:55Z)
• Room-Across-Room: Multilingual Vision-and-Language Navigation with Dense Spatiotemporal Grounding [75.03682706791389]
  新しいビジョン・アンド・ランゲージ・ナビゲーション(VLN)データセットであるRoom-Across-Room(RxR)を紹介する。 RxRは多言語(英語、ヒンディー語、テルグ語)で、他のVLNデータセットよりも大きい(パスと命令がより多い)。 これはVLNにおける言語の役割を強調し、パスにおける既知のバイアスに対処し、可視化されたエンティティへのより多くの参照を引き出す。
  論文  参考訳（メタデータ） (2020-10-15T18:01:15Z)
• Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision [110.66085917826648]
  我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。 語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。 これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
  論文  参考訳（メタデータ） (2020-10-14T02:11:51Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。