論文の概要: Solution for SMART-101 Challenge of CVPR Multi-modal Algorithmic Reasoning Task 2024

• arxiv url: http://arxiv.org/abs/2406.05963v1
• Date: Mon, 10 Jun 2024 01:45:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 15:16:08.449967
• Title: Solution for SMART-101 Challenge of CVPR Multi-modal Algorithmic Reasoning Task 2024
• Title（参考訳）: CVPRマルチモーダルアルゴリズム推論タスク2024のSMART-101への挑戦
• Authors: Jinwoo Ahn, Junhyeok Park, Min-Jun Kim, Kang-Hyeon Kim, So-Yeong Sohn, Yun-Ji Lee, Du-Seong Chang, Yu-Jung Heo, Eun-Sol Kim,
• Abstract要約: 本稿では,HYU MLLAB KT Team のマルチモーダルアルゴリズム推論タスク SMART-101 CVPR 2024 Challenge に対する解を提案する。 この課題は,6～8歳児を対象とした複雑な視覚言語パズルに取り組むことで,人間レベルのマルチモーダル理解を実現することを目的としている。 パズル分割構成では,テストセットで29.5のオプション選択精度Oacc,チャレンジセットで27.1の重み付きオプション選択精度(WOSA)を達成した。
• 参考スコア（独自算出の注目度）: 8.588965648810483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, the solution of HYU MLLAB KT Team to the Multimodal Algorithmic Reasoning Task: SMART-101 CVPR 2024 Challenge is presented. Beyond conventional visual question-answering problems, the SMART-101 challenge aims to achieve human-level multimodal understanding by tackling complex visio-linguistic puzzles designed for children in the 6-8 age group. To solve this problem, we suggest two main ideas. First, to utilize the reasoning ability of a large-scale language model (LLM), the given visual cues (images) are grounded in the text modality. For this purpose, we generate highly detailed text captions that describe the context of the image and use these captions as input for the LLM. Second, due to the nature of puzzle images, which often contain various geometric visual patterns, we utilize an object detection algorithm to ensure these patterns are not overlooked in the captioning process. We employed the SAM algorithm, which can detect various-size objects, to capture the visual features of these geometric patterns and used this information as input for the LLM. Under the puzzle split configuration, we achieved an option selection accuracy Oacc of 29.5 on the test set and a weighted option selection accuracy (WOSA) of 27.1 on the challenge set.
• Abstract（参考訳）: 本稿では,HYU MLLAB KT Teamのマルチモーダルアルゴリズム推論タスクに対する解であるSMART-101 CVPR 2024 Challengeについて述べる。 SMART-101チャレンジは、従来の視覚的質問応答問題以外にも、6-8歳児を対象とした複雑な視覚言語パズルに取り組むことで、人間レベルのマルチモーダル理解を実現することを目的としている。 この問題を解決するために、我々は2つの主要な考えを提案する。 まず、大規模言語モデル(LLM)の推論能力を利用するために、与えられた視覚的手がかり(画像)は、テキストのモダリティに基礎を置いている。 この目的のために、画像のコンテキストを記述した高精細なテキストキャプションを生成し、これらのキャプションをLSMの入力として使用する。 第二に、様々な幾何学的視覚パターンを含むパズル画像の性質から、これらのパターンがキャプションの過程で見過ごされないようにオブジェクト検出アルゴリズムを利用する。 様々な大きさの物体を検出できるSAMアルゴリズムを用いて,これらの幾何学的パターンの視覚的特徴を抽出し,この情報をLLMの入力として利用した。 パズル分割構成では,テストセットで29.5のオプション選択精度Oacc,チャレンジセットで27.1の重み付きオプション選択精度(WOSA)を達成した。

関連論文リスト

• FTII-Bench: A Comprehensive Multimodal Benchmark for Flow Text with Image Insertion [7.322448493179106]
  Flow Text with Image Insertion Taskでは、LVLMは画像理解、命令理解、長文解釈において優れた能力を持つ必要がある。 318の高品質な中国語画像テキストニュース記事と307の高品質な英語画像テキストニュース記事を含む、画像挿入ベンチマーク付きフローテキスト(FTII-Bench)を導入し、10の異なるニュースドメインをカバーする。 9つのオープンソースと2つのクローズドソースのLVLMと2つのCLIPベースのモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-16T13:38:31Z)
• Leopard: A Vision Language Model For Text-Rich Multi-Image Tasks [62.758680527838436]
  Leopardは、複数のテキストリッチイメージを含む視覚言語タスクを扱うビジョン言語モデルである。 まず、テキストリッチでマルチイメージのシナリオに合わせて、約100万の高品質なマルチモーダル命令チューニングデータをキュレートした。 第2に,視覚列長の割り当てを動的に最適化する適応型高解像度マルチイメージ符号化モジュールを開発した。
  論文  参考訳（メタデータ） (2024-10-02T16:55:01Z)
• Large Language Models for Multimodal Deformable Image Registration [50.91473745610945]
  そこで本研究では,様々な医用画像からの深い特徴の整合を図るために,新しい粗いMDIRフレームワークLLM-Morphを提案する。 具体的には、まずCNNエンコーダを用いて、クロスモーダル画像ペアから深い視覚的特徴を抽出し、次に、最初のアダプタを使ってこれらのトークンを調整する。 第3に、トークンのアライメントのために、他の4つのアダプタを使用して、LLM符号化トークンをマルチスケールの視覚特徴に変換し、マルチスケールの変形場を生成し、粗いMDIRタスクを容易にする。
  論文  参考訳（メタデータ） (2024-08-20T09:58:30Z)
• VEGA: Learning Interleaved Image-Text Comprehension in Vision-Language Large Models [76.94378391979228]
  我々は、Interleaved Image-Text (IITC) と呼ばれる、より要求の多い新しいタスクを導入する。 この課題は、画像とテキストの両方の過剰な要素を識別・無視し、質問に正確に答えるためにモデルに挑戦する。 このタスクを支援するために、科学コンテンツに関するIITCタスクに適した新しいVEGAデータセットを構築し、サブタスクである画像テキストアソシエーション(ITA)を考案した。
  論文  参考訳（メタデータ） (2024-06-14T17:59:40Z)
• Integrating Text and Image Pre-training for Multi-modal Algorithmic Reasoning [7.84845040922464]
  本稿では,CVPRマルチモーダルアルゴリズム推論タスク2024におけるSMART-101の課題について述べる。 従来の視覚的な質問や回答タスクとは異なり、この課題はニューラルネットワークの抽象化、推論、一般化能力を評価する。 本モデルは,テキストと画像からそれぞれ特徴を抽出する2つの事前学習モデルに基づく。
  論文  参考訳（メタデータ） (2024-06-08T01:45:06Z)
• MouSi: Poly-Visual-Expert Vision-Language Models [132.58949014605477]
  本稿では,個々の視覚エンコーダの能力の相乗化にアンサンブルエキスパート技術を用いることを提案する。 この技術は、異なる視覚専門家の出力の処理を統一する融合ネットワークを導入する。 本実装では,SAMなどのモデルにおける位置占有率を,実質的な4096からより効率的で管理可能な64,さらには1。
  論文  参考訳（メタデータ） (2024-01-30T18:09:11Z)
• Solution for SMART-101 Challenge of ICCV Multi-modal Algorithmic Reasoning Task 2023 [13.326745559876558]
  本稿では,マルチモーダルなアルゴリズム推論タスクSMART-101 Challengeを提案する。 この課題は、視覚言語パズルの解法におけるニューラルネットワークの抽象化、推論、一般化能力を評価する。 パズル分割構成では、検証セットで26.5、プライベートテストセットで24.30の精度スコアを得た。
  論文  参考訳（メタデータ） (2023-10-10T09:12:27Z)
• Exploring Multi-Modal Representations for Ambiguity Detection & Coreference Resolution in the SIMMC 2.0 Challenge [60.616313552585645]
  会話型AIにおける効果的なあいまいさ検出と参照解決のためのモデルを提案する。 具体的には,TOD-BERTとLXMERTをベースとしたモデルを用いて,多数のベースラインと比較し,アブレーション実験を行う。 以上の結果から,(1)言語モデルでは曖昧さを検出するためにデータの相関を活用でき,(2)言語モデルではビジョンコンポーネントの必要性を回避できることがわかった。
  論文  参考訳（メタデータ） (2022-02-25T12:10:02Z)
• Two-stage Visual Cues Enhancement Network for Referring Image Segmentation [89.49412325699537]
  Referring Image (RIS)は、ある自然言語表現によって参照される画像から対象のオブジェクトをセグメント化することを目的としている。 本稿では,2段階のビジュアルキュー拡張ネットワーク(TV-Net)を考案し,この問題に対処する。 この2段階の強化により,提案するTV-Netは,自然言語表現と画像間のきめ細かいマッチング動作の学習において,より優れた性能を享受できる。
  論文  参考訳（メタデータ） (2021-10-09T02:53:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。