論文の概要: Multimodal Structured Generation: CVPR's 2nd MMFM Challenge Technical Report

• arxiv url: http://arxiv.org/abs/2406.11403v1
• Date: Mon, 17 Jun 2024 10:45:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 15:11:33.224378
• Title: Multimodal Structured Generation: CVPR's 2nd MMFM Challenge Technical Report
• Title（参考訳）: CVPR第2回MMFMチャレンジ技術報告
• Authors: Franz Louis Cesista,
• Abstract要約: MMFM(Multimodal Foundation Models)は、様々なコンピュータビジョンや自然言語処理タスクにおいて顕著な性能を示す。 従来のユニモーダルモデルに比べて微調整やデプロイには、計算量、時間、エンジニアリングリソースがもっと必要になります。 本稿では,凍結MMFMの出力ロジットを制限する汎用フレームワークであるMultimodal Structured Generationを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Foundation Models (MMFMs) have shown remarkable performance on various computer vision and natural language processing tasks. However, their performance on particular tasks such as document understanding is still limited. They also require more compute, time, and engineering resources to finetune and deploy compared to traditional, unimodal models. In this report, we present Multimodal Structured Generation, a general framework which constrains the output logits of frozen MMFMs to force them to reason before responding with structured outputs that downstream APIs can parse and use. We provide a detailed account of our approach, including the technical details, theoretical discussions, and final evaluation results in the 2nd Multimodal Foundation Models Challenge hosted by the Computer Vision and Pattern Recognition (CVPR) conference. Our approach achieved the second highest score in the hidden test set for Phase 2 and third highest overall. This shows the method's ability to generalize to unseen tasks. And that simple engineering can beat expensive & complicated modelling steps as we first discussed in our paper, Retrieval Augmented Structured Generation: Business Document Information Extraction as Tool Use. All of our scripts, deployment steps, and evaluation results can be accessed in https://github.com/leloykun/MMFM-Challenge
• Abstract（参考訳）: MMFM(Multimodal Foundation Models)は、様々なコンピュータビジョンや自然言語処理タスクにおいて顕著な性能を示す。 しかし、文書理解のような特定のタスクにおけるパフォーマンスはまだ限られている。 また、従来のユニモーダルモデルと比較して微調整やデプロイには、計算量、時間、エンジニアリングリソースも必要です。 本稿では,凍結MMFMの出力ロジットを制限する汎用フレームワークであるMultimodal Structured Generationについて述べる。 CVPR(Computer Vision and Pattern Recognition)会議が主催する第2回Multimodal Foundation Models Challengeにおいて、技術的詳細、理論的議論、最終評価結果など、我々のアプローチの詳細な説明を行う。 我々のアプローチは第2相と第3相の隠れテストセットで2番目に高いスコアを獲得しました。 これは、メソッドが見えないタスクに一般化する能力を示している。 私たちの論文であるRetrieval Augmented Structured Generation: Business Document Information extract as Tool Useで最初に論じたように、シンプルなエンジニアリングは高価で複雑なモデリングステップを上回ることができます。 私たちのスクリプト、デプロイメントステップ、評価結果は、https://github.com/leloykun/MMFM-Challengeでアクセスできます。

関連論文リスト

• MIO: A Foundation Model on Multimodal Tokens [74.85153216521945]
  マルチモーダルトークン上に構築された新しい基礎モデルMIOを紹介する。 MIOは、エンドツーエンドの自己回帰的な方法で、音声、テキスト、画像、ビデオを理解し、生成することができる。
  論文  参考訳（メタデータ） (2024-09-26T09:57:16Z)
• Variational Information Pursuit with Large Language and Multimodal Models for Interpretable Predictions [9.07837207208113]
  変分情報探索 (V-IP) は、設計によって解釈可能な予測を行うためのフレームワークである。 任意のタスクにV-IPを適用するには、ドメインの専門家による密集した概念ラベル付きデータサンプルが必要である。 我々は、この制限に対処するために、FM(Foundational Models)でV-IPフレームワークを拡張します。
  論文  参考訳（メタデータ） (2023-08-24T05:04:10Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)
• Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
  Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。 生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-05-29T05:20:38Z)
• Visual Programming for Text-to-Image Generation and Evaluation [73.12069620086311]
  テキスト・トゥ・イメージ(T2I)生成と評価のための2つの新しい解釈可能・説明可能なビジュアル・プログラミング・フレームワークを提案する。 まず,T2I生成をオブジェクト/カウント生成,レイアウト生成,画像生成という3つのステップに分解する,解釈可能なステップバイステップT2I生成フレームワークであるVPGenを紹介する。 第2に、視覚プログラミングに基づくT2I生成のための解釈可能かつ説明可能な評価フレームワークであるVPEvalを紹介する。
  論文  参考訳（メタデータ） (2023-05-24T16:42:17Z)
• Information Screening whilst Exploiting! Multimodal Relation Extraction with Feature Denoising and Multimodal Topic Modeling [96.75821232222201]
  既存のマルチモーダル関係抽出(MRE)研究は、内部情報過剰利用と外部情報過多という2つの共存課題に直面している。 内部情報スクリーニングと外部情報活用を同時に実現する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-19T14:56:57Z)
• MulT: An End-to-End Multitask Learning Transformer [66.52419626048115]
  我々はMulTと呼ばれるエンドツーエンドのマルチタスク学習トランスフォーマフレームワークを提案し、複数のハイレベル視覚タスクを同時に学習する。 本フレームワークは,入力画像を共有表現にエンコードし,タスク固有のトランスフォーマーベースのデコーダヘッドを用いて各視覚タスクの予測を行う。
  論文  参考訳（メタデータ） (2022-05-17T13:03:18Z)
• Long-Span Dependencies in Transformer-based Summarization Systems [38.672160430296536]
  トランスフォーマティブベースのモデルは、文書要約を含む幅広い自然言語処理(nlp)タスクで最先端の結果を達成している。 これらのトランスベースのモデルの1つの問題は、入力長が増加するにつれてメモリと計算要件の点でうまくスケールしないことである。 本研究では,事前学習された大規模トランスフォーマーモデルを用いて,抽象的要約における長大な依存関係に対処する。
  論文  参考訳（メタデータ） (2021-05-08T23:53:03Z)
• VAULT: VAriable Unified Long Text Representation for Machine Reading Comprehension [31.639069657951747]
  機械読取の既存のモデルは、段落表現と分類で長いテキストをモデル化するために複雑なモデルアーキテクチャを必要とする。 長文入力からの文脈化表現に基づく,MDC の軽量かつ並列効率なパラメタ表現 VAULT を提案する。
  論文  参考訳（メタデータ） (2021-05-07T13:03:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。