論文の概要: All in an Aggregated Image for In-Image Learning

• arxiv url: http://arxiv.org/abs/2402.17971v2
• Date: Tue, 2 Apr 2024 09:32:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 08:29:27.828150
• Title: All in an Aggregated Image for In-Image Learning
• Title（参考訳）: 画像内学習のための集約画像のすべて
• Authors: Lei Wang, Wanyu Xu, Zhiqiang Hu, Yihuai Lan, Shan Dong, Hao Wang, Roy Ka-Wei Lee, Ee-Peng Lim,
• Abstract要約: 本稿では,In-Image Learning (I$2$L) と呼ばれる新しいコンテキスト内学習(ICL)機構を提案する。 I$2$Lは、実演例、視覚的手がかり、思考の連鎖的推論を集約されたイメージに組み合わせている。 本研究では,MathVista 上で I$2$L と I$2$L-Hybrid の有効性を評価するための広範囲な実験を行った。
• 参考スコア（独自算出の注目度）: 22.605706711147405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces a new in-context learning (ICL) mechanism called In-Image Learning (I$^2$L) that combines demonstration examples, visual cues, and chain-of-thought reasoning into an aggregated image to enhance the capabilities of Large Multimodal Models (e.g., GPT-4V) in multimodal reasoning tasks. Unlike previous approaches that rely on converting images to text or incorporating visual input into language models, I$^2$L consolidates all information into an aggregated image and leverages image processing, understanding, and reasoning abilities. This has several advantages: it reduces inaccurate textual descriptions of complex images, provides flexibility in positioning demonstration examples, and avoids multiple input images and lengthy prompts. We also introduce I$^2$L-Hybrid, a method that combines the strengths of I$^2$L with other ICL methods. Specifically, it uses an automatic strategy to select the most suitable method (I$^2$L or another certain ICL method) for a specific task instance. We conduct extensive experiments to assess the effectiveness of I$^2$L and I$^2$L-Hybrid on MathVista, which covers a variety of complex multimodal reasoning tasks. Additionally, we investigate the influence of image resolution, the number of demonstration examples in a single image, and the positions of these demonstrations in the aggregated image on the effectiveness of I$^2$L. Our code is publicly available at https://github.com/AGI-Edgerunners/IIL.
• Abstract（参考訳）: 本稿では,複数モーダル推論タスクにおける大規模マルチモーダルモデル(GPT-4V)の能力を高めるために,実例,視覚的手がかり,チェーン・オブ・シント推論を集約画像に組み合わせた,画像内学習(I$^2$L)機構を提案する。 画像のテキスト変換や視覚入力を言語モデルに組み込む従来のアプローチとは異なり、I$^2$Lは全ての情報を集約された画像に集約し、画像処理、理解、推論能力を活用する。 これは、複雑な画像の不正確なテキスト記述を減らし、デモ例の位置決めの柔軟性を提供し、複数の入力画像と長いプロンプトを避けるという、いくつかの利点がある。 また、I$^2$L-Hybridは、I$^2$Lの強みを他のICL法と組み合わせた手法である。 具体的には、特定のタスクインスタンスに対して最も適切なメソッド(I$^2$Lなど)を選択するために、自動戦略を使用する。 我々は、様々な複雑なマルチモーダル推論タスクをカバーするMathVista上で、I$^2$LとI$^2$L-Hybridの有効性を評価するための広範な実験を行う。 さらに,画像の解像度,1枚の画像における実演回数,および集約画像におけるこれらの実演の位置がI$^2$Lの有効性に与える影響について検討した。 私たちのコードはhttps://github.com/AGI-Edgerunners/IILで公開されています。

関連論文リスト

• $\mathbb{X}$-Sample Contrastive Loss: Improving Contrastive Learning with Sample Similarity Graphs [62.565573316667276]
  サンプルが他者とどのように関連しているかを符号化する目的を開発する。 クラスやテキストのキャプション記述における類似性に基づいて視覚モデルを訓練する。 我々の目標は、特に低いデータ体制でうまく機能しているようで、CLIPが16.8%、ImageNet Realが18.1%だった。
  論文  参考訳（メタデータ） (2024-07-25T15:38:16Z)
• Analogist: Out-of-the-box Visual In-Context Learning with Image Diffusion Model [25.47573567479831]
  本稿では,視覚とテキストの両方のプロンプト技術を利用した新しい推論に基づく視覚的ICL手法を提案する。 提案手法はアウト・オブ・ボックスであり,微調整や最適化は不要である。
  論文  参考訳（メタデータ） (2024-05-16T17:59:21Z)
• $Se^2$: Sequential Example Selection for In-Context Learning [83.17038582333716]
  インコンテキスト学習(ICL)のための大規模言語モデル(LLM)は、実演例によって起動する必要がある。 以前の研究は、主に"select then organize"パラダイムに従って、ICLの例の選択を幅広く検討してきた。 本稿では,この問題を$Se$quential $Se$lection問題として定式化し,シーケンシャル・アウェア法である$Se2$を導入する。
  論文  参考訳（メタデータ） (2024-02-21T15:35:04Z)
• M$^{2}$Chat: Empowering VLM for Multimodal LLM Interleaved Text-Image Generation [45.79215260916687]
  textbf$M2Chat$は、インターリーブされたテキストイメージの会話を生成するための新しい統合マルチモーダルLLMフレームワークである。 M3Adapter$は、マルチモーダルプロンプトから、粒度の低い視覚情報と高レベルのセマンティック機能を統合する。 M3FT$ fine-tuning strategy イメージテキストアライメントとビジュアルインストラクションのために、パラメータの分離したグループを最適化する。
  論文  参考訳（メタデータ） (2023-11-29T11:30:33Z)
• Lightweight In-Context Tuning for Multimodal Unified Models [57.10831399642176]
  MultiModal In-conteXt Tuning (M$2$IXT)は、マルチモーダル統一モデルのICL機能を強化する軽量モジュールである。 最大50Kのマルチモーダルデータをチューニングすると、M$2$IXTは数ショットのICL性能を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-10-08T10:47:24Z)
• ELIP: Efficient Language-Image Pre-training with Fewer Vision Tokens [75.09406436851445]
  本稿では,言語出力の監督による影響の少ないトークンを除去するために,視覚トークンのプルーニングとマージ手法ELIPを提案する。 実験により、12層のViT層に30$%のビジョントークンが削除されたことにより、ELIPは著しく同等のパフォーマンスを維持した。
  論文  参考訳（メタデータ） (2023-09-28T05:31:07Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Annotation Cost Efficient Active Learning for Content Based Image Retrieval [1.6624384368855525]
  アノテーションコスト効率のよいアクティブラーニング(AL)手法(ANNEAL)を提案する。 提案手法は、最も情報性の高い画像対を類似または異種として注釈付けすることにより、トレーニングセットを反復的に強化することを目的としている。 ANNEALのコードはhttps://git.tu-berlin.de/rsim/ANNEALで公開されている。
  論文  参考訳（メタデータ） (2023-06-20T15:33:24Z)
• Multimodality Helps Unimodality: Cross-Modal Few-Shot Learning with Multimodal Models [69.31424345583537]
  人間はクロスモーダル情報を使って、新しい概念を効率的に学習する。 犬について読んだり、バークを聴いたりすることで、より優れた$bfビジュアルの犬分類器を構築できることを示す。 我々は、最初の(知識のために)オーディオヴィジュアルな数ショットのベンチマークを構築し、画像分類と音声分類の両方の性能を向上させるために、クロスモーダルトレーニングを使用する。
  論文  参考訳（メタデータ） (2023-01-16T05:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。