論文の概要: Insect-Foundation: A Foundation Model and Large Multimodal Dataset for Vision-Language Insect Understanding

• arxiv url: http://arxiv.org/abs/2502.09906v1
• Date: Fri, 14 Feb 2025 04:29:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:45:58.152803
• Title: Insect-Foundation: A Foundation Model and Large Multimodal Dataset for Vision-Language Insect Understanding
• Title（参考訳）: Insect-Foundation:Vision-Language Insect Understandingのための基盤モデルと大規模マルチモーダルデータセット
• Authors: Thanh-Dat Truong, Hoang-Quan Nguyen, Xuan-Bac Nguyen, Ashley Dowling, Xin Li, Khoa Luu,
• Abstract要約: 本稿では,昆虫ドメイン知識の視覚的理解を促進するために,新しい多モード対話モデルInsect-LLaVAを提案する。 提案したデータセットにより,昆虫の視覚的特徴と意味的特徴を理解することができる。 我々は,Patch-wise Relevant Attention(パッチワイド・レバレント・アテンション)機構を備えた,新しいマイクロ機能自己教師型学習を導入することで,Insect Foundation Modelを開発する。
• 参考スコア（独自算出の注目度）: 15.383106771910274
• License:
• Abstract: Multimodal conversational generative AI has shown impressive capabilities in various vision and language understanding through learning massive text-image data. However, current conversational models still lack knowledge about visual insects since they are often trained on the general knowledge of vision-language data. Meanwhile, understanding insects is a fundamental problem in precision agriculture, helping to promote sustainable development in agriculture. Therefore, this paper proposes a novel multimodal conversational model, Insect-LLaVA, to promote visual understanding in insect-domain knowledge. In particular, we first introduce a new large-scale Multimodal Insect Dataset with Visual Insect Instruction Data that enables the capability of learning the multimodal foundation models. Our proposed dataset enables conversational models to comprehend the visual and semantic features of the insects. Second, we propose a new Insect-LLaVA model, a new general Large Language and Vision Assistant in Visual Insect Understanding. Then, to enhance the capability of learning insect features, we develop an Insect Foundation Model by introducing a new micro-feature self-supervised learning with a Patch-wise Relevant Attention mechanism to capture the subtle differences among insect images. We also present Description Consistency loss to improve micro-feature learning via text descriptions. The experimental results evaluated on our new Visual Insect Question Answering benchmarks illustrate the effective performance of our proposed approach in visual insect understanding and achieve State-of-the-Art performance on standard benchmarks of insect-related tasks.
• Abstract（参考訳）: マルチモーダルな会話生成AIは、大量のテキストイメージデータを学習することで、様々な視覚と言語理解において印象的な能力を示している。 しかしながら、現在の会話モデルは、視覚言語データに関する一般的な知識に基づいて訓練されることが多いため、視覚昆虫に関する知識を欠いている。 一方、昆虫を理解することは精密農業の基本的な問題であり、農業の持続可能な発展を促進するのに役立つ。 そこで本研究では,昆虫ドメイン知識の視覚的理解を促進するために,新しい多モード対話モデルInsect-LLaVAを提案する。 特に,我々はまず,大規模マルチモーダル・インストラクション・データセットとVisual Insect Instruction Dataを導入し,マルチモーダル・ファンデーション・モデルの学習を可能にする。 提案したデータセットにより,昆虫の視覚的特徴と意味的特徴を理解することができる。 第2に、視覚的昆虫理解のための新しい汎用言語と視覚アシスタントであるInsect-LLaVAモデルを提案する。 そこで,昆虫の特徴を学習する能力を高めるため,昆虫画像の微妙な違いを捉えるために,パッチワイズ関連注意機構を備えた,新しいマイクロ機能自己教師型学習を導入したInsect Foundation Modelを開発した。 また、テキスト記述による微動学習を改善するために、記述一貫性損失を提示する。 新しい視覚昆虫質問回答ベンチマークで評価した実験結果は、視覚昆虫理解における提案手法の有効性を実証し、昆虫関連タスクの標準ベンチマーク上でのStand-of-the-Artパフォーマンスを実現する。

関連論文リスト

• Is A Picture Worth A Thousand Words? Delving Into Spatial Reasoning for Vision Language Models [37.44286562901589]
  本研究では,空間推論の多様な側面をカバーする新しいベンチマークであるSpatialEvalを提案する。 我々は、競合する言語と視覚言語モデルを総合的に評価する。 文献で見過ごされてきたいくつかの反直感的な洞察が明らかとなった。
  論文  参考訳（メタデータ） (2024-06-21T03:53:37Z)
• Veagle: Advancements in Multimodal Representation Learning [0.0]
  本稿では,既存モデルのマルチモーダル能力を向上するための新しいアプローチを提案する。 提案したモデルであるVeagleは、以前の作品の成功と洞察にインスパイアされたユニークなメカニズムを取り入れています。 以上の結果から,Veagleは既存のモデルよりも優れた性能を示し,性能は5-6%向上した。
  論文  参考訳（メタデータ） (2024-01-18T12:45:25Z)
• Insect-Foundation: A Foundation Model and Large-scale 1M Dataset for Visual Insect Understanding [15.383106771910274]
  現在のマシンビジョンモデルは、高性能を達成するために大量のデータを必要とする。 Insect-1M"データセットは,昆虫に関する基礎モデルトレーニングに革命をもたらすことを意図したゲーム変更リソースである。 私たちのデータセットは、昆虫の幅広い範囲をカバーしており、100万枚の画像を含む分類分類階層と昆虫の記載の密度の高い識別ラベルは、昆虫学のパノラマ的なビューを提供する。
  論文  参考訳（メタデータ） (2023-11-26T06:17:29Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• Deep learning powered real-time identification of insects using citizen science data [17.13608307250744]
  InsectNetは、侵入した種を識別し、きめ細かい昆虫種を識別し、挑戦的な背景において効果的に働く。 また、不確実な場合には予測を控え、シームレスな人間の介入を助長し、実用的で信頼できるツールにもなれる。
  論文  参考訳（メタデータ） (2023-06-04T23:56:53Z)
• Localization vs. Semantics: Visual Representations in Unimodal and Multimodal Models [57.08925810659545]
  既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。 我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。 我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
  論文  参考訳（メタデータ） (2022-12-01T05:00:18Z)
• SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for Few-shot Image Classification [84.05253637260743]
  本稿では,セマンティック誘導視覚適応(SgVA)と呼ばれる新しいフレームワークを提案する。 SgVAは、視覚特異的のコントラスト損失、クロスモーダルのコントラスト損失、暗黙の知識蒸留を包括的に利用することで、識別的なタスク固有の視覚特徴を生成する。 13のデータセットの最先端の結果は、適応された視覚的特徴が、クロスモーダルな特徴を補完し、少数の画像分類を改善することを実証している。
  論文  参考訳（メタデータ） (2022-11-28T14:58:15Z)
• DiMBERT: Learning Vision-Language Grounded Representations with Disentangled Multimodal-Attention [101.99313208598569]
  視覚と言語(V-L)タスクは、視覚内容と自然言語の両方を理解する必要がある。 視覚と言語に対する注意空間を分離したDiMBERT(Disentangled Multimodal-Attention BERT)を提案する。 DiMBERTは3つのタスクに対して最新のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-10-28T23:00:40Z)
• Flamingo: a Visual Language Model for Few-Shot Learning [95.88782798074314]
  この機能を備えたビジュアル言語モデル(VLM)のファミリーであるFlamingoを紹介します。 柔軟性のおかげで、Flamingoモデルは大規模なマルチモーダルWebコーパスでトレーニングできる。 一つのFlamingoモデルが、数ショットの学習で新しい最先端の技術を実現できることを実証する。
  論文  参考訳（メタデータ） (2022-04-29T16:29:01Z)
• VidLanKD: Improving Language Understanding via Video-Distilled Knowledge Transfer [76.3906723777229]
  言語理解を改善するためのビデオ言語知識蒸留法VidLanKDを提案する。 我々は、ビデオテキストデータセット上でマルチモーダル教師モデルを訓練し、その知識をテキストデータセットを用いて学生言語モデルに伝達する。 我々の実験では、VidLanKDはテキストのみの言語モデルや発声モデルよりも一貫した改善を実現している。
  論文  参考訳（メタデータ） (2021-07-06T15:41:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。