論文の概要: Classifying Shelf Life Quality of Pineapples by Combining Audio and Visual Features

• arxiv url: http://arxiv.org/abs/2505.11020v1
• Date: Fri, 16 May 2025 09:14:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:14.464667
• Title: Classifying Shelf Life Quality of Pineapples by Combining Audio and Visual Features
• Title（参考訳）: 音響特徴と視覚特徴を組み合わせたパイナップルのシェルフライフクオリティの分類
• Authors: Yi-Lu Jiang, Wen-Chang Chang, Ching-Lin Wang, Kung-Liang Hsu, Chih-Yi Chiu,
• Abstract要約: マルチモーダル・マルチビュー分類モデルを構築し,音質と視覚特性に基づいて,パイナップルを4つの品質レベルに分類した。 対向的な音響視覚マスク付きオートエンコーダを改良し,クロスモーダル分類モデルを訓練した。 実験は様々なデータおよびモデル構成で評価され,提案したクロスモーダルモデルにより84%の精度が得られた。
• 参考スコア（独自算出の注目度）: 1.7685947618629572
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Determining the shelf life quality of pineapples using non-destructive methods is a crucial step to reduce waste and increase income. In this paper, a multimodal and multiview classification model was constructed to classify pineapples into four quality levels based on audio and visual characteristics. For research purposes, we compiled and released the PQC500 dataset consisting of 500 pineapples with two modalities: one was tapping pineapples to record sounds by multiple microphones and the other was taking pictures by multiple cameras at different locations, providing multimodal and multi-view audiovisual features. We modified the contrastive audiovisual masked autoencoder to train the cross-modal-based classification model by abundant combinations of audio and visual pairs. In addition, we proposed to sample a compact size of training data for efficient computation. The experiments were evaluated under various data and model configurations, and the results demonstrated that the proposed cross-modal model trained using audio-major sampling can yield 84% accuracy, outperforming the unimodal models of only audio and only visual by 6% and 18%, respectively.
• Abstract（参考訳）: 非破壊的手法によるパイナップルの棚の生活品質決定は, 無駄を減らし, 収入を増やすための重要なステップである。 本稿では,マルチモーダル・マルチビュー分類モデルを構築し,音質と視覚特性に基づいて,パイナップルを4つの品質レベルに分類した。 研究目的のために,複数のマイクで音を録音するためにパイナップルをタップするPQC500データセットと,異なる場所で複数のカメラで写真を撮影するPQC500データセットを作成した。 音声と視覚の組み合わせを豊富に組み合わせて、モーダル分類モデルを訓練するために、コントラッシブな視覚マスク付きオートエンコーダを改良した。 さらに、効率的な計算を行うための訓練データのコンパクトなサイズをサンプルとして提案する。 実験は様々なデータおよびモデル構成で評価され, 提案したクロスモーダルモデルでは, 84%の精度が得られ, 音声のみの非モーダルモデル, 視覚のみの18%の精度が得られた。

関連論文リスト

• Unleashing the Power of Natural Audio Featuring Multiple Sound Sources [54.38251699625379]
  ユニバーサルサウンド分離は、混合音声から異なるイベントに対応するクリーンなオーディオトラックを抽出することを目的としている。 複雑な混合音声を複数の独立したトラックに分解するために,データエンジンを利用するフレームワークであるClearSepを提案する。 実験では、ClearSepは複数の音分離タスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-04-24T17:58:21Z)
• Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer [59.57249127943914]
  本稿では,複数の改良を加えた多言語音声認識モデルを提案する。 我々は、6つの異なる言語に対する音声視覚訓練データの量を増やし、重複しない多言語データセットの自動書き起こしを生成する。 提案モデルでは, LRS3データセット上での新たな最先端性能を実現し, WERは0.8%に達した。
  論文  参考訳（メタデータ） (2024-03-14T01:16:32Z)
• STELLA: Continual Audio-Video Pre-training with Spatio-Temporal Localized Alignment [61.83340833859382]
  様々な音声・ビデオの意味を時間とともに継続的に学習することは、音声関連推論タスクに不可欠である。 これは非時間的問題であり、オーディオとビデオのペア間のスパース時間相関と、オーディオとビデオの関係を忘れるマルチモーダル相関オーバーライトという2つの重要な課題を提起する。 本稿では,2つの新しいアイデアを取り入れた連続的なオーディオビデオ事前学習手法を提案する。
  論文  参考訳（メタデータ） (2023-10-12T10:50:21Z)
• AdVerb: Visually Guided Audio Dereverberation [49.958724234969445]
  本稿では,新しいオーディオ・ビジュアル・デバーベレーション・フレームワークであるAdVerbを紹介する。 残響音に加えて視覚的手がかりを用いてクリーンオーディオを推定する。
  論文  参考訳（メタデータ） (2023-08-23T18:20:59Z)
• AudioFormer: Audio Transformer learns audio feature representations from discrete acoustic codes [6.375996974877916]
  離散音響符号の取得により音声特徴表現を学習するAudioFormerという手法を提案する。 以上の結果から,AudioFormerはモノモーダル音声分類モデルに比べて性能が大幅に向上したことが示された。
  論文  参考訳（メタデータ） (2023-08-14T15:47:25Z)
• Simple Pooling Front-ends For Efficient Audio Classification [56.59107110017436]
  入力音声特徴量における時間的冗長性を排除することは,効率的な音声分類に有効な方法である可能性が示唆された。 本稿では、単純な非パラメトリックプーリング操作を用いて冗長な情報を削減する単純なプールフロントエンド(SimPFs)のファミリーを提案する。 SimPFは、市販オーディオニューラルネットワークの浮動小数点演算数の半数以上を削減できる。
  論文  参考訳（メタデータ） (2022-10-03T14:00:41Z)
• A study on joint modeling and data augmentation of multi-modalities for audio-visual scene classification [64.59834310846516]
  音声視覚シーン分類(AVSC)のためのシステム性能を改善するために,共同モデリングとデータ拡張という2つの手法を提案する。 最終システムはDCASE 2021 Task 1bに送信された全AVSCシステムの中で94.2%の精度を達成できる。
  論文  参考訳（メタデータ） (2022-03-07T07:29:55Z)
• Large Scale Audiovisual Learning of Sounds with Weakly Labeled Data [9.072124914105325]
  本稿では、弱いラベル付きビデオ記録から音を認識することを学習するオーディオ視覚融合モデルを提案する。 大規模音響イベントデータセットであるAudioSetの実験は,提案モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2020-05-29T01:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。