論文の概要: Any2Any: Incomplete Multimodal Retrieval with Conformal Prediction

• arxiv url: http://arxiv.org/abs/2411.10513v1
• Date: Fri, 15 Nov 2024 17:44:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:33:46.322576
• Title: Any2Any: Incomplete Multimodal Retrieval with Conformal Prediction
• Title（参考訳）: Any2Any: 整形予測を伴う不完全マルチモーダル検索
• Authors: Po-han Li, Yunhao Yang, Mohammad Omama, Sandeep Chinchali, Ufuk Topcu,
• Abstract要約: 我々はAny2Anyという新しい検索フレームワークを提案し、クエリと参照の両方が不完全なモダリティを持つシナリオに対処する。 クロスモーダルエンコーダとのペアワイズ類似度を計算し、同型予測を伴う2段階キャリブレーションプロセスを用いて類似度を整列する。 KITTIデータセットで35%のRecall@5を達成する。
• 参考スコア（独自算出の注目度）: 17.607392214470295
• License:
• Abstract: Autonomous agents perceive and interpret their surroundings by integrating multimodal inputs, such as vision, audio, and LiDAR. These perceptual modalities support retrieval tasks, such as place recognition in robotics. However, current multimodal retrieval systems encounter difficulties when parts of the data are missing due to sensor failures or inaccessibility, such as silent videos or LiDAR scans lacking RGB information. We propose Any2Any-a novel retrieval framework that addresses scenarios where both query and reference instances have incomplete modalities. Unlike previous methods limited to the imputation of two modalities, Any2Any handles any number of modalities without training generative models. It calculates pairwise similarities with cross-modal encoders and employs a two-stage calibration process with conformal prediction to align the similarities. Any2Any enables effective retrieval across multimodal datasets, e.g., text-LiDAR and text-time series. It achieves a Recall@5 of 35% on the KITTI dataset, which is on par with baseline models with complete modalities.
• Abstract（参考訳）: 自律エージェントは、視覚、オーディオ、LiDARなどのマルチモーダル入力を統合することで、周囲を知覚し、解釈する。 これらの知覚的モダリティは、ロボット工学における位置認識のような検索タスクをサポートする。 しかし、現在のマルチモーダル検索システムは、センサーの故障や、サイレントビデオやRGB情報がないLiDARスキャンなどのアクセシビリティの欠如により、データの一部が欠落している場合に困難に直面している。 本稿では,クエリと参照の両方が不完全であるシナリオに対処する新しい検索フレームワークAny2Anyを提案する。 2つのモダリティの計算に制限された以前の方法とは異なり、Any2Anyは生成モデルを訓練せずに任意のモダリティを扱う。 クロスモーダルエンコーダとのペアワイズ類似度を計算し、2段階のキャリブレーションプロセスと共形予測を用いて類似度を整列する。 Any2Anyは、例えば、text-LiDAR、text-time seriesなど、マルチモーダルデータセット間で効果的な検索を可能にする。 KITTIデータセットで35%のRecall@5を達成する。

関連論文リスト

• Analyzing Multimodal Integration in the Variational Autoencoder from an Information-Theoretic Perspective [0.0]
  我々は、入力データの再構成において、異なるモダリティの統合がいかに重要であるかを分析する。 我々は、4つの異なるスケジュールでネットワークをトレーニングし、それらをマルチモーダル統合の能力について分析する。
  論文  参考訳（メタデータ） (2024-11-01T11:43:17Z)
• All in One Framework for Multimodal Re-identification in the Wild [58.380708329455466]
  オールインワン(AIO)という,ReID導入のためのマルチモーダル学習パラダイム AIOは、凍結したトレーニング済みのビッグデータをエンコーダとして利用し、追加の微調整なしに効果的なマルチモーダル検索を可能にする。 クロスモーダルおよびマルチモーダルReIDの実験により、AIOは様々なモーダルデータを扱うだけでなく、困難な状況でも優れていることが明らかになった。
  論文  参考訳（メタデータ） (2024-05-08T01:04:36Z)
• Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
  汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。 我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。 本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
  論文  参考訳（メタデータ） (2023-12-17T05:27:31Z)
• Learning Noise-Robust Joint Representation for Multimodal Emotion Recognition under Incomplete Data Scenarios [23.43319138048058]
  実践シナリオにおけるマルチモーダル感情認識(MER)は、欠落したデータや不完全なデータの存在によって著しく困難である。 従来の手法では、データを捨てたり、データセグメントをゼロベクトルで置換することで、これらの不完全性を近似することが多い。 本稿では,雑音データから頑健なマルチモーダル関節表現を効果的に学習する新しいノイズローバストMERモデルを提案する。
  論文  参考訳（メタデータ） (2023-09-21T10:49:02Z)
• Read, Look or Listen? What's Needed for Solving a Multimodal Dataset [7.0430001782867]
  マルチモーダル・データセットを解析するための2段階の手法を提案する。これは、人間のアノテーションの小さなシードを利用して、各マルチモーダル・インスタンスをその処理に必要なモダリティにマッピングする。 ビデオ質問応答データセットであるTVQAに我々のアプローチを適用し、ほとんどの質問が特定のモダリティに対して実質的な偏見を伴わずに単一のモダリティで答えられることを発見した。 我々は、MERLOT Reserveを分析し、テキストや音声よりも画像に基づく質問に苦しむが、聴覚話者の識別にも苦しむことを発見した。
  論文  参考訳（メタデータ） (2023-07-06T08:02:45Z)
• Align and Attend: Multimodal Summarization with Dual Contrastive Losses [57.83012574678091]
  マルチモーダル要約の目標は、異なるモーダルから最も重要な情報を抽出し、出力要約を形成することである。 既存の手法では、異なるモダリティ間の時間的対応の活用に失敗し、異なるサンプル間の本質的な相関を無視する。 A2Summ(Align and Attend Multimodal Summarization)は、マルチモーダル入力を効果的に整列し、参加できる統一型マルチモーダルトランスフォーマーモデルである。
  論文  参考訳（メタデータ） (2023-03-13T17:01:42Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)
• MuRAG: Multimodal Retrieval-Augmented Generator for Open Question Answering over Images and Text [58.655375327681774]
  我々は,Multimodal Retrieval-Augmented Transformer (MuRAG)を提案する。 MuRAGは外部の非パラメトリックマルチモーダルメモリにアクセスして言語生成を増強する。 以上の結果から, MuRAGは最先端の精度を達成し, 既存のモデルよりも10～20%精度が高いことがわかった。
  論文  参考訳（メタデータ） (2022-10-06T13:58:03Z)
• Unsupervised Multimodal Language Representations using Convolutional Autoencoders [5.464072883537924]
  本稿では,教師なしマルチモーダル言語表現の抽出について提案する。 単語レベルのアライメントされたマルチモーダルシーケンスを2次元行列にマップし、畳み込みオートエンコーダを用いて複数のデータセットを組み合わせることで埋め込みを学習する。 また,本手法は非常に軽量で,他のタスクに容易に一般化でき,少ない性能低下とほぼ同じ数のパラメータを持つ未確認データが得られることを示した。
  論文  参考訳（メタデータ） (2021-10-06T18:28:07Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。