論文の概要: Multimodal Data Curation Through Ranked Retrieval

• arxiv url: http://arxiv.org/abs/2605.01163v1
• Date: Fri, 01 May 2026 23:45:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:49.618412
• Title: Multimodal Data Curation Through Ranked Retrieval
• Title（参考訳）: ランク付き検索によるマルチモーダルデータキュレーション
• Authors: Pratyush Muthukumar, Harshil Kotamreddy, Sarah Amiraslani, Tomo Kanazawa, Ramani Akkati, Shaan Jain, Andrew Mathau,
• Abstract要約: トレーニングペアと埋め込みモデルの両方に作用することでアライメントを改善するフレームワークを提案する。 このアプローチは, 基礎埋め込みの専門家に対して, 平均90%以上のモダリティギャップを崩壊させることを実証する。
• 参考スコア（独自算出の注目度）: 0.011966041609090325
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Shared embedding spaces are widely used for multimodal search and data curation. In practice, two problems often limit how well this works. First, embeddings can reflect modality more than meaning, so examples cluster by input type even when the underlying content matches. Second, the paired supervision used to train these spaces is often noisy. When we blend many heterogeneous, human-labeled datasets, these issues reinforce each other and degrade cross-modal retrieval. We present a framework that improves alignment by acting on both the training pairs and the embedding model. Symmetric Nucleus Subsampling (SNS) refines training pairs by trimming raw inputs and annotations to the portions that best support each other. Expert Embedding Engine (EEE) combines complementary embedding experts using a learned projection network, together with a bias-aware objective that reduces modality-driven separation in the embedding space. We demonstrate that this approach collapses the modality gap by over 90% on average vs base embedding experts and is a strong data curator, with datablends from our method outperforming stratified sampling and traditional curation baselines in downstream model performance.
• Abstract（参考訳）: 共有埋め込み空間はマルチモーダル検索やデータキュレーションに広く利用されている。 実際には、2つの問題によって、これがどの程度うまく機能するかが制限されることが多い。 まず、埋め込みは意味以上にモダリティを反映することができるため、基礎となるコンテンツが一致した場合でも、入力型によってサンプルをクラスタリングする。 第二に、これらの空間を訓練するのに使われるペアの監督は、しばしばうるさい。 異種なラベル付きデータセットをたくさん混ぜると、これらの問題は相互に強化され、クロスモーダル検索が劣化する。 トレーニングペアと埋め込みモデルの両方に作用することでアライメントを改善するフレームワークを提案する。 Symmetric Nucleus Subsampling (SNS)は、互いに最もサポートしている部分への生のインプットとアノテーションをトリミングすることで、トレーニングペアを洗練します。 エキスパート埋め込みエンジン(EEE)は、学習されたプロジェクションネットワークを使用した補完的な埋め込み専門家と、埋め込み空間におけるモダリティ駆動の分離を減らすバイアス認識の目的を組み合わせる。 提案手法は, 提案手法から得られたデータブレンドが, 階層化サンプリングよりも優れ, 下流モデルの性能において従来のキュレーションベースラインよりも優れており, 平均対ベース埋め込みの専門家で90%以上もモダリティギャップを崩壊させることを実証する。

関連論文リスト

• Conditional Imputation for Within-Modality Missingness in Multi-Modal Federated Learning [8.35064965629059]
  MMFL(Multimodal Federated Learning)は、プライバシー保護のための協調トレーニングを提供する。 実世界の臨床応用は、しばしば、センサーの断続性や不規則なサンプリングによって生じるモダリティの欠如に悩まされる。 本研究では,条件付き拡散モデルを用いて,この欠陥に明示的に対処するフレームワークであるCondIを提案する。
  論文  参考訳（メタデータ） (2026-04-25T02:35:08Z)
• A Framework for Fine-Tuning LLMs using Heterogeneous Feedback [69.51729152929413]
  ヘテロジニアスフィードバックを用いた大規模言語モデル(LLM)の微調整フレームワークを提案する。 まず、不均一なフィードバックデータをSFTやRLHFなどの手法と互換性のある単一の監視形式にまとめる。 次に、この統合されたフィードバックデータセットから、性能向上を得るために高品質で多様なサブセットを抽出する。
  論文  参考訳（メタデータ） (2024-08-05T23:20:32Z)
• Two Is Better Than One: Aligned Representation Pairs for Anomaly Detection [56.57122939745213]
  異常検出は、標準から逸脱するサンプルを特定することに焦点を当てる。 近年の自己教師型手法は, 異常に関する事前知識を用いて, トレーニング中に合成外れ値を生成することによって, それらの表現をうまく学習している。 この制限は、通常のサンプルにおける対称性に関する事前の知識を活用して、異なるコンテキストでデータを観測する、新しいアプローチであるCon$で対処する。
  論文  参考訳（メタデータ） (2024-05-29T07:59:06Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Preserving Modality Structure Improves Multi-Modal Learning [64.10085674834252]
  大規模マルチモーダルデータセットによる自己教師付き学習は、人間のアノテーションに頼ることなく、意味的に意味のある埋め込みを学ぶことができる。 これらの手法は、モダリティ固有の埋め込みに存在する意味構造を無視して、ドメイン外のデータをうまく一般化するのに苦労することが多い。 共同埋め込み空間におけるモダリティ特異的な関係を保ち, 一般化性を向上させるためのセマンティック・構造保存整合性アプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-24T20:46:48Z)
• Phantom Embeddings: Using Embedding Space for Model Regularization in Deep Neural Networks [12.293294756969477]
  機械学習モデルの強みは、データから複雑な関数近似を学ぶ能力に起因している。 複雑なモデルはトレーニングデータを記憶する傾向があり、結果としてテストデータの正規化性能が低下する。 情報豊富な潜伏埋め込みと高いクラス内相関を利用してモデルを正規化するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-14T17:15:54Z)
• Linking data separation, visual separation, and classifier performance using pseudo-labeling by contrastive learning [125.99533416395765]
  最終分類器の性能は、潜在空間に存在するデータ分離と、射影に存在する視覚的分離に依存すると論じる。 本研究は,ヒト腸管寄生虫の5つの現実的課題の画像データセットを1%の教師付きサンプルで分類し,その結果を実証する。
  論文  参考訳（メタデータ） (2023-02-06T10:01:38Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Embracing Structure in Data for Billion-Scale Semantic Product Search [14.962039276966319]
  我々は、数十億の規模でダイアドニューラル埋め込みモデルを訓練し、展開するための原則的アプローチを提案する。 実世界のデータセットの自然な構造を活用することで、両方の課題に効率的に対処できることが示される。
  論文  参考訳（メタデータ） (2021-10-12T16:14:13Z)
• Deep Stable Learning for Out-Of-Distribution Generalization [27.437046504902938]
  深層ニューラルネットワークに基づくアプローチは、同様の分布を持つデータとトレーニングデータをテストする際に顕著なパフォーマンスを達成した。 トレーニングとテストデータ間の分散シフトの影響を排除することは、パフォーマンス向上の深層モデルの構築に不可欠です。 トレーニングサンプルの学習重みによる特徴間の依存関係を除去し,この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2021-04-16T03:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。