論文の概要: Discriminative Semantic Transitive Consistency for Cross-Modal Learning

• arxiv url: http://arxiv.org/abs/2103.14103v1
• Date: Thu, 25 Mar 2021 19:45:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 02:53:54.084153
• Title: Discriminative Semantic Transitive Consistency for Cross-Modal Learning
• Title（参考訳）: クロスモーダル学習のための識別的意味的推移的一貫性
• Authors: Kranti Kumar Parida, Gaurav Sharma
• Abstract要約: クロスモーダル検索は通常、2つの異なるモダリティから共有表現空間にデータを投影して整列することによって行われる。 識別的意味的推移的一貫性の特性を提案・活用することにより,このような表現空間を学習する問題に対処する。 明確なアブレーション研究により,異なるコンポーネントによる性能向上を実証的に実証した。
• 参考スコア（独自算出の注目度）: 11.585355241235614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-modal retrieval is generally performed by projecting and aligning the data from two different modalities onto a shared representation space. This shared space often also acts as a bridge for translating the modalities. We address the problem of learning such representation space by proposing and exploiting the property of Discriminative Semantic Transitive Consistency -- ensuring that the data points are correctly classified even after being transferred to the other modality. Along with semantic transitive consistency, we also enforce the traditional distance minimizing constraint which makes the projections of the corresponding data points from both the modalities to come closer in the representation space. We analyze and compare the contribution of both the loss terms and their interaction, for the task. In addition, we incorporate semantic cycle-consistency for each of the modality. We empirically demonstrate better performance owing to the different components with clear ablation studies. We also provide qualitative results to support the proposals.
• Abstract（参考訳）: クロスモーダル検索は通常、2つの異なるモダリティから共有表現空間にデータを投影して整列することによって行われる。 この共有空間は、しばしばモダリティを翻訳するブリッジとしても機能する。 識別的意味的推移的一貫性の特性を提案・活用することで、このような表現空間を学習する問題に対処し、他のモダリティに転送された後もデータポイントが正しく分類されるようにする。 意味的推移的一貫性とともに、表現空間に近付くモダリティから対応するデータポイントの投影を行う従来の距離最小化制約も実施する。 我々は、タスクに対する損失項とそれらの相互作用の両方の寄与を分析し比較する。 さらに,各モダリティに対する意味的サイクル一貫性も取り入れている。 明確なアブレーション研究により,異なるコンポーネントによる性能向上を実証的に実証した。 提案を支持するための質的な結果も提供します。

関連論文リスト

• Cross-Modal Coordination Across a Diverse Set of Input Modalities [0.0]
  クロスモーダル検索は、異なるモダリティのクエリを用いて、与えられたモダリティのサンプルを検索するタスクである。 本稿では,CLIPの相対的目的を任意の数の入力モダリティに拡張した上で,この問題に対する2つのアプローチを提案する。 第2は、対照的な定式化から外れ、目標に向かってモデアルの類似性を回帰することで調整問題に取り組む。
  論文  参考訳（メタデータ） (2024-01-29T17:53:25Z)
• Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning [60.058083574671834]
  本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。 不均一な問題に対しては、無関係な公開データを通信に活用する。 局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
  論文  参考訳（メタデータ） (2023-09-28T09:32:27Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
  対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。 具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
  論文  参考訳（メタデータ） (2022-05-23T17:38:30Z)
• Toward Interpretable Semantic Textual Similarity via Optimal Transport-based Contrastive Sentence Learning [29.462788855992617]
  文間距離を輸送問題に基づく文脈化トークン距離の重み付け和として記述する。 次に、RCMDと呼ばれる最適輸送に基づく距離測定を行い、意味的に整合したトークンペアを特定し、活用する。 最後に,文ペアのRCMDを最適化するコントラスト学習フレームワークであるCLRCMDを提案する。
  論文  参考訳（メタデータ） (2022-02-26T17:28:02Z)
• Discriminative Supervised Subspace Learning for Cross-modal Retrieval [16.035973055257642]
  クロスモーダル検索のための識別型教師付き部分空間学習法(DS2L)を提案する。 具体的には、まず、各モダリティ内の意味構造を保存するために、共有セマンティックグラフを構築する。 次に,Hilbert-Schmidt Independence Criterion (HSIC)を導入し,特徴相似性とサンプルの意味相似性との相似性を維持する。
  論文  参考訳（メタデータ） (2022-01-26T14:27:39Z)
• Cross-Modal Discrete Representation Learning [73.68393416984618]
  本稿では,様々なモダリティにまたがるより細かい粒度を捉える表現を学習する自己教師型学習フレームワークを提案する。 我々のフレームワークは、異なるモダリティ間で共有されるベクトル量子化によって生成される離散化された埋め込み空間に依存している。
  論文  参考訳（メタデータ） (2021-06-10T00:23:33Z)
• Learning Relation Alignment for Calibrated Cross-modal Retrieval [52.760541762871505]
  言語的・視覚的関係のセマンティックな距離を計測し,関係の一貫性を定量化するための新しい指標ISD(Intra-modal Self-attention Distance)を提案する。 ISDを最適化し、モダル間アライメントを介してモダル内アライメントを相互に調整するための正規化訓練法である、モダル内アライメント(IAIS)について述べる。
  論文  参考訳（メタデータ） (2021-05-28T14:25:49Z)
• Dive into Ambiguity: Latent Distribution Mining and Pairwise Uncertainty Estimation for Facial Expression Recognition [59.52434325897716]
  DMUE(DMUE)という,アノテーションのあいまいさを2つの視点から解決するソリューションを提案する。 前者に対しては,ラベル空間における潜伏分布をよりよく記述するために,補助的マルチブランチ学習フレームワークを導入する。 後者の場合、インスタンス間の意味的特徴のペアワイズ関係を完全に活用して、インスタンス空間のあいまいさの程度を推定する。
  論文  参考訳（メタデータ） (2021-04-01T03:21:57Z)
• Beyond the Deep Metric Learning: Enhance the Cross-Modal Matching with Adversarial Discriminative Domain Regularization [21.904563910555368]
  本稿では,画像とテキストのペア内における識別データドメインの集合を構築するための新しい学習フレームワークを提案する。 我々のアプローチは一般的に既存のメトリクス学習フレームワークの学習効率と性能を改善することができる。
  論文  参考訳（メタデータ） (2020-10-23T01:48:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。