論文の概要: Unsupervised Multimodal Clustering for Semantics Discovery in Multimodal Utterances

• arxiv url: http://arxiv.org/abs/2405.12775v1
• Date: Tue, 21 May 2024 13:24:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 13:10:09.395593
• Title: Unsupervised Multimodal Clustering for Semantics Discovery in Multimodal Utterances
• Title（参考訳）: マルチモーダル発話における意味発見のための教師なしマルチモーダルクラスタリング
• Authors: Hanlei Zhang, Hua Xu, Fei Long, Xin Wang, Kai Gao,
• Abstract要約: 本稿では,新しい教師なしマルチモーダルクラスタリング手法 (UMC) を提案する。 UMCは、マルチモーダルデータのための拡張ビューを構築するためのユニークなアプローチを導入し、事前トレーニングを実行するために使用される。 我々は、最先端の手法よりもクラスタリングメトリクスの2-6%のスコアが顕著に改善され、この領域で最初の成功例となった。
• 参考スコア（独自算出の注目度）: 24.142013877384603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discovering the semantics of multimodal utterances is essential for understanding human language and enhancing human-machine interactions. Existing methods manifest limitations in leveraging nonverbal information for discerning complex semantics in unsupervised scenarios. This paper introduces a novel unsupervised multimodal clustering method (UMC), making a pioneering contribution to this field. UMC introduces a unique approach to constructing augmentation views for multimodal data, which are then used to perform pre-training to establish well-initialized representations for subsequent clustering. An innovative strategy is proposed to dynamically select high-quality samples as guidance for representation learning, gauged by the density of each sample's nearest neighbors. Besides, it is equipped to automatically determine the optimal value for the top-$K$ parameter in each cluster to refine sample selection. Finally, both high- and low-quality samples are used to learn representations conducive to effective clustering. We build baselines on benchmark multimodal intent and dialogue act datasets. UMC shows remarkable improvements of 2-6\% scores in clustering metrics over state-of-the-art methods, marking the first successful endeavor in this domain. The complete code and data are available at https://github.com/thuiar/UMC.
• Abstract（参考訳）: 多モーダル発話の意味を明らかにすることは、人間の言語を理解し、人間と機械の相互作用を強化するのに不可欠である。 既存の手法は、教師なしシナリオにおける複雑な意味を識別するために非言語情報を活用する際の限界を示す。 本稿では,新しい教師なしマルチモーダルクラスタリング手法 (UMC) を提案する。 UMCは、マルチモーダルデータのための拡張ビューを構築するためのユニークなアプローチを導入し、その後、事前トレーニングを実行して、その後のクラスタリングのための十分に初期化された表現を確立するために使用される。 提案手法は,各サンプルの近傍近傍の密度を指標とした表現学習の指針として,高品質なサンプルを動的に選択する手法である。 さらに、各クラスタの上位$K$パラメータの最適値を自動決定して、サンプル選択を洗練させる。 最後に、効率的なクラスタリングに寄与する表現を学習するために、高品質なサンプルと低品質なサンプルの両方が使用される。 ベンチマークマルチモーダルインテントと対話行動データセットに基づいてベースラインを構築します。 UMCは、最先端の手法よりもクラスタリングメトリクスの2-6\%のスコアを著しく改善しており、この領域で最初に成功した取り組みである。 完全なコードとデータはhttps://github.com/thuiar/UMC.comで公開されている。

関連論文リスト

• Generalized Category Discovery with Clustering Assignment Consistency [56.92546133591019]
  一般化圏発見(GCD)は、最近提案されたオープンワールドタスクである。 クラスタリングの一貫性を促進するための協調学習ベースのフレームワークを提案する。 提案手法は,3つの総合的なベンチマークと3つのきめ細かい視覚認識データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-10-30T00:32:47Z)
• Efficient and Effective Deep Multi-view Subspace Clustering [9.6753782215283]
  E$2$MVSC(Efficient and Effective Deep Multi-View Subspace Clustering)と呼ばれる新しいディープフレームワークを提案する。 パラメータ化されたFC層の代わりに、より計算効率のよいサンプル数からネットワークパラメータスケールを分離するRelation-Metric Netを設計する。 E$2$MVSCは既存のメソッドに匹敵する結果を出し、様々なタイプのマルチビューデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-15T03:08:25Z)
• Preserving Modality Structure Improves Multi-Modal Learning [64.10085674834252]
  大規模マルチモーダルデータセットによる自己教師付き学習は、人間のアノテーションに頼ることなく、意味的に意味のある埋め込みを学ぶことができる。 これらの手法は、モダリティ固有の埋め込みに存在する意味構造を無視して、ドメイン外のデータをうまく一般化するのに苦労することが多い。 共同埋め込み空間におけるモダリティ特異的な関係を保ち, 一般化性を向上させるためのセマンティック・構造保存整合性アプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-24T20:46:48Z)
• Multi-View Class Incremental Learning [57.14644913531313]
  マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。 本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
  論文  参考訳（メタデータ） (2023-06-16T08:13:41Z)
• One-step Multi-view Clustering with Diverse Representation [47.41455937479201]
  本稿では,多視点学習と$k$-meansを統合フレームワークに組み込んだ一段階のマルチビュークラスタリングを提案する。 そこで本研究では,効率の良い最適化アルゴリズムを開発し,その解法について述べる。
  論文  参考訳（メタデータ） (2023-06-08T02:52:24Z)
• Deep Multiview Clustering by Contrasting Cluster Assignments [14.767319805995543]
  マルチビュークラスタリングは、データサンプルをクラスタに分類することで、マルチビューデータの基盤構造を明らかにすることを目的としている。 本稿では,複数のビュー間でクラスタ割り当てを対比することで,ビュー不変表現を学習し,クラスタリング結果を生成するクロスビューコントラスト学習(C)手法を提案する。
  論文  参考訳（メタデータ） (2023-04-21T06:35:54Z)
• Unified Multi-View Orthonormal Non-Negative Graph Based Clustering Framework [74.25493157757943]
  我々は,非負の特徴特性を活用し,多視点情報を統合された共同学習フレームワークに組み込む,新しいクラスタリングモデルを定式化する。 また、深層機能に基づいたクラスタリングデータに対するマルチモデル非負グラフベースのアプローチを初めて検討する。
  論文  参考訳（メタデータ） (2022-11-03T08:18:27Z)
• Learning Statistical Representation with Joint Deep Embedded Clustering [2.1267423178232407]
  StatDECは、共同統計表現学習とクラスタリングのための教師なしのフレームワークである。 実験により,これらの表現を用いることで,様々な画像データセットにまたがる不均衡な画像クラスタリングの結果を大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2021-09-11T09:26:52Z)
• You Never Cluster Alone [150.94921340034688]
  我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。 分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。 代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
  論文  参考訳（メタデータ） (2021-06-03T14:59:59Z)
• Unsupervised Visual Representation Learning by Online Constrained K-Means [44.38989920488318]
  クラスタ識別は、教師なし表現学習の効果的な前提課題である。 オンラインtextbfConstrained textbfK-mtextbfeans (textbfCoKe) を用いたクラスタリングに基づく新しいプリテキストタスクを提案する。 当社のオンライン割当て方式は,グローバルな最適化に近づくための理論的保証を持っている。
  論文  参考訳（メタデータ） (2021-05-24T20:38:32Z)
• Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
  既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。 我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T15:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。