論文の概要: TransFusion: Contrastive Learning with Transformers

• arxiv url: http://arxiv.org/abs/2403.18681v1
• Date: Wed, 27 Mar 2024 15:24:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 16:19:17.956053
• Title: TransFusion: Contrastive Learning with Transformers
• Title（参考訳）: TransFusion: トランスフォーマーによるコントラスト学習
• Authors: Huanran Li, Daniel Pimentel-Alarcón,
• Abstract要約: TransFusionは、コントラスト学習のプロセスをより分析的で説明しやすいものにするために設計されている。 結果は、TransFusionが複雑な実世界のデータからクラスタを分離する機能をうまく抽出していることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a novel framework, TransFusion, designed to make the process of contrastive learning more analytical and explainable. TransFusion consists of attention blocks whose softmax being replaced by ReLU, and its final block's weighted-sum operation is truncated to leave the adjacency matrix as the output. The model is trained by minimizing the Jensen-Shannon Divergence between its output and the target affinity matrix, which indicates whether each pair of samples belongs to the same or different classes. The main contribution of TransFusion lies in defining a theoretical limit for answering two fundamental questions in the field: the maximum level of data augmentation and the minimum batch size required for effective contrastive learning. Furthermore, experimental results indicate that TransFusion successfully extracts features that isolate clusters from complex real-world data, leading to improved classification accuracy in downstream tasks.
• Abstract（参考訳）: 本稿では,コントラスト学習のプロセスをより分析的で説明しやすいものにするための新しいフレームワークであるTransFusionを提案する。 TransFusionはアテンションブロックで構成されており、そのソフトマックスはReLUに置き換えられ、最終的なブロックの重み付け操作は、アジャケーシ行列を出力として残すために切り離される。 このモデルは、Jensen-Shannonの出力とターゲット親和性行列の最小化によって訓練され、各サンプルのペアが同一または異なるクラスに属しているかどうかを示す。 TransFusionの主な貢献は、データ拡張の最大レベルと効果的なコントラスト学習に必要な最小バッチサイズという、2つの基本的な質問に答えるための理論的限界を定義することである。 さらに実験結果から,TransFusionは複雑な実世界のデータからクラスタを分離する機能をうまく抽出し,下流タスクの分類精度を向上させることが示唆された。

関連論文リスト

• AnomalyXFusion: Multi-modal Anomaly Synthesis with Diffusion [31.338732251924103]
  異常合成は、トレーニングのための異常サンプルを増強する有効な方法の1つである。 合成された異常サンプルの品質を高めるために,多モード情報を利用するAnomalyXFusionフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-30T10:48:43Z)
• Transformer Neural Autoregressive Flows [48.68932811531102]
  正規化フロー(NF)を用いて密度推定を行う。 我々はトランスフォーマーニューラルオートレグレッシブフロー(T-NAF)と呼ばれる新しいタイプのニューラルフローを定義するためにトランスフォーマーを利用する新しい解を提案する。
  論文  参考訳（メタデータ） (2024-01-03T17:51:16Z)
• CRaSh: Clustering, Removing, and Sharing Enhance Fine-tuning without Full Large Language Model [22.870512676002463]
  本稿では,集中型LCMと下流エミュレータ間でトランスフォーマブロックを転送する代表的手法であるOffsite-Tuning(OFT)に焦点を当てる。 これらの観測にインスパイアされたCRaShは、LCMから改善エミュレータを導出するトレーニングフリー戦略であるClustering、Removing、Sharingを含む。 以上の結果から,CRaShとOFTの有効性が明らかとなった。
  論文  参考訳（メタデータ） (2023-10-24T03:08:58Z)
• TransERR: Translation-based Knowledge Graph Embedding via Efficient Relation Rotation [17.315965737288245]
  本稿では, 効率的な関係回転(TransERR)を用いた翻訳型知識ジェラフ埋め込み手法を提案する。 従来の翻訳ベースモデルとは異なり、TransERRは超複素数値空間の知識グラフを符号化する。 本稿では,TransERRが従来の翻訳モデルよりも少ないパラメータで大規模データセットを符号化できることを示す。
  論文  参考訳（メタデータ） (2023-06-26T10:45:16Z)
• TransFusionOdom: Interpretable Transformer-based LiDAR-Inertial Fusion Odometry Estimation [7.778461949427663]
  生体計測のためのエンド・ツー・エンド型のトランスフォーマーベースLiDAR-Inertial fusion framework(TransFusionOdom)を提案する。 オーバーフィッティング問題に対処するために、同質および異質なモダリティに対する異なる融合アプローチを示す。 総括的アブレーション研究は、提案した核融合戦略の性能を検証するために、異なるマルチモーダル核融合戦略を評価する。
  論文  参考訳（メタデータ） (2023-04-16T08:54:36Z)
• Transformer-based Context Condensation for Boosting Feature Pyramids in Object Detection [77.50110439560152]
  現在の物体検出器は、通常マルチレベル特徴融合(MFF)のための特徴ピラミッド(FP)モジュールを持つ。 我々は,既存のFPがより優れたMFF結果を提供するのに役立つ,新しい,効率的なコンテキストモデリング機構を提案する。 特に,包括的文脈を2種類の表現に分解・凝縮して高効率化を図っている。
  論文  参考訳（メタデータ） (2022-07-14T01:45:03Z)
• High-Performance Transformer Tracking [74.07751002861802]
  本稿では,シームズ様特徴抽出バックボーンをベースとしたTransformer Tracking(TransT)手法,設計した注意に基づく融合機構,分類と回帰ヘッドを提案する。 実験の結果,TransT法とTransT-M法は7つの一般的なデータセットに対して有望な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-25T09:33:29Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Frustratingly Easy Transferability Estimation [64.42879325144439]
  本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。 TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。 10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
  論文  参考訳（メタデータ） (2021-06-17T10:27:52Z)
• TransFuse: Fusing Transformers and CNNs for Medical Image Segmentation [9.266588373318688]
  低レベルディテールのローカリゼーション能力を失うことなく、グローバルコンテキストのモデリングにおける効率性を改善する問題を検討する。 TransFuse、並列スタイルでトランスフォーマーとCNNを組み合わせた新しい2ブランチアーキテクチャが提案されています。 TransFuseでは、グローバル依存性と低レベルの空間詳細の両方を、はるかに浅い方法で効率的にキャプチャできます。
  論文  参考訳（メタデータ） (2021-02-16T08:09:45Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。