論文の概要: Selective Contrastive Learning For Gloss Free Sign Language Translation

• arxiv url: http://arxiv.org/abs/2604.22374v1
• Date: Fri, 24 Apr 2026 09:08:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-27 15:36:26.408583
• Title: Selective Contrastive Learning For Gloss Free Sign Language Translation
• Title（参考訳）: 声帯自由手話翻訳のための選択的コントラスト学習
• Authors: Changhao Lai, Rui Zhao, Xuewen Zhong, Jinsong Su, Yidong Chen,
• Abstract要約: 手話翻訳(SLT)は、連続的な手話ビデオから音声によるテキストに変換する。 最近のSLTシステムでは、CLIPライクなビジョンランゲージプリトレーニングが採用されている。 しかし、ランダムなバッチ内コントラストは、バッチ依存の負をほとんど提供せず、意味論的に類似(あるいは同一)のペアを負と誤ラベルする可能性がある。 ペア選択戦略を用いたSLT(SCL-SLT)の選択コントラスト学習を提案する。
• 参考スコア（独自算出の注目度）: 28.071457836616506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sign language translation (SLT) converts continuous sign videos into spoken-language text, yet it remains challenging due to the intrinsic modality mismatch between visual signs and written text, particularly in gloss-free settings. Recent SLT systems increasingly adopt CLIP-like Vision-Language pretraining (VLP) for cross-modal alignment, but the random in-batch contrast provides few, batch-dependent negatives and may mislabel semantically similar (or even identical) pairs as negatives, introducing noisy and potentially inconsistent alignment supervision. In this work, we first conduct a preliminary trajectory-based analysis that tracks negative video-text similarity over training. The results show that only a small subset of negatives exhibits the desired behavior of being consistently pushed away, while the remaining negatives display heterogeneous and often non-decreasing similarity dynamics, suggesting that random in-batch negatives are frequently uninformative for effective alignment. Inspired by this, we propose Selective Contrastive Learning for SLT (SCL-SLT) with a Pair Selection (PS) strategy. PS scores candidate negatives using similarity dynamics from reference checkpoints and constructs mini-batches via a curriculum that progressively emphasizes more challenging negatives, thereby strengthening contrastive supervision while reducing the influence of noisy or semantically invalid negatives.
• Abstract（参考訳）: 手話翻訳(SLT)は、連続的な手話動画を音声によるテキストに変換するが、特に光沢のない設定において、視覚的記号とテキストとの本質的なモダリティのミスマッチのため、依然として困難である。 最近のSLTシステムは、クロスモーダルアライメントにCLIPのようなビジョンランゲージ事前トレーニング(VLP)を採用する傾向にあるが、ランダムなバッチ内コントラストは、バッチ依存のネガティブをほとんど提供せず、セマンティックに類似した(あるいは同一の)ペアを負と誤ラベルし、ノイズや一貫性のないアライメントの監督を導入する可能性がある。 本研究では,まず,学習におけるビデオテキストの否定的類似性を追跡する,予備的軌跡に基づく分析を行う。 結果より, 負の小さな部分集合のみが連続的に押し飛ばされる所望の挙動を示し, 残りの負は不均一であり, しばしば非減少的な類似性ダイナミクスを示し, ランダムなバッチ内負は有効アライメントに対してしばしば非形式的であることが示された。 そこで本研究では,SCL-SLT(Selective Contrastive Learning for SLT)とPS(Pair Selection)戦略を提案する。 PSは、基準チェックポイントからの類似性ダイナミクスを用いて候補負をスコアし、より困難な負を徐々に強調するカリキュラムを通じてミニバッチを構築し、ノイズや意味的に無効な負の影響を減らしながら、対照的な監督を強化する。

関連論文リスト

• HNCSE: Advancing Sentence Embeddings via Hybrid Contrastive Learning with Hard Negatives [17.654412302780557]
  HNCSEは、主要なSimCSEアプローチを拡張する、新しい対照的な学習フレームワークである。 HNCSEの目玉は、正と負の両方のサンプルの学習を強化するために、ハードネガティブサンプルの革新的な利用である。
  論文  参考訳（メタデータ） (2024-11-19T01:26:20Z)
• Enhancing Sound Source Localization via False Negative Elimination [58.87973081084927]
  音源のローカライゼーションは、視覚的なシーンで音を発する物体をローカライズすることを目的としている。 印象的な結果を得る最近の研究は、典型的には対照的な学習に依存している。 本稿では,2つの個別学習方式を取り入れた新しい音声視覚学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-29T11:24:51Z)
• Contrastive Learning with Negative Sampling Correction [52.990001829393506]
  PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。 PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。 PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-01-13T11:18:18Z)
• Clustering-Aware Negative Sampling for Unsupervised Sentence Representation [24.15096466098421]
  ClusterNSは、教師なし文表現学習のためのコントラスト学習にクラスタ情報を組み込む新しい手法である。 修正K平均クラスタリングアルゴリズムを用いて、ハードネガティブを供給し、トレーニング中にバッチ内偽陰性を認識する。
  論文  参考訳（メタデータ） (2023-05-17T02:06:47Z)
• Adversarial Contrastive Learning via Asymmetric InfoNCE [64.42740292752069]
  非対称なInfoNCEの目的と対比した場合,非対称なサンプルを不等に扱うことを提案する。 非対称的な方法では、CLと対向学習の相反する目的の悪影響を効果的に軽減することができる。 実験の結果,提案手法は既存CL法より一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2022-07-18T04:14:36Z)
• Debiased Contrastive Learning of Unsupervised Sentence Representations [88.58117410398759]
  コントラスト学習は、事前訓練された言語モデル(PLM)を改善し、高品質な文表現を導き出すのに有効である。 以前の作業は、主にランダムにトレーニングデータからバッチ内陰性またはサンプルを採用する。 我々はこれらの不適切な負の影響を軽減するための新しいフレームワーク textbfDCLR を提案する。
  論文  参考訳（メタデータ） (2022-05-02T05:07:43Z)
• PCL: Peer-Contrastive Learning with Diverse Augmentations for Unsupervised Sentence Embeddings [69.87899694963251]
  本稿では,多彩な拡張を伴う新しいピアコントラスト学習(PCL)を提案する。 PCLは、教師なし文の埋め込みのために、グループレベルで様々な対照的な正と負を構成する。 PCLはピア陽性のコントラストとピアネットワークの協調が可能である。
  論文  参考訳（メタデータ） (2022-01-28T13:02:41Z)
• SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples [36.08601841321196]
  ソフトな負のサンプルを埋め込んだ教師なし文のコントラスト学習を提案する。 SNCSEは意味的テキスト類似性タスクにおいて最先端の性能を得ることができることを示す。
  論文  参考訳（メタデータ） (2022-01-16T06:15:43Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• SimCSE: Simple Contrastive Learning of Sentence Embeddings [10.33373737281907]
  本稿では,埋め込み学習フレームワークであるSimCSEについて述べる。 まず、教師なしのアプローチを記述し、入力文を取り、それ自身を対照目的に予測する。 次に,nliデータセットからの注釈付きペアを「補足」ペアを正として,「矛盾」ペアをハード負として対比学習に組み込む。
  論文  参考訳（メタデータ） (2021-04-18T11:27:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。