論文の概要: SignDPO: Multi-level Direct Preference Optimisation for Skeleton-based Gloss-free Sign Language Translation

• arxiv url: http://arxiv.org/abs/2604.18034v1
• Date: Mon, 20 Apr 2026 09:59:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.799549
• Title: SignDPO: Multi-level Direct Preference Optimisation for Skeleton-based Gloss-free Sign Language Translation
• Title（参考訳）: SignDPO:Skeleton-based Gloss-free Sign Language Translationのためのマルチレベル直接参照最適化
• Authors: Muxin Pu, Xiao-Ming Wu, Mei Kuan Lim, Chun Yong Chong, Wei Li, Chen Change Loy,
• Abstract要約: 我々は,新しい多レベル直接参照最適化フレームワークSignDPOを提案する。 SignDPOは、最先端のGloss-freeメソッドよりも一貫して優れていることを示す。 以上の結果から,多レベル選好アライメントは,高エントロピーな骨格軌道と個別言語意味論のギャップを埋める強力なパラダイムであることが示唆された。
• 参考スコア（独自算出の注目度）: 52.752934028506274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present SignDPO, a novel multi-level Direct Preference Optimisation (DPO) framework designed to enhance the alignment of skeleton-based Sign Language Translation. While current skeleton-based models have made significant progress using Maximum Likelihood Estimation, they are primarily constrained by an imitation-based paradigm that lacks discriminative sensitivity to the fine-grained spatio-temporal nuances of sign language, often leading to semantic drift. To address this, SignDPO shifts the optimisation goal from simple sequence mimicry to structured preference alignment across spatial, temporal, and linguistic dimensions. Our framework involves three key designs. First, we introduce a hierarchical perturbation strategy to construct spatial and temporal non-preferred samples at both global and local granularities automatically. Second, we propose a self-guiding mechanism that leverages decoder cross-attention scores to identify and perturb semantically salient skeletal regions, forcing the model to distinguish genuine sign signals from structural distortions. Third, we establish an automated language-level preference generator by fine-tuning a dedicated perturbation model, capturing complex output-level failure modes without manual annotation. Extensive experiments on three widely adopted benchmarks, CSL-Daily, How2Sign, and OpenASL, demonstrate that SignDPO consistently outperforms state-of-the-art gloss-free methods and even rivals established gloss-based ones. Our results suggest that multi-level preference alignment is a powerful paradigm for bridging the gap between high-entropy skeletal trajectories and discrete linguistic semantics.
• Abstract（参考訳）: 骨格をベースとした手話翻訳のアライメントを高めるために設計された,多レベル直接選択最適化(DPO)フレームワークであるSignDPOを提案する。 現在の骨格モデルでは、最大様相推定(Maximum Likelihood Estimation)を用いて大きな進歩を遂げているが、主に手話の微細な時相ニュアンスに対する識別感度に欠ける模倣に基づくパラダイムに制約されている。 これを解決するためにSignDPOは、最適化目標を単純なシーケンスの模倣から、空間的、時間的、言語的次元にまたがる構造化された選好アライメントへとシフトする。 私たちのフレームワークには3つの重要な設計があります。 まず,大域および局所的な粒度の空間的および時間的非推奨サンプルを自動構築する階層的摂動戦略を導入する。 次に,デコーダのクロスアテンションスコアを利用して意味論的に有意な骨格領域を同定・摂動する自己案内機構を提案する。 第3に、専用の摂動モデルを微調整し、手動のアノテーションを使わずに複雑な出力レベルの障害モードをキャプチャすることで、言語レベルの自動選好生成装置を確立する。 CSL-Daily、How2Sign、OpenASLの3つの広く採用されているベンチマークに関する大規模な実験は、SignDPOが最先端のGloss-freeメソッドを一貫して上回り、ライバルがGloss-basedベンチマークを確立していることを実証している。 以上の結果から,多レベル選好アライメントは,高エントロピーな骨格軌道と個別言語意味論のギャップを埋める強力なパラダイムであることが示唆された。

関連論文リスト

• LA-Sign: Looped Transformers with Geometry-aware Alignment for Skeleton-based Sign Language Recognition [47.469519895247366]
  LA-Signは、手話認識のための幾何学的アライメントを備えたループ変換フレームワークである。 LA-Sign は,個々の層を減らしながら最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2026-03-30T22:49:42Z)
• SignSparK: Efficient Multilingual Sign Language Production via Sparse Keyframe Learning [54.232148007248874]
  現在の手話生産(SLP)フレームワークは、まさにトレードオフに直面している。 本研究では,スペースを利用した新たなトレーニングパラダイムを提案し,人間の署名の真の基盤となる分布を捉える。 これらの離散的なアンカーから高密度な動きを予測することにより、流体の調音を確実にしながら、回帰から平均への移動を緩和する。
  論文  参考訳（メタデータ） (2026-03-11T06:02:36Z)
• MaDiS: Taming Masked Diffusion Language Models for Sign Language Generation [78.75809158246723]
  本稿では,SLGのためのマスク付き拡散型言語モデルであるMaDiSについて述べる。 また,トークン・ラテント・ヘアリング・3次元空間の目的から共同で学習する3段階のクロスモーダル事前学習手法を導入する。 MaDiSはDTWエラーと新たに導入された2つのメトリクスであるSiBLEUとSiCLIPを含む複数のメトリクスで優れたパフォーマンスを実現し、推論レイテンシを30%近く削減している。
  論文  参考訳（メタデータ） (2026-01-27T13:06:47Z)
• LLM-Guided Taxonomy and Hierarchical Uncertainty for 3D Point Cloud Active Learning [21.291028259534308]
  本稿では3Dポイントクラウドセマンティックセマンティックセグメンテーションのための新しいアクティブラーニングフレームワークを提案する。 大規模言語モデル(LLM)を統合し、階層的なラベル構造を構築し、不確実性に基づくサンプル選択をガイドする。 この結果は,3次元ビジョンにおける知識の先行としてLLMの未解決の可能性を強調し,効率的なポイントクラウドアノテーションのための強力なパラダイムとして階層的不確実性モデリングを確立した。
  論文  参考訳（メタデータ） (2025-05-25T01:10:58Z)
• Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
  本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。 第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。 いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T07:27:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。