論文の概要: OneSign: Unifying Sign Language Understanding Tasks with One Model

• arxiv url: http://arxiv.org/abs/2609.33090v1
• Date: Sun, 27 Sep 2026 01:54:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 10:35:23.58851
• Title: OneSign: Unifying Sign Language Understanding Tasks with One Model
• Title（参考訳）: OneSign: 1つのモデルで手話理解タスクを統合する
• Abstract要約: OneSignは、単一のモデルと単一のチェックポイント内のSLUタスクに対処するフレームワークである。 我々は,手話とテキストトークンの共有専門家とモダリティ固有の専門家からなる,Modality-Adaptive Mixture-of-Expertsアーキテクチャを導入する。 複数のベンチマークの実験では、OneSignが競争力や最先端のパフォーマンスを達成することが示されている。
• 参考スコア（独自算出の注目度）: 23.435512092903142
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: SLU encompasses a diverse set of tasks, including ISLR, CSLR, and SLT. Although these tasks share basic semantic and linguistic foundations, they are typically addressed with task-specific architectures and training pipelines, which hinders knowledge sharing and requires costly pretraining and finetuning for each task. In this paper, we focus on two aspects of SLU tasks: (1) training and inference pipelines are highly fragmented: most methods rely on pretraining on large-scale SL datasets followed by task- or dataset-specific finetuning, which leads to multiple specialized models rather than a single checkpoint. (2) current LLM-based methods may overlook the inherent modality discrepancy between sign and text tokens, simply concatenating them and processing both modalities with the same decoder layers. In this paper, we present OneSign, a unified framework that addresses multiple SLU tasks within a single model and a single checkpoint. OneSign reformulates ISLR, CSLR, and SLT under a single training paradigm. To accommodate the heterogeneous characteristics of sign and text representations, we introduce a Modality-Adaptive Mixture-of-Experts (MA-MoE) architecture, consisting of a shared expert and modality-specific experts for sign and text tokens. A modality router dynamically activates the corresponding experts, and their outputs are aggregated to form the final token representations. By enabling modality-dependent expert specialization while preserving a shared expert path, MA-MoE can effectively model the modality differences between continuous sign representations and discrete text tokens. Extensive experiments on multiple benchmarks demonstrate that OneSign achieves competitive or state-of-the-art performance on several benchmarks, highlighting its effectiveness as a unified SLU model. Datasets are available at : https://github.com/gswycf/OneSign.
• Abstract（参考訳）: SLUはISLR、CSLR、SLTを含む様々なタスクを含む。 これらのタスクは基本的な意味論と言語基盤を共有しているが、一般的にはタスク固有のアーキテクチャとトレーニングパイプラインで対処される。 本稿では,SLUタスクの2つの側面に焦点を当てる:(1)トレーニングと推論パイプラインは高度に断片化されており,ほとんどの手法は大規模SLデータセットの事前学習に頼っている。 2) 現在のLCMベースの手法は,符号とテキストトークンの相違を見逃し,単純にそれらを結合し,同一のデコーダ層で両モードを処理している。 本稿では,1つのモデルと1つのチェックポイント内の複数のSLUタスクに対処する統合フレームワークOneSignを提案する。 OneSignは、単一のトレーニングパラダイムの下でISLR、CSLR、SLTを再構成する。 符号とテキスト表現の不均一な特徴に対応するため,手話とテキストトークンの共有専門家とモダリティ固有の専門家からなるMA-MoEアーキテクチャを導入する。 モダリティルータは対応する専門家を動的に活性化し、その出力を集約して最終トークン表現を形成する。 共有された専門家パスを保持しながら、モダリティに依存した専門家の専門化を可能にすることにより、MA-MoEは連続符号表現と離散テキストトークンのモダリティ差を効果的にモデル化することができる。 複数のベンチマークに対する大規模な実験により、OneSignは複数のベンチマークで競合や最先端のパフォーマンスを実現し、統一SLUモデルとしての有効性を強調している。 データセットは、https://github.com/gswycf/OneSign.comで入手できる。

関連論文リスト

• MoST: Mixing Speech and Text with Modality-Aware Mixture of Experts [12.42628977620548]
  MoST(Mixture of Speech and Text)は、音声処理とテキスト処理をシームレスに統合する新しい大規模言語モデルである。 入力型に基づいて、モダリティに適した専門家にトークンを指示する特殊な経路を導入する。 MoSTは、パラメータ数に匹敵する既存のモデルよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-01-15T10:43:29Z)
• TAViS: Text-bridged Audio-Visual Segmentation with Foundation Models [123.17643568298116]
  本稿では,マルチモーダル基盤モデルの知識をテキスト化するための新しいフレームワークTAViSを提案する。 これらのモデルを効果的に組み合わせることによって、SAM2とImageBind間の知識伝達の困難さと、監督のためにセグメンテーション損失のみを使用することの不十分さの2つの大きな課題が生じる。 提案手法は,シングルソース,マルチソース,セマンティックデータセットにおいて優れた性能を示し,ゼロショット設定で優れる。
  論文  参考訳（メタデータ） (2025-06-13T03:19:47Z)
• Single-Input Multi-Output Model Merging: Leveraging Foundation Models for Dense Multi-Task Learning [46.51245338355645]
  モデルマージは、シングルタスクのチェックポイントをマルチタスクモデルにマージするための、柔軟で計算的に抽出可能なアプローチである。 本研究は,タスク固有デコーダの存在により,文献で研究されている単一入出力・複数出力モデルのマージ設定と定性的に異なることを示す。 SIMO設定に対する2つの単純かつ効率的な修正を提案し,統合後の特徴表現を再調整する。
  論文  参考訳（メタデータ） (2025-04-15T15:10:46Z)
• Uni-Sign: Toward Unified Sign Language Understanding at Scale [90.76641997060513]
  本稿では,事前学習と下流SLUタスクのギャップを解消する統合事前学習フレームワークを提案する。 Uni-Signは、複数の下流SLUタスクにまたがる最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-01-25T11:51:23Z)
• A Multi-Task Semantic Decomposition Framework with Task-specific Pre-training for Few-Shot NER [26.008350261239617]
  マルチタスク・セマンティック・デコンストラクション・フレームワークを提案する。 本稿では,MLM(Demonstration-based Masked Language Modeling)とクラスコントラスト識別(Class Contrastive Discrimination)の2つの新しい事前学習タスクを紹介する。 下流のメインタスクでは,エンティティ分類のための2つの異なるセマンティック情報の統合を容易にするセマンティックデコンポーザリング手法を用いたマルチタスク共同最適化フレームワークを導入する。
  論文  参考訳（メタデータ） (2023-08-28T12:46:21Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)
• Improving Multi-task Generalization Ability for Neural Text Matching via Prompt Learning [54.66399120084227]
  最近の最先端のニューラルテキストマッチングモデル(PLM)は、様々なタスクに一般化することが難しい。 我々は、特殊化一般化訓練戦略を採用し、それをMatch-Promptと呼ぶ。 特殊化段階では、異なるマッチングタスクの記述はいくつかのプロンプトトークンにマッピングされる。 一般化段階において、テキストマッチングモデルは、多種多様なマッチングタスクを訓練することにより、本質的なマッチング信号を探索する。
  論文  参考訳（メタデータ） (2022-04-06T11:01:08Z)
• Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal Sentiment Analysis [11.368438990334397]
  我々は,独立した一助的指導を受けるための自己指導型学習戦略を開発する。 我々は3つの公開マルチモーダルベースラインデータセットについて広範な実験を行った。 提案手法は,人間の注釈付きアンモダルラベルと同等の性能を達成している。
  論文  参考訳（メタデータ） (2021-02-09T14:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。