論文の概要: SignRAG: Unified Retrieval-Augmented Gloss-Free Sign Language Translation

• arxiv url: http://arxiv.org/abs/2610.11371v1
• Date: Thu, 08 Oct 2026 07:03:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.850529
• Title: SignRAG: Unified Retrieval-Augmented Gloss-Free Sign Language Translation
• Title（参考訳）: SignRAG:Unified Retrieval-Augmented Gloss-Free Sign Language Translation
• Abstract要約: SignRAGは階層的な事前訓練、ターゲットドメインの検索拡張、検索対応強化の微調整を組み合わせた統合フレームワークである。 我々の知る限りでは、SignRAGは、CSL-Daily上で報告されたすべての指標において、光沢を監督する手法よりも優れた、光沢のない最初のアプローチである。
• 参考スコア（独自算出の注目度）: 11.135592716645915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contemporary decoder-only large language models (LLMs) have demonstrated strong capabilities across a wide range of domains. However, existing pretraining paradigms for gloss-free sign language translation (SLT) are largely designed around conventional encoder-decoder pretrained language models, which limits their direct applicability to decoder-only LLMs. To address this limitation, we propose SignRAG, a unified framework combining hierarchical pretraining, target-domain retrieval augmentation, and retrieval-aware reinforcement fine-tuning. Hierarchical pretraining first learns linguistically grounded sign representations and then jointly aligns the sign encoder with an LLM, mitigating cross-modal optimization imbalance. For downstream adaptation, SignRAG complements parameter-based fine-tuning with a target-domain retrieval gallery that provides instance-specific translation cues. To ensure that retrieved contexts are used appropriately, we further introduce Retrieval Utility-Guided Reinforcement Fine-Tuning (RUG-RFT), which combines translation-quality and retrieval-utility rewards to encourage beneficial retrieval use while suppressing harmful reliance. Experiments on multiple SLT benchmarks establish new state-of-the-art performance. In particular, to the best of our knowledge, SignRAG is the first gloss-free approach to outperform gloss-supervised methods across all reported metrics on CSL-Daily. Our code has been released at \href{https://github.com/shahelaojieraozhi/SignRAG}{GitHub}, together with models of different sizes to support future academic research.
• Abstract（参考訳）: 現代のデコーダのみの大規模言語モデル(LLM)は、幅広い領域で強力な機能を示している。 しかしながら、Gloss-free sign language translation (SLT) のための既存の事前訓練パラダイムは、主に従来のエンコーダ-デコーダ事前訓練言語モデルに基づいて設計されており、デコーダのみのLLMへの直接適用性を制限している。 この制限に対処するために,階層型事前学習,ターゲットドメイン検索拡張,検索対応強化微調整を組み合わせた統合フレームワークであるSignRAGを提案する。 階層的事前訓練はまず言語的に基底付けられた符号表現を学習し、次に符号エンコーダとLLMを協調的に調整し、クロスモーダル最適化の不均衡を緩和する。 下流適応では、SignRAGはパラメータベースの微調整を、インスタンス固有の翻訳手段を提供するターゲットドメイン検索ギャラリーで補完する。 検索コンテキストを適切に利用するために,翻訳品質と検索ユーティリティ報酬を組み合わせた検索ユーティリティ強化細調整(RUG-RFT)を導入し,有害な依存を抑えながら検索の促進を図る。 複数のSLTベンチマークの実験により、新しい最先端性能が確立された。 特に、私たちの知る限りでは、SignRAGは、CSL-Dailyで報告されたすべての指標において、光沢を監督する手法よりも優れた、最初の光沢のないアプローチである。 我々のコードは \href{https://github.com/shahelaojieraozhi/SignRAG}{GitHub} でリリースされました。

関連論文リスト

• Repurposing Pre-trained LLMs as High Fidelity Continuous Text Autoencoders [50.57199085611665]
  次トーケン予測は、高度に流動的な自己回帰言語モデルを実現するが、逐次分解によるグローバル構造のみを間接的に表現する。 対照的に、高忠実度オートエンコーダは画像生成において標準的なプリミティブとなり、生成モデルが連続的な潜在空間上で動作できるようにする。 LLMAEは,事前訓練されたデコーダのみの言語モデルを,連続的なテキストオートエンコーダとして再利用する手法である。
  論文  参考訳（メタデータ） (2026-09-23T02:32:12Z)
• One Patch Is Enough: Reinforcement-Optimized Visual Token Grounding for MLLM-Based Scene Text Spotting [51.09550363815034]
  シーンテキストスポッティングはテキスト認識と空間的局所化の間に高精度なアライメントを必要とする。 本研究では,個々のテキストインスタンスを単一のアンカー視覚トークンでルーティングする視覚中心のフレームワークであるSingle-Patch Text Spotting (SPaTS)を提案する。 SPaTS はフロンティアのクローズドソースMLLM と OCR MLLM の両方で一貫した性能を示し,その性能を著しく向上させる。
  論文  参考訳（メタデータ） (2026-07-30T09:17:48Z)
• RVLF: A Reinforcing Vision-Language Framework for Gloss-Free Sign Language Translation [44.39679803351263]
  我々は手話に特化して設計された大規模視覚言語モデル(LVLM)を構築した。 手話の十分な表現のために、RVLFは効果的な意味表現学習機構を導入する。 そして,文レベルの意味的ミスアライメントを改善するために,GRPOに基づく最適化戦略を導入する。
  論文  参考訳（メタデータ） (2025-12-08T08:11:53Z)
• Multi-Reward GRPO for Stable and Prosodic Single-Codebook TTS LLMs at Scale [12.626090218930578]
  シングルコードブックのテキスト音声モデルは不安定な韻律、話者のドリフト、劣化した自然性を示すことが多い。 単行本TS LLMのトークン生成ポリシーを直接最適化するマルチリワードグループ相対ポリシー最適化フレームワークを提案する。 提案手法は, 単行本TS LLMにおける韻律安定性, 話者類似性, 音声の自然度を連続的に向上することを示す。
  論文  参考訳（メタデータ） (2025-11-26T10:50:17Z)
• Leveraging Language Semantics for Collaborative Filtering with TextGCN and TextGCN-MLP: Zero-Shot vs In-Domain Performance [0.0]
  パラメータフリーグラフ畳み込み層を LLM の項目タイトル埋め込みに直接適用する textbfTextGCN を提案する。 言語意味論とグラフメッセージパッシングを組み合わせることで、このアーキテクチャは最先端のゼロショット性能を実現する。 また,TextGCNを拡張したTextbfTextGCN-MLPも導入した。
  論文  参考訳（メタデータ） (2025-10-14T12:50:11Z)
• RecBase: Generative Foundation Model Pretraining for Zero-Shot Recommendation [78.01030342481246]
  RecBaseは、レコメンデーション指向の目的によって事前訓練されたドメインに依存しない基礎モデルである。 アイテムを階層的な概念識別子にエンコードする統一されたアイテムトークンを導入します。 我々のモデルは、ゼロショットおよびクロスドメインレコメンデーションタスクにおいて、LLMのベースラインの最大7Bパラメータのパフォーマンスを一致または超過します。
  論文  参考訳（メタデータ） (2025-09-03T08:33:43Z)
• Adapting Pretrained Language Models for Citation Classification via Self-Supervised Contrastive Learning [13.725832389453911]
  サイテーション分類は学術的な分析に欠かせない。 先行研究は、引用分類に基づく微調整事前学習言語モデル(PLM)を示唆している。 我々はこれらの課題を克服するためにPLMに適応する新しいフレームワーク、Citssを提案する。
  論文  参考訳（メタデータ） (2025-05-20T15:05:27Z)
• Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
  テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。 提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。 語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-11-04T06:07:53Z)
• Language Representations Can be What Recommenders Need: Findings and Potentials [57.90679739598295]
  先進的なLM表現から線形にマッピングされた項目表現は、より優れたレコメンデーション性能が得られることを示す。 この結果は、先進言語表現空間と効果的な項目表現空間との同型性を示唆している。 本研究は,自然言語処理とリコメンデーションシステムコミュニティの両方に刺激を与える言語モデリングと行動モデリングの関連性を強調した。
  論文  参考訳（メタデータ） (2024-07-07T17:05:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。