論文の概要: Improving Cross-Lingual Token Representations by Adding a Pinch of SALT

• arxiv url: http://arxiv.org/abs/2609.09953v1
• Date: Wed, 09 Sep 2026 09:43:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.968766
• Title: Improving Cross-Lingual Token Representations by Adding a Pinch of SALT
• Title（参考訳）: SALTのピンチの追加による言語間トークン表現の改善
• Abstract要約: 言語間の文エンコーダは、数百言語にわたるスケーラブルな転送を可能にする。 これらは、幻覚検出やシーケンスタグ付けといったトークンレベルのタスクにますます適用されます。 既存の文エンコーダにスパンレベル監視を注入することでトークン表現を改善する軽量なポストトレーニング手法であるSALTを提案する。
• 参考スコア（独自算出の注目度）: 1.218340575383456
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Cross-lingual sentence encoders enable scalable transfer across hundreds of languages, powering applications such as translation mining and zero-shot learning in low-resource settings. Although trained for sentence-level alignment, they are increasingly also applied to token-level tasks such as hallucination detection and sequence tagging, exposing a mismatch between training and usage. We propose SALT, a lightweight post-training method that improves token representations by injecting span-level supervision into existing sentence encoders. Across five multilingual token-level benchmarks, SALT achieves the best overall results on four of them, outperforming alternative fine-tuning strategies and competitive encoders. It also improves sentence-level performance on cross-lingual retrieval and classification tasks. These results demonstrate that span-level supervision is an effective signal for improving both token and sentence representations.
• Abstract（参考訳）: 言語間の文エンコーダは、数百の言語をまたがるスケーラブルな転送を可能にし、低リソース環境での翻訳マイニングやゼロショット学習などのアプリケーションに電力を供給する。 文レベルのアライメントのために訓練されるが、幻覚検出やシーケンスタグ付けといったトークンレベルのタスクにも適用され、トレーニングと使用のミスマッチが露呈する。 既存の文エンコーダにスパンレベル監視を注入することでトークン表現を改善する軽量なポストトレーニング手法であるSALTを提案する。 5つの多言語トークンレベルのベンチマークで、SALTは4つのベンチマークで最高の結果を得ることができ、代替の微調整戦略や競合エンコーダよりも優れています。 また、言語間検索および分類タスクにおける文レベルのパフォーマンスも向上する。 これらの結果から,スパンレベル監視は,トークン表現と文表現の改善に有効な信号であることが示された。

関連論文リスト

• SAGE: Segment-Aware Gloss-Free Encoding for Token-Efficient Sign Language Translation [29.79050316749927]
  本稿では,連続映像を個別のサインインされた視覚トークンに変換するためのセグメント認識型視覚トークン化フレームワークを提案する。 これにより、以前の方法と比較して入力シーケンスの長さが最大50%減少し、メモリ使用量が最大2.67倍になる。 提案手法はPHOENIX14Tベンチマークにおける最先端手法の性能を上回っている。
  論文  参考訳（メタデータ） (2025-07-12T12:18:34Z)
• On the Language Encoder of Contrastive Cross-modal Models [21.312292363260887]
  教師なしおよび教師なしの文埋め込み訓練が言語エンコーダの品質とモーダル間タスク性能にどのように影響するかを評価する。 対照的に、AL事前学習は文章埋め込み訓練の恩恵が少ないため、事前学習データの限られた量から生じる可能性がある。
  論文  参考訳（メタデータ） (2023-10-20T04:21:09Z)
• Gloss-free Sign Language Translation: Improving from Visual-Language Pretraining [56.26550923909137]
  Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。 視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。 i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
  論文  参考訳（メタデータ） (2023-07-27T10:59:18Z)
• Dual-Alignment Pre-training for Cross-lingual Sentence Embedding [79.98111074307657]
  本稿では,言語間文埋め込みのためのDAP(Dual-alignment pre-training)フレームワークを提案する。 そこで本研究では,一方の文脈化トークン表現を用いて翻訳相手を再構成する,新しい表現翻訳学習(RTL)タスクを提案する。 我々の手法は文の埋め込みを大幅に改善できる。
  論文  参考訳（メタデータ） (2023-05-16T03:53:30Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Explore More Guidance: A Task-aware Instruction Network for Sign Language Translation Enhanced with Data Augmentation [20.125265661134964]
  手話認識と翻訳は、まず認識モジュールを使用して手話ビデオからグルースを生成する。 本研究では,手話翻訳のためのタスク認識型命令ネットワークTIN-SLTを提案する。
  論文  参考訳（メタデータ） (2022-04-12T17:09:44Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)
• A Token-level Contrastive Framework for Sign Language Translation [9.185037439012952]
  手話翻訳は、聴覚障害者と聴覚障害者のコミュニケーションギャップを埋める有望な技術である。 トークンレベルの新しい ConSLT を提案する。 textbfSign textbfLanguage用のコントラスト学習フレームワーク。 textbf翻訳。
  論文  参考訳（メタデータ） (2022-04-11T07:33:26Z)
• Consistency Regularization for Cross-Lingual Fine-Tuning [61.08704789561351]
  整合性正規化による言語間微調整の改善を提案する。 具体的には、例の整合性正規化を用いて、予測感度を4種類のデータ拡張にペナルティ化する。 XTREMEベンチマークの実験結果から,本手法は様々なタスクにおける言語間微調整を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2021-06-15T15:35:44Z)
• Sign Language Transformers: Joint End-to-end Sign Language Recognition and Translation [59.38247587308604]
  本稿では,連続手話認識と翻訳を共同で学習するトランスフォーマーアーキテクチャを提案する。 RWTH-PHOENIX-Weather-2014Tデータセットの認識と翻訳性能の評価を行った。 我々の翻訳ネットワークは、動画を音声言語に、光沢を音声言語翻訳モデルに、どちらよりも優れています。
  論文  参考訳（メタデータ） (2020-03-30T21:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。