論文の概要: Soft Alignment Objectives for Robust Adaptation in Machine Translation

• arxiv url: http://arxiv.org/abs/2211.16550v1
• Date: Tue, 29 Nov 2022 19:23:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 15:18:30.359474
• Title: Soft Alignment Objectives for Robust Adaptation in Machine Translation
• Title（参考訳）: 機械翻訳におけるロバスト適応のためのソフトアライメント目的
• Authors: Michal \v{S}tef\'anik and Marek Kadl\v{c}\'ik and Petr Sojka
• Abstract要約: ドメイン適応により、生成言語モデルは、アプリケーションのドメインシフトによって引き起こされる特定の欠陥に対処できる。 ドメイン内のデータに対するさらなるトレーニングによる従来の適応は、モデルが他のドメインに一般化する能力を急速に弱める。 この研究は、予測トークンと参照とのセマンティックな類似性に基づいて構築された、新しいトレーニング目標を導入する。
• 参考スコア（独自算出の注目度）: 0.2578242050187029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain adaptation allows generative language models to address specific flaws caused by the domain shift of their application. However, the traditional adaptation by further training on in-domain data rapidly weakens the model's ability to generalize to other domains, making the open-ended deployments of the adapted models prone to errors. This work introduces novel training objectives built upon a semantic similarity of the predicted tokens to the reference. Our results show that (1) avoiding the common assumption of a single correct prediction by constructing the training target from tokens' semantic similarity can mitigate catastrophic forgetting during domain adaptation, while (2) preserving the quality of the adaptation, (3) with negligible additions to compute costs. In the broader perspective, the objectives grounded in a soft token alignment pioneer the exploration of the middle ground between the efficient but naive exact-match token-level objectives and expressive but computationally- and resource-intensive sequential objectives.
• Abstract（参考訳）: ドメイン適応により、生成言語モデルは、アプリケーションのドメインシフトに起因する特定の欠陥に対処できる。 しかし、ドメイン内のデータに対するさらなるトレーニングによる従来の適応は、モデルを他のドメインに一般化する能力を急速に弱め、適応モデルのオープンな配置はエラーを起こしやすい。 本研究は,予測されたトークンと参照との意味的類似性に基づく新しい学習目標を提案する。 その結果,(1)トークンのセマンティックな類似性からトレーニングターゲットを構築することで,単一の正しい予測の共通仮定を回避することにより,ドメイン適応時の破滅的な忘れを軽減し,(2)適応の質を保ちながら,(3)計算コストに無視できる加算を加えることができることがわかった。 より広い視点から見ると、ソフトトークンアライメントの目標が、効率的だがナイーブなトークンレベルの目標と、表現的かつ計算力に富んだ連続的な目標の間の中間的基盤を開拓することの先駆者であった。

関連論文リスト

• Progressive Conservative Adaptation for Evolving Target Domains [76.9274842289221]
  従来のドメイン適応は、典型的には、ソースドメインから定常ターゲットドメインに知識を転送する。 このような対象データに対する復元と適応は、時間とともに計算とリソース消費をエスカレートする。 我々は、進歩的保守的適応(PCAda)と呼ばれる、単純で効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-07T04:11:25Z)
• Smoothness Similarity Regularization for Few-Shot GAN Adaptation [16.92497517282215]
  本稿では,学習済みのGANの学習済みの滑らかさを少数ショット対象領域に伝達する,新しい滑らかさ類似性正規化を提案する。 我々は,無条件GANとクラス条件GANを多種多様な標的ドメインに適応させることにより,我々のアプローチを評価する。
  論文  参考訳（メタデータ） (2023-08-18T17:59:53Z)
• Labeling Where Adapting Fails: Cross-Domain Semantic Segmentation with Point Supervision via Active Selection [81.703478548177]
  セマンティックセグメンテーションに特化したトレーニングモデルは、大量のピクセル単位のアノテートデータを必要とする。 教師なしドメイン適応手法は、ラベル付きソースとラベルなしターゲットデータとの間の特徴分布の整合化を目的としている。 以前の研究は、対象データにスパース単一ピクセルアノテーションという形で、人間のインタラクションをこのプロセスに含めようと試みていた。 アクティブな選択による注釈付きポイントを用いた意味的セグメンテーションのための新しいドメイン適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-01T01:52:28Z)
• Self-supervised Augmentation Consistency for Adapting Semantic Segmentation [56.91850268635183]
  本稿では,実用的かつ高精度な意味セグメンテーションのためのドメイン適応手法を提案する。 私たちは標準データ拡張技術である$-$フォトメトリックノイズ、フリップとスケーリング$-$を採用し、セマンティック予測の一貫性を保証する。 適応後の最先端セグメンテーション精度を大幅に改善し、バックボーンアーキテクチャと適応シナリオの異なる選択に整合性を持たせる。
  論文  参考訳（メタデータ） (2021-04-30T21:32:40Z)
• Latent Space Regularization for Unsupervised Domain Adaptation in Semantic Segmentation [14.050836886292869]
  セマンティックセグメンテーションにおけるドメインの不一致を減らすために、機能レベルの空間形成正規化戦略を紹介します。 このような手法の有効性を自律運転環境で検証する。
  論文  参考訳（メタデータ） (2021-04-06T16:07:22Z)
• Shape Consistent 2D Keypoint Estimation under Domain Shift [35.15266729401601]
  ドメインシフトの下でキーポイントを推定するための新しい深層適応フレームワークを提案する。 本手法は,機能アライメント,対人訓練,自己超越という3つの構成要素をシームレスに結合する。 提案手法は,2次元キーポイント予測タスクにおける最先端領域適応手法より優れている。
  論文  参考訳（メタデータ） (2020-08-04T14:32:06Z)
• Domain Adaptation for Semantic Parsing [68.81787666086554]
  本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。 我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。 ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-23T14:47:41Z)
• Rectifying Pseudo Label Learning via Uncertainty Estimation for Domain Adaptive Semantic Segmentation [49.295165476818866]
  本稿では、意味的セグメンテーションの文脈において、ソースドメインからターゲットドメインへの知識伝達の教師なし領域適応に焦点を当てる。 既存のアプローチでは、通常、擬似ラベルを未ラベルのターゲットドメインデータを完全に活用するための基礎的真理とみなす。 本稿では,擬似ラベル学習の修正のために,学習中の予測の不確かさを明示的に推定することを提案する。
  論文  参考訳（メタデータ） (2020-03-08T12:37:19Z)
• Bi-Directional Generation for Unsupervised Domain Adaptation [61.73001005378002]
  教師なしのドメイン適応は、確立されたソースドメイン情報に依存するラベルなしのターゲットドメインを促進する。 従来の手法では、潜在空間におけるドメインの不一致を強制的に低減することで、本質的なデータ構造が破壊される。 本稿では、2つの中間領域をブリッジソースとターゲットドメインに補間する一貫した分類器を用いた双方向生成ドメイン適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-12T09:45:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。