論文の概要: Self-Modifying State Modeling for Simultaneous Machine Translation
- arxiv url: http://arxiv.org/abs/2406.02237v1
- Date: Tue, 4 Jun 2024 11:57:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-05 16:32:17.867208
- Title: Self-Modifying State Modeling for Simultaneous Machine Translation
- Title（参考訳）: 同時機械翻訳のための自己修正状態モデリング
- Authors: Donglei Yu, Xiaomian Kang, Yuchen Liu, Yu Zhou, Chengqing Zong,
- Abstract要約: 同時機械翻訳(SiMT)は、ストリームソース入力を受信しながらターゲット出力を生成する。
既存のSiMT手法は、様々な意思決定経路を探索することでポリシーを学習し、固有の制約に直面している。
我々は、SiMTタスクのための新しいトレーニングパラダイムであるtextbfSelf-textbfModifying textbfState textbfModeling (SM$2$)を提案する。
- 参考スコア（独自算出の注目度）: 25.11963998838586
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Simultaneous Machine Translation (SiMT) generates target outputs while receiving stream source inputs and requires a read/write policy to decide whether to wait for the next source token or generate a new target token, whose decisions form a \textit{decision path}. Existing SiMT methods, which learn the policy by exploring various decision paths in training, face inherent limitations. These methods not only fail to precisely optimize the policy due to the inability to accurately assess the individual impact of each decision on SiMT performance, but also cannot sufficiently explore all potential paths because of their vast number. Besides, building decision paths requires unidirectional encoders to simulate streaming source inputs, which impairs the translation quality of SiMT models. To solve these issues, we propose \textbf{S}elf-\textbf{M}odifying \textbf{S}tate \textbf{M}odeling (SM$^2$), a novel training paradigm for SiMT task. Without building decision paths, SM$^2$ individually optimizes decisions at each state during training. To precisely optimize the policy, SM$^2$ introduces Self-Modifying process to independently assess and adjust decisions at each state. For sufficient exploration, SM$^2$ proposes Prefix Sampling to efficiently traverse all potential states. Moreover, SM$^2$ ensures compatibility with bidirectional encoders, thus achieving higher translation quality. Experiments show that SM$^2$ outperforms strong baselines. Furthermore, SM$^2$ allows offline machine translation models to acquire SiMT ability with fine-tuning.
- Abstract（参考訳）: 同時機械翻訳(SiMT)は、ストリームソース入力を受信しながらターゲット出力を生成し、次のソーストークンを待つか、新しいターゲットトークンを生成するかを決定するために読み取り/書き込みポリシーを必要とする。
既存のSiMT手法は、様々な意思決定経路を探索することでポリシーを学習し、固有の制約に直面している。
これらの手法は、SiMT性能に対する各決定の個々の影響を正確に評価できないことによるポリシーの正確な最適化に失敗するだけでなく、その膨大な数のために全ての潜在的経路を十分に探索することができない。
さらに、意思決定経路を構築するには、一方向エンコーダがストリーミングソース入力をシミュレートする必要があるため、SiMTモデルの翻訳品質が損なわれる。
これらの問題を解決するために、SiMTタスクのための新しいトレーニングパラダイムである \textbf{S}elf-\textbf{M}odifying \textbf{S}tate \textbf{M}odeling (SM$^2$)を提案する。
SM$^2$は、意思決定パスを構築することなく、トレーニング中の各状態における決定を個別に最適化する。
ポリシーを正確に最適化するために、SM$^2$は、各状態における決定を独立して評価し調整する自己修正プロセスを導入する。
十分な探索のために、SM$^2$は全ての潜在状態を効率的にトラバースするプリフィックスサンプリングを提案する。
さらに、SM$^2$は双方向エンコーダとの互換性を確保し、より高い翻訳品質を実現する。
SM$^2$は強いベースラインより優れていることを示す実験がある。
さらに、SM$^2$は、オフライン機械翻訳モデルで微調整でSiMT能力を取得することを可能にする。
関連論文リスト
- Aligning Large Language Models via Self-Steering Optimization [78.42826116686435]
本稿では,高品質な選好信号を自律的に生成するアルゴリズムであるSelf-Steering Optimization(SSO$)を紹介する。
SSO$は、選択された応答と拒否された応答の間に一貫したギャップを確保することで、信号の精度を維持する。
我々は、Qwen2とLlama3.1という2つの基礎モデルを用いて、$SSO$の有効性を検証する。
論文 参考訳（メタデータ） (2024-10-22T16:04:03Z) - PsFuture: A Pseudo-Future-based Zero-Shot Adaptive Policy for Simultaneous Machine Translation [8.1299957975257]
同時機械翻訳(SiMT)では、ストリーミングソーストークンが使用されるため、ターゲットトークンをリアルタイムで生成する必要がある。
我々は、SiMTのための最初のゼロショット適応型リード/ライトポリシーであるPsFutureを提案する。
我々は、SiMTアプリケーションのためのオフライン翻訳モデルを調整するために、新しいトレーニング戦略であるPrefix-to-Full(P2F)を導入する。
論文 参考訳（メタデータ） (2024-10-05T08:06:33Z) - Metareasoning in uncertain environments: a meta-BAMDP framework [1.0923877073891441]
本稿では,未知の報酬/遷移分布を持つ環境におけるメタ推論を扱うメタベイズ適応型MDPフレームワークを提案する。
最初のステップとして、人間の意思決定によく使われる2本腕のBernoulli bandit(TABB)タスクにこのフレームワークを適用します。
論文 参考訳（メタデータ） (2024-08-02T13:15:01Z) - Towards Zero-Shot Multimodal Machine Translation [64.9141931372384]
本稿では,マルチモーダル機械翻訳システムの学習において,完全教師付きデータの必要性を回避する手法を提案する。
我々の手法はZeroMMTと呼ばれ、2つの目的の混合で学習することで、強いテキストのみの機械翻訳(MT)モデルを適応させることである。
本手法が完全に教師付きトレーニングデータを持たない言語に一般化されることを証明するため,CoMMuTE評価データセットをアラビア語,ロシア語,中国語の3言語に拡張した。
論文 参考訳（メタデータ） (2024-07-18T15:20:31Z) - Unleashing the Power of Pre-trained Language Models for Offline
Reinforcement Learning [54.682106515794864]
オフライン強化学習(RL)は、事前コンパイルされたデータセットを使用して、ほぼ最適ポリシーを見つけることを目的としている。
本稿では、オフラインRLに事前学習言語モデル(LM)を使用するための決定変換器に基づく一般的なフレームワークである、$textbfMo$tion Control用の$textbfLanguage Models(textbfLaMo$)を紹介する。
経験的な結果から、$textbfLaMo$はスパース・リワードタスクで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-10-31T16:24:17Z) - Adaptive Policy with Wait-$k$ Model for Simultaneous Translation [20.45004823667775]
同時機械翻訳(SiMT)は、高品質な翻訳モデルとともに、堅牢な読み書きポリシーを必要とする。
従来の方法は、固定のwait-k$ポリシーとスタンドアロンのwait-k$翻訳モデル、あるいは翻訳モデルと共同で訓練された適応型ポリシーのいずれかに依存している。
本稿では、適応ポリシーモデルを翻訳モデルから切り離すことにより、より柔軟なアプローチを提案する。
論文 参考訳（メタデータ） (2023-10-23T12:16:32Z) - Modeling Dual Read/Write Paths for Simultaneous Machine Translation [21.03142288187605]
本稿では、読み書きパスを誘導する双対制約を導入するDual Path SiMTを提案する。
En-ViタスクとDe-En SiMTタスクの実験により、我々の手法は全てのレイテンシで強いベースラインを上回ります。
論文 参考訳（メタデータ） (2022-03-17T08:35:36Z) - Anticipation-free Training for Simultaneous Translation [70.85761141178597]
同時翻訳(SimulMT)は、原文が完全に利用可能になる前に翻訳を開始することで翻訳プロセスを高速化する。
既存の手法は遅延を増大させるか、SimulMTモデルに適応的な読み書きポリシーを導入し、局所的なリオーダーを処理し、翻訳品質を改善する。
本稿では,翻訳過程をモノトニック翻訳ステップと並べ替えステップに分解する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-01-30T16:29:37Z) - Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た
ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。
マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
論文 参考訳（メタデータ） (2021-06-10T10:18:23Z) - Bandit Linear Optimization for Sequential Decision Making and
Extensive-Form Games [102.23975166536326]
tree-form sequential decision making (tfsdm) は、エージェントと潜在的に敵対的な環境の間のツリー形式の相互作用をモデル化することで、古典的なワンショット意思決定を拡張する。
これは、各プレイヤーが幅広い形式のゲームで直面するオンライン意思決定問題、およびマルコフ決定プロセス、およびエージェントが観測された履歴を条件とする部分観察可能なマルコフ決定プロセスをキャプチャする。
本稿では, (i) 線形時間損失と (ii) $o(sqrtt)$ cumulative regret の両方を提供する拡張dmのバンディット線形最適化問題に対する最初のアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-08T05:00:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。