論文の概要: Investigating Test-Time Scaling with Reranking for Machine Translation

• arxiv url: http://arxiv.org/abs/2509.19020v1
• Date: Tue, 23 Sep 2025 13:58:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.873534
• Title: Investigating Test-Time Scaling with Reranking for Machine Translation
• Title（参考訳）: 機械翻訳におけるリグレードによるテスト時間スケーリングの検討
• Authors: Shaomu Tan, Ryosuke Mitani, Ritvik Choudhary, Toshiyuki Sekiya,
• Abstract要約: モデルパラメータのスケーリングは、NLPシステムを改善するための事実上の戦略となっているが、かなりの計算コストが伴う。 テスト時間スケーリング(TTS)は、複数の候補を生成し、ベストを選択するという、推論時により多くの計算を割り当てることによる代替手段を提供する。 WMT24ベンチマークにおいて,機械翻訳のためのTTSに関する最初の体系的な研究を行い,単純だが実用的なNフレームワークについて検討する。
• 参考スコア（独自算出の注目度）: 3.938945042802514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling model parameters has become the de facto strategy for improving NLP systems, but it comes with substantial computational costs. Test-Time Scaling (TTS) offers an alternative by allocating more computation at inference: generating multiple candidates and selecting the best. While effective in tasks such as mathematical reasoning, TTS has not been systematically explored for machine translation (MT). In this paper, we present the first systematic study of TTS for MT, investigating a simple but practical best-of-N framework on WMT24 benchmarks. Our experiments cover six high-resource and one low-resource language pairs, five model sizes (3B-72B), and various TTS compute budget (N up to 1024). Our results show that a) For high-resource languages, TTS generally improves translation quality according to multiple neural MT evaluation metrics, and our human evaluation confirms these gains; b) Augmenting smaller models with large $N$ can match or surpass larger models at $N{=}1$ with more compute cost; c) Under fixed compute budgets, larger models are typically more efficient, and TTS can degrade quality due to metric blind spots in low-resource cases.
• Abstract（参考訳）: モデルパラメータのスケーリングは、NLPシステムを改善するためのデファクト戦略となっているが、かなりの計算コストが伴う。 テスト時間スケーリング(TTS)は、複数の候補を生成し、ベストを選択するという、推論時により多くの計算を割り当てることによる代替手段を提供する。 数学的推論のようなタスクでは有効であるが、TTSは機械翻訳(MT)では体系的に研究されていない。 本稿では,MT のための TTS を初めて体系的に検討し,WMT24 ベンチマーク上での単純かつ実用的な N フレームワークについて検討する。 実験では,6つの高リソース言語ペアと1つの低リソース言語ペア,5つのモデルサイズ(3B-72B),さまざまなTS計算予算(最大1024)について検討した。 私たちの結果は a)高リソース言語では、TTSは一般的に、複数のニューラルMT評価指標に従って翻訳品質を向上し、人間の評価はこれらの向上を確認します。 b) より大きな$N$で小さなモデルを増やすことは,より計算コストの高い$N{=}1$で,より大きなモデルを一致するか,または超えることができる。 c) 固定された計算予算の下では、より大きなモデルは一般的により効率的であり、TTSは低リソースのケースではメートル法的な盲点によって品質が低下する可能性がある。

関連論文リスト

• KIT's Low-resource Speech Translation Systems for IWSLT2025: System Enhancement with Synthetic Data and Model Regularization [57.08591486199925]
  本稿では,KIT の低リソーストラック IWSLT 2025 への提出について述べる。 ケースドシステムとエンド・ツー・エンド(E2E)音声翻訳システムを開発した。 事前訓練されたモデルに基づいて、リソースを効率的に活用するためのさまざまな戦略でシステムを微調整します。
  論文  参考訳（メタデータ） (2025-05-26T08:38:02Z)
• Local Mixtures of Experts: Essentially Free Test-Time Training via Model Merging [37.01883745855289]
  専門家(MoE)モデルの混合は、推論コストを増大させることなくモデルキャパシティを増やすための有望なアプローチである。 我々は、MoEパラダイムを桁違いに多くの専門家に拡張するTTMM(Test-Time Model Merging)を提案する。
  論文  参考訳（メタデータ） (2025-05-20T09:39:54Z)
• The Surprising Effectiveness of Test-Time Training for Few-Shot Learning [59.309477460893916]
  言語モデル(LM)は、トレーニングディストリビューション内のタスクにおいて印象的なパフォーマンスを示しているが、しばしば構造的に新しいタスクで苦労している。 LMの推論と少数ショット学習能力を改善するメカニズムとして,テストタイムトレーニング(TTT)の有効性を検討する。 本研究は,新しいタスクにおける文脈内学習の限界を強調し,言語モデルの適応性を高めるためのテストタイムトレーニングの可能性を示した。
  論文  参考訳（メタデータ） (2024-11-11T18:59:45Z)
• Active Learning for Neural Machine Translation [0.0]
  NMTツールキットのJoey NMTにActive Learningと呼ばれるテクニックを組み込んで、低リソース言語翻訳の十分な精度と堅牢な予測を行った。 この研究は、トランスフォーマーベースのNMTシステム、ベースラインモデル(BM)、フルトレーニングモデル(FTM)、アクティブラーニング最小信頼ベースモデル(ALLCM)、アクティブラーニングマージンサンプリングベースモデル(ALMSM)を用いて、英語をヒンディー語に翻訳する。
  論文  参考訳（メタデータ） (2022-12-30T17:04:01Z)
• Better Datastore, Better Translation: Generating Datastores from Pre-Trained Models for Nearest Neural Machine Translation [48.58899349349702]
  Nearest Neighbor Machine Translation (kNNMT)は、トークンレベルの近接した近接検索機構を備えた、ニューラルネットワーク翻訳(NMT)の簡易かつ効果的な方法である。 本稿では,kNN-MTにおけるデータストアの事前学習モデルを活用するフレームワークであるPreDを提案する。
  論文  参考訳（メタデータ） (2022-12-17T08:34:20Z)
• Improving Neural Machine Translation by Denoising Training [95.96569884410137]
  本稿では,ニューラルネットワーク翻訳のためのトレーニングDoTの簡易かつ効果的な事前学習戦略を提案する。 モデルパラメータを、初期段階のソースおよびターゲットサイドのDenoisingタスクで更新し、正常にモデルをチューニングします。 実験によると、DoTは12のバイリンガルと16の多言語方向にわたるニューラルマシン翻訳性能を一貫して改善している。
  論文  参考訳（メタデータ） (2022-01-19T00:11:38Z)
• Translating the Unseen? Yor\`ub\'a $\rightarrow$ English MT in Low-Resource, Morphologically-Unmarked Settings [8.006185289499049]
  特定の特徴が一方で形態素的にマークされているが、他方で欠落または文脈的にマークされている言語間の翻訳は、機械翻訳の重要なテストケースである。 本研究では,Yorub'a の素名詞を英語に翻訳する際に,SMTシステムと2つの NMT システムとの比較を行う。
  論文  参考訳（メタデータ） (2021-03-07T01:24:09Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。