論文の概要: Iterative Layer Pruning for Efficient Translation Inference
- arxiv url: http://arxiv.org/abs/2510.22763v1
- Date: Sun, 26 Oct 2025 17:26:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 19:54:32.556957
- Title: Iterative Layer Pruning for Efficient Translation Inference
- Title(参考訳): 効率的な翻訳推論のための反復層プルーニング
- Authors: Yasmin Moslem, Muhammad Hazim Al Farouq, John D. Kelleher,
- Abstract要約: 機械翻訳学会(WMT 2025)におけるモデル圧縮トラックへの提出について紹介する。
実験では, 層重み解析によって導かれる反復層プルーニングについて検討した。
提案手法は,ベースラインモデルの翻訳品質を維持しつつ,モデルサイズと推論時間を大幅に短縮する。
- 参考スコア(独自算出の注目度): 3.802773461517422
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have transformed many areas of natural language processing, including machine translation. However, efficient deployment of LLMs remains challenging due to their intensive computational requirements. In this paper, we address this challenge and present our submissions to the Model Compression track at the Conference on Machine Translation (WMT 2025). In our experiments, we investigate iterative layer pruning guided by layer importance analysis. We evaluate this method using the Aya-Expanse-8B model for translation from Czech to German, and from English to Egyptian Arabic. Our approach achieves substantial reductions in model size and inference time, while maintaining the translation quality of the baseline models.
- Abstract(参考訳): 大規模言語モデル(LLM)は、機械翻訳を含む自然言語処理の多くの領域を変換している。
しかし, LLM の効率的な展開は, 計算量が多いため, 依然として困難である。
本稿では,この課題に対処し,機械翻訳会議(WMT 2025)におけるモデル圧縮トラックへの提出について述べる。
実験では, 層重み解析によって導かれる反復層プルーニングについて検討した。
チェコ語からドイツ語、英語からアラビア語への翻訳にAya-Expanse-8Bモデルを用いて評価を行った。
提案手法は,ベースラインモデルの翻訳品質を維持しつつ,モデルサイズと推論時間を大幅に短縮する。
関連論文リスト
- Language Ranker: A Lightweight Ranking framework for LLM Decoding [70.01564145836129]
本稿では,レコメンデーションパイプラインのランク付け段階に類似した復号過程を概念化する。
この知見に触発されて、我々はLanguage Rankerを提案する。
実験の結果、Language Rankerは大規模報酬モデルに匹敵するパフォーマンスを達成する一方で、0.5Mの追加パラメータしか必要としないことがわかった。
論文 参考訳(メタデータ) (2025-10-23T17:56:46Z) - Bridging the Linguistic Divide: A Survey on Leveraging Large Language Models for Machine Translation [33.08089616645845]
大言語モデル(LLM)は機械翻訳(MT)のランドスケープを再構築した
我々は,数発のプロンプト,言語間移動,パラメータ効率の微調整などの手法を解析する。
幻覚、評価の不整合、遺伝バイアスなど、永続的な課題について議論する。
論文 参考訳(メタデータ) (2025-04-02T17:26:40Z) - The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。
実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。
我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
論文 参考訳(メタデータ) (2024-05-02T14:49:50Z) - Towards Effective Disambiguation for Machine Translation with Large
Language Models [65.80775710657672]
我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。
実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
論文 参考訳(メタデータ) (2023-09-20T22:22:52Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳(メタデータ) (2023-09-13T04:06:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。