論文の概要: ESTS at WMT26: Routing-Informed Expert Pruning for Model Compression
- arxiv url: http://arxiv.org/abs/2609.12310v1
- Date: Fri, 11 Sep 2026 00:30:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.575881
- Title: ESTS at WMT26: Routing-Informed Expert Pruning for Model Compression
- Title（参考訳）: ESTS at WMT26: Routing-informed Expert Pruning for Model Compression
- Abstract要約: 制限なしWMT26モデル圧縮共有タスクへの6つの提案について述べる。
タスク固有のルーティングマスを使用して、専門家をランク付けし、言語間ルーティングのばらつきを利用して、レイヤ間の保持容量を割り当て、低重要の専門家を物理的に排除します。
- 参考スコア（独自算出の注目度）: 41.27464926788608
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We describe six submissions under the team name ESTS to the unconstrained WMT26 Model Compression Shared Task for English--Simplified Chinese and English--Egyptian Arabic. We submit three compression operating points per translation direction, all derived from GPT-OSS-20B. We use task-specific routing mass to rank experts and cross-lingual routing divergence to allocate retained capacity across layers, then physically remove low-importance experts. The resulting specialists are recovery-tuned on GPT-5.1-generated synthetic translation data and further compressed by applying MXFP4 quantization to the retained expert projection weights. We additionally implement a robust inference system for the instruction-conditioned WMT26 setting, including category inference, output validation, retries, segmented fallback, and source-owned JSON reconstruction. Across our six submissions, parameter counts range from 4.186B to 7.770B and packed artifact sizes from 4.55 to 6.33~GiB. Internal xCOMET-XL evaluation using GPT-5.1 pseudo-references provides an internal comparison across the submitted compression operating points.
- Abstract（参考訳）: チーム名はESTSで、制限なしのWMT26 Model Compression Shared Task for English--Simplified Chinese and English--Egyptian Arabic。
我々は、GPT-OSS-20Bから派生した翻訳方向毎の3つの圧縮動作点を提出する。
タスク固有のルーティングマスを使用して、専門家をランク付けし、言語間ルーティングのばらつきを利用して、レイヤ間の保持容量を割り当て、低重要の専門家を物理的に排除します。
得られたスペシャリストは、GPT-5.1の生成した合成翻訳データに基づいてリカバリ調整され、さらにMXFP4量子化を適用して圧縮される。
さらに、カテゴリ推論、出力検証、再試行、セグメント化フォールバック、ソース所有のJSON再構成を含む、命令条件付きWMT26設定のための堅牢な推論システムを実装した。
6つのサブミッション全体にわたって、パラメータ数は4.186Bから7.770Bまでで、パッケージ化されたアーティファクトサイズは4.55から6.33~GiBまでである。
GPT-5.1擬似参照を用いた内部xCOMET-XL評価は、提案された圧縮操作点間の内部比較を提供する。
関連論文リスト
- Where Post-Training Quantization Breaks Text Embedders: A Measured Map Across Four Embedder Families [2.8678936590409028]
ビット幅とグループサイズのグリッドにまたがる4つのアーキテクチャファミリから5つのチェックポイントを定量化する。
全ての証明は、前述の通り転送に失敗する。
安価な再構成プロキシは、均一なビット幅のスクリーニングに有用であるが、どのテンソルを保護するかを選択する上ではかなり信頼性が低い。
論文 参考訳（メタデータ） (2026-09-14T21:57:47Z) - Post-Training Ternarization of Qwen3-4B Capability, Effective Bit Budget, Storage Compression, and Deployment [0.0]
ウルトラロービット言語モデルは、ストレージとメモリ帯域幅を削減できるが、名目上の"1.58ビット"ラベルは、格納された表現、保持機能、実行時の動作を完全に記述していない。
KOTMS回転,E2M-ATQ三元化,およびTWLAからのGPTQスタイルの誤り補償を用いた4B-パラメータモデルQwenの終端学習後変換について検討した。
有効ビット会計,タスク能力保持,複雑度,キャリブレーション感度,チェックポイント構成,デプロイメント動作を評価した。
論文 参考訳（メタデータ） (2026-09-02T00:42:54Z) - Studying quantization trade-offs for efficient inference deployment in machine translation [6.265237910291255]
本研究では,EuroLLM citepmartins2025eurollm と Hy-MT2 citepzheng2026hy という2つの翻訳モデルの量子化トレードオフについて検討した。
論文 参考訳（メタデータ） (2026-07-31T13:15:11Z) - CHERRY: Compressed Hierarchical Experts with Recurrent Representational Yield [1.2203679037551938]
計算効率のよい言語モデルを学習するための3つの手法について検討する。
SGTはセマンティックペイロードを持つ出力トークンの15%を監督する。
リカレントリカバリによる 深度圧縮
韓国の基盤モデルであるCHERRY-1.8Bでこれらの手法を検証する。
論文 参考訳（メタデータ） (2026-06-30T15:14:38Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳（メタデータ） (2026-06-02T07:01:33Z) - IFMTBench: A Comprehensive Benchmark for Multilingual Translation Instruction Following [20.104094920745315]
従来のメトリクスは意味的忠実さを捉えるが、制約の順守についての信号はほとんど提供しない。
7つの言語に従う多言語翻訳のベンチマークであるベンチを導入する。
論文 参考訳（メタデータ） (2026-05-27T09:35:27Z) - FlexiGPT: Pruning and Extending Large Language Models with Low-Rank Weight Sharing [59.12511498024836]
本稿では,重み付けスコアに基づいてモデルブロックを選択的にプルーする大規模言語モデル(LLM)をプルーする手法を提案する。
重み共有機構を用いて各刈り込みブロックを置換する原理的計量を提案する。
経験的評価は、既存の方法よりも大幅にパフォーマンスが向上したことを示している。
論文 参考訳（メタデータ） (2025-01-24T18:46:37Z) - Contrastive Preference Optimization: Pushing the Boundaries of LLM Performance in Machine Translation [50.00235162432848]
我々は22Kパラレル文と12Mパラメータしか持たないALMAモデルを訓練する。
ALMA-Rと呼ばれる結果のモデルは、WMTコンテストの勝者とGPT-4のパフォーマンスと一致または上回ることができる。
論文 参考訳（メタデータ） (2024-01-16T15:04:51Z) - ComPEFT: Compression for Communicating Parameter Efficient Updates via Sparsification and Quantization [92.36876698509164]
PEFTモデルにおける微調整残差(タスクベクトル)を圧縮する新しい手法であるComPEFTを提案する。
200M - 65Bパラメータを持つT5, T0, LLaMA ベースのモデルにおいて, ComPEFT は圧縮比 8x - 50x を達成する。
論文 参考訳（メタデータ） (2023-11-22T05:28:59Z) - Vega-MT: The JD Explore Academy Translation System for WMT22 [67.71016343958556]
言語ペアとモデルサイズという2つの主要な要因をスケールアップすることで、これまでの作業の限界を押し上げます。
第1位はZh-En(45.1)、En-Zh(61.7)、De-En(58.0)、En-De(63.2)、Cs-En(74.7)、Ru-En(64.9)、En-Ru(69.6)、En-Ja(65.1)、En-Cs(95.3)、Ja-En(40.6)である。
論文 参考訳（メタデータ） (2022-09-20T03:45:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。