論文の概要: Dynamic Meta-Metrics: Source-Sentence Conditioned Weighting for MT Evaluation
- arxiv url: http://arxiv.org/abs/2605.09098v1
- Date: Sat, 09 May 2026 18:12:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 02:24:05.519237
- Title: Dynamic Meta-Metrics: Source-Sentence Conditioned Weighting for MT Evaluation
- Title(参考訳): 動的メタメトリクス:MT評価のための源文条件付き重み付け
- Abstract要約: 既存のメトリクスのソース/文条件の組み合わせを学習する機械翻訳評価フレームワークであるDynamic Meta-Metrics (DMM)を提案する。
本研究では,クラスタ毎の解釈可能なコンバインダーと,ソースクラスタの責務と重みが連続的に変化する探索的ソフトコンディショニング拡張について検討する。
- 参考スコア(独自算出の注目度): 5.209978646865495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose Dynamic Meta-Metrics (DMM), a framework for machine translation evaluation that learns source-sentence conditioned combinations of existing metrics. Rather than relying on a single static ensemble or language-specific weighting, DMM adapts the metric combination based on properties of the source segment. We study hard conditioning, which fits an interpretable combiner per cluster, and an exploratory soft-conditioned extension whose weights vary continuously with source-cluster responsibilities. We evaluate DMM on the WMT Metrics Shared Task data across multiple language pairs using pairwise agreement measures at the system and segment levels. Across settings, MLP-based combinations outperform linear and Gaussian process-based ensembles, and introducing soft conditioning yields gains over linear models.
- Abstract(参考訳): 既存のメトリクスのソース/文条件の組み合わせを学習する機械翻訳評価フレームワークであるDynamic Meta-Metrics (DMM)を提案する。
単一の静的アンサンブルや言語固有の重み付けに頼るのではなく、DMMはソースセグメントの特性に基づいてメートル法の組み合わせを適用する。
本研究では,クラスタ毎の解釈可能なコンバインダーと,ソースクラスタの責務と重みが連続的に変化する探索的ソフトコンディショニング拡張について検討する。
我々は,WMTメトリックス共有タスクデータに対するDMMを,システムとセグメントレベルでのペアワイズ合意尺度を用いて評価する。
設定全体にわたって、MLPベースの組み合わせは線形およびガウス的なプロセスベースのアンサンブルよりも優れており、ソフトコンディショニングの導入は線形モデルよりも有利である。
関連論文リスト
- Multimodal Distribution Matching for Vision-Language Dataset Distillation [50.411341509805936]
マルチモーダル分散マッチング(Multimodal Distribution Matching)は、効率的かつ一般化可能なマルチモーダル蒸留のための幾何学的枠組みである。
MDMはデータ、モデル、損失レベルで補完的なコンポーネントを統合する。
マルチモーダルなセマンティクスを保存し、蒸留コストを大幅に削減し、建築全体にわたって頑丈な、コンパクトな合成セットを生成する。
論文 参考訳(メタデータ) (2026-05-22T10:41:58Z) - Large Multimodal Models as General In-Context Classifiers [73.11242790834383]
本稿では,この回答がLMMの重要な能力,すなわちコンテキスト内学習を見落としていることを論じる。
我々は、クローズドワールド分類のための多様なデータセットに関する最先端のLMMをベンチマークし、そのゼロショット性能はCLIPよりも低いが、いくつかのインコンテキスト例を持つLMMは、キャッシュベースのアダプタと対照的なVLMをマッチまたは超える可能性があることを発見した。
この分析をオープンワールド設定に拡張し,LMMの生成特性をタスクに適したものにする。
論文 参考訳(メタデータ) (2026-02-26T17:08:18Z) - MaD-Mix: Multi-Modal Data Mixtures via Latent Space Coupling for Vision-Language Model Training [54.78779514101305]
MaD-Mixは、VLMトレーニングのためのマルチモーダルデータ混合を導出する、原則化されたフレームワークである。
MaD-Mixは様々なベンチマークでVLMトレーニングを高速化する。
複雑なトリモーダルビデオ-画像-テキストのシナリオでは、MaD-Mixは均一な重量よりも平均的な精度を向上する。
論文 参考訳(メタデータ) (2026-02-08T03:07:36Z) - Self-Supervised Borrowing Detection on Multilingual Wordlists [0.0]
本稿では,多言語単語リストにおける借用語検出に対する完全自己教師型アプローチを提案する。
この手法は,大域対応モデルに基づくPMI類似度と,音声特徴ベクトルに基づいて訓練された軽量コントラスト成分の2つの情報源を組み合わせる。
論文 参考訳(メタデータ) (2025-12-01T14:20:03Z) - BTW: A Non-Parametric Variance Stabilization Framework for Multimodal Model Integration [20.600001069987318]
トレーニング中のモダリティ重要度を動的に調整するために,BTW(Beyond Two-modality Weighting)を提案する。
BTWは、各ユニモーダルと現在のマルチモーダル予測とのばらつきを測定することで、サンプル毎のKL重みを計算する。
本手法は回帰性能と多クラス分類精度を大幅に向上させる。
論文 参考訳(メタデータ) (2025-08-25T23:00:38Z) - Revitalizing Saturated Benchmarks: A Weighted Metric Approach for Differentiating Large Language Model Performance [3.666887868385651]
既存のベンチマークは飽和しており、データ汚染などの要因によりモデルパフォーマンスの分離に苦慮している。
本稿では,モデル分離の強化によってベンチマークを活性化する新しい重み付き計量である拡張モデル微分メトリックを紹介する。
論文 参考訳(メタデータ) (2025-03-07T16:25:09Z) - Towards Zero-Shot Multimodal Machine Translation [64.9141931372384]
本稿では,マルチモーダル機械翻訳システムの学習において,完全教師付きデータの必要性を回避する手法を提案する。
我々の手法はZeroMMTと呼ばれ、2つの目的の混合で学習することで、強いテキストのみの機械翻訳(MT)モデルを適応させることである。
本手法が完全に教師付きトレーニングデータを持たない言語に一般化されることを証明するため,CoMMuTE評価データセットをアラビア語,ロシア語,中国語の3言語に拡張した。
論文 参考訳(メタデータ) (2024-07-18T15:20:31Z) - Breeding Machine Translations: Evolutionary approach to survive and
thrive in the world of automated evaluation [1.90365714903665]
本稿では,機械翻訳(MT)システムによって生成されるn-bestリストを遺伝的アルゴリズム(GA)で修正する手法を提案する。
本手法はMTの品質向上と評価指標の弱点の同定に革新的な手法を提供する。
論文 参考訳(メタデータ) (2023-05-30T18:00:25Z) - Rethinking the Metric in Few-shot Learning: From an Adaptive
Multi-Distance Perspective [30.30691830639013]
距離の異なる指標の寄与について検討し,適応型融合方式を提案する。
アダプティブ・メトリックス・モジュール(AMM)に基づいて、AMMやグローバル・アダプティブ・ロス(GAL)を含む数発の分類フレームワークであるAMTNetを設計する。
実験では,提案したAMMは実測値の融合モジュールよりも2%高い性能を達成し,AMTNetは複数のベンチマークデータセットで最先端の性能を向上する。
論文 参考訳(メタデータ) (2022-11-02T05:30:03Z) - Alibaba-Translate China's Submission for WMT 2022 Metrics Shared Task [61.34108034582074]
私たちはUNITE(Unified Translation Evaluation)のコアアイデアに基づいてシステムを構築します。
モデル事前学習の段階では、まず擬似ラベル付きデータ例をUNITEの継続事前訓練に適用する。
微調整の段階では、過去のWMTコンペティションの直接評価(DA)と多次元品質メトリクス(MQM)のデータの両方を使用します。
論文 参考訳(メタデータ) (2022-10-18T08:51:25Z) - Meta-Causal Feature Learning for Out-of-Distribution Generalization [71.38239243414091]
本稿では,協調タスク生成モジュール (BTG) とメタ因果特徴学習モジュール (MCFL) を含む,バランス付きメタ因果学習器 (BMCL) を提案する。
BMCLは、分類のためのクラス不変の視覚領域を効果的に識別し、最先端の手法の性能を向上させるための一般的なフレームワークとして機能する。
論文 参考訳(メタデータ) (2022-08-22T09:07:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。