Fugu-MT 論文翻訳(概要): CompactQE: Interpretable Translation Quality Estimation via Small Open-Weight LLMs

論文の概要: CompactQE: Interpretable Translation Quality Estimation via Small Open-Weight LLMs

arxiv url: http://arxiv.org/abs/2605.15763v1
Date: Fri, 15 May 2026 09:22:55 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-18 21:22:26.232671
Title: CompactQE: Interpretable Translation Quality Estimation via Small Open-Weight LLMs
Title（参考訳）: CompactQE: 小型オープンウェイトLCMによる解釈可能な翻訳品質評価
Abstract要約: 機械翻訳における最先端の品質評価は、大規模でプロプライエタリなLLMに依存している。より小型のオープンソース LLM が,実行可能で費用効率が高く,プライバシ保護の代替手段であることを実証する。
参考スコア（独自算出の注目度）: 0.5599792629509229
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Current state-of-the-art Quality Estimation (QE) in machine translation relies on massive, proprietary LLMs, raising data privacy concerns. We demonstrate that smaller, open-source LLMs (<30B parameters) are a viable, cost-effective and privacy-preserving alternative. Using a single-pass prompting strategy, our models simultaneously generate quality scores, MQM error annotations, suggested error corrections, and full post-editions. Our analysis shows these models achieve highly competitive system-level correlations with human judgments that outperform traditional neural metrics, fine-tuned models, and human inter-annotator agreement, effectively approximating the capabilities of much larger proprietary LLMs.
Abstract（参考訳）: 機械翻訳における現在の最先端の品質評価(QE)は、大規模でプロプライエタリなLLMに依存し、データのプライバシに関する懸念を高めている。より小型のオープンソース LLM (<30B パラメータ) が,実用的で費用対効果,プライバシ保護の代替手段であることを実証した。単一パスプロンプト戦略を用いて、私たちのモデルは品質スコア、MQMエラーアノテーション、提案されたエラー修正、完全な後編集を同時に生成します。分析の結果、これらのモデルは従来の神経メトリクス、微調整モデル、およびアノテーション間の合意よりも優れているという人間の判断と高い競争力を持つシステムレベルの相関を達成し、より大きなプロプライエタリなLLMの能力を効果的に近似した。

関連論文リスト

Human Grounded Evaluation of Large Language Models for Optical Network Automation [1.0709603403936399]
大規模言語モデル(LLM)は、ネットワーク自動化にますます採用されているが、その出力品質と推論コストはかなり異なる。 We present HuGLEN, a stepwise evaluation pipeline that using a LLM-as-a-judge with a small set of expert ratings。本稿では,光ネットワーク品質評価タスク(QoT)を演算子フレンドリな説明に変換するために,説明可能な人工知能(XAI)モデルから出力を変換するためのHuGLENを実証する。
論文参考訳（メタデータ） (2026-07-20T15:36:00Z)
Robust LLM Performance Certification via Constrained Maximum Likelihood Estimation [14.465019747508604]
制約付き最大自由度推定(MLE)に基づくLLM故障率推定の新しい,実用的で効率的なアプローチを提案する。我々は、予測パワー推論(PPI)のような最先端のベースラインに対して、包括的な実証研究を通じてアプローチを検証する。
論文参考訳（メタデータ） (2026-03-11T21:48:40Z)
Decoupling Perception and Calibration: Label-Efficient Image Quality Assessment Framework [78.58395822978271]
LEAFはラベル効率の良い画像品質評価フレームワークである。 MLLM教師の知覚的品質の先行を軽量な学生回帰器に蒸留する。提案手法は,強いMOS対応相関を維持しつつ,人間のアノテーションの必要性を著しく低減する。
論文参考訳（メタデータ） (2026-01-28T15:15:17Z)
Uncertainty-Aware Collaborative System of Large and Small Models for Multimodal Sentiment Analysis [17.98292973608615]
マルチモーダル感情分析のための強力なMLLMと軽量なベースラインモデルを編成する新しい不確実性認識協調システム(U-ACS)を提案する。提案手法は,スタンドアロンのMLLMに比べて計算資源のごく一部しか必要とせず,最先端の性能を実現する。
論文参考訳（メタデータ） (2025-08-27T16:01:58Z)
Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
論文参考訳（メタデータ） (2025-02-03T17:13:03Z)
Rational Tuning of LLM Cascades via Probabilistic Modeling [0.9208007322096532]
大規模言語モデル(LLM)の連立性能分布の確率的モデルを提案する。ベイズ最適化を用いた信頼しきい値の選択と比較すると、マルコフパラメトリックコプラモデルの方がエラーコストのトレードオフに有利である。異なるLLMの誤差率間の相互作用に関する我々のフレームワークの帰納的仮定は、サンプル効率を高める。
論文参考訳（メタデータ） (2025-01-16T07:58:33Z)
Efficient Self-Improvement in Multimodal Large Language Models: A Model-Level Judge-Free Approach [31.654345704242512]
本稿では,新しいモデルレベルの判断自由自己改善フレームワークを提案する。本手法では,検証ループにおけるMLLMの必要性を解消しつつ,制御されたフィードバック機構を用いる。計算要求が大幅に小さく、精度とリコールの精度が向上する。
論文参考訳（メタデータ） (2024-11-26T00:44:37Z)
Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
論文参考訳（メタデータ） (2024-10-07T23:38:58Z)
Large Language Models Must Be Taught to Know What They Don't Know [97.90008709512921]
正解と誤解の小さなデータセットを微調整すると、高い一般化と計算オーバーヘッドの少ない不確実性推定が得られることを示す。また,確実な不確実性推定を可能にする機構についても検討し,多くのモデルを汎用的不確実性推定器として利用することができることを示した。
論文参考訳（メタデータ） (2024-06-12T16:41:31Z)
Illuminating Blind Spots of Language Models with Targeted Agent-in-the-Loop Synthetic Data [9.982616173090264]
言語モデル(LM)は、様々なタスクにおいて顕著な精度を達成したが、高信頼の誤分類(UU)に弱いままである。 UUは機能領域の盲点にクラスタ化され、ハイリスクなアプリケーションに重大なリスクをもたらす。知的エージェントを教師として利用し,UU型エラーを特徴付けることによって,盲点緩和に対処する新しい手法を提案する。
論文参考訳（メタデータ） (2024-03-26T16:49:25Z)
Calibrating Large Language Models with Sample Consistency [76.23956851098598]
本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
論文参考訳（メタデータ） (2024-02-21T16:15:20Z)
From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文参考訳（メタデータ） (2023-08-23T09:45:29Z)
The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。テキスト内学習と微調整によるラベル付きデータの影響について検討する。次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文参考訳（メタデータ） (2023-08-14T17:17:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。