論文の概要: ALOPE: Adaptive Layer Optimization for Translation Quality Estimation using Large Language Models

• arxiv url: http://arxiv.org/abs/2508.07484v1
• Date: Sun, 10 Aug 2025 20:59:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.875639
• Title: ALOPE: Adaptive Layer Optimization for Translation Quality Estimation using Large Language Models
• Title（参考訳）: ALOPE:大規模言語モデルを用いた翻訳品質推定のための適応層最適化
• Authors: Archchana Sindhujan, Shenbin Qian, Chan Chi Chun Matthew, Constantin Orasan, Diptesh Kanojia,
• Abstract要約: 大規模言語モデル(LLM)は、幅広い自然言語処理タスクで顕著なパフォーマンスを示している。 QE for Machine Translation (MT)は、参照翻訳に頼ることなく、ソースとターゲットのペアの品質を評価する。 本稿では,LCMベースのQE向上を目的とした適応層最適化フレームワークであるALOPEを紹介する。
• 参考スコア（独自算出の注目度）: 8.518082319087375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have shown remarkable performance across a wide range of natural language processing tasks. Quality Estimation (QE) for Machine Translation (MT), which assesses the quality of a source-target pair without relying on reference translations, remains a challenging cross-lingual task for LLMs. The challenges stem from the inherent limitations of existing LLM-based QE systems, which are pre-trained for causal language modelling rather than regression-specific tasks, further elevated by the presence of low-resource languages given pre-training data distribution. This paper introduces ALOPE, an adaptive layer-optimization framework designed to enhance LLM-based QE by restructuring Transformer representations through layer-wise adaptation for improved regression-based prediction. Our framework integrates low-rank adapters (LoRA) with regression task heads, leveraging selected pre-trained Transformer layers for improved cross-lingual alignment. In addition to the layer-specific adaptation, ALOPE introduces two strategies-dynamic weighting, which adaptively combines representations from multiple layers, and multi-head regression, which aggregates regression losses from multiple heads for QE. Our framework shows improvements over various existing LLM-based QE approaches. Empirical evidence suggests that intermediate Transformer layers in LLMs provide contextual representations that are more aligned with the cross-lingual nature of the QE task. We make resultant models and framework code publicly available for further research, also allowing existing LLM-based MT frameworks to be scaled with QE capabilities.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広い自然言語処理タスクで顕著なパフォーマンスを示している。 参照翻訳を頼らずにソースとターゲットのペアの品質を評価する機械翻訳(MT)の品質評価(QE)は、LLMにとって難しい作業である。 この課題は、回帰特化タスクよりも因果言語モデリングのために事前訓練された既存のLLMベースのQEシステム固有の制限に由来する。 本稿では,適応型層最適化フレームワークであるALOPEについて紹介する。このフレームワークは,レイヤワイド適応によりトランスフォーマー表現を再構成し,回帰ベースの予測を改善することで,LCMベースのQEを向上させる。 我々のフレームワークは低ランクアダプタ(LoRA)を回帰タスクヘッドと統合し、選択したトレーニング済みトランスフォーマー層を利用して言語間アライメントを改善する。 レイヤ固有の適応に加えて、ALOPEは複数のレイヤからの表現を適応的に結合する2つの戦略力学的重み付けと、QEのために複数のヘッドからの回帰損失を集約するマルチヘッド回帰を導入している。 我々のフレームワークは、既存のLLMベースのQEアプローチよりも改善されている。 LLMの中間トランスフォーマー層は、QEタスクの言語間の性質とより整合した文脈表現を提供する、という実証的な証拠がある。 結果として得られたモデルとフレームワークのコードは、さらなる研究のために公開され、既存のLLMベースのMTフレームワークをQE機能で拡張できるようにします。

関連論文リスト

• Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
  本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。 古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。 コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
  論文  参考訳（メタデータ） (2025-07-21T10:52:14Z)
• Distilling Transitional Pattern to Large Language Models for Multimodal Session-based Recommendation [67.84581846180458]
  セッションベースのレコメンデーション(SBR)は、匿名セッションに基づいて次の項目を予測する。 近年のMultimodal SBR法は、モダリティ学習に単純化された事前学習モデルを用いるが、セマンティック・リッチネスに制限がある。 蒸留パラダイムを拡張し,MSBRの促進のための遷移パターンを分離・整合させる多モードLCM拡張フレームワークTPADを提案する。
  論文  参考訳（メタデータ） (2025-04-13T07:49:08Z)
• Bridging the Linguistic Divide: A Survey on Leveraging Large Language Models for Machine Translation [33.08089616645845]
  大言語モデル(LLM)は機械翻訳(MT)のランドスケープを再構築した 我々は,数発のプロンプト,言語間移動,パラメータ効率の微調整などの手法を解析する。 幻覚、評価の不整合、遺伝バイアスなど、永続的な課題について議論する。
  論文  参考訳（メタデータ） (2025-04-02T17:26:40Z)
• LSAQ: Layer-Specific Adaptive Quantization for Large Language Model Deployment [12.80921403367322]
  大規模言語モデル(LLM)は、様々な領域で例外的なパフォーマンスを示す。 LLMのサイズとメモリ要件を削減した量子化技術は、リソース制限されたエッジデバイスにLLMをデプロイするのに有効である。 適応量子化システムLSAQ(Layer-Specific Adaptive Quantization)を提案する。
  論文  参考訳（メタデータ） (2024-12-24T03:43:15Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Don't Rank, Combine! Combining Machine Translation Hypotheses Using Quality Estimation [0.6998085564793366]
  本研究は品質推定量(QE)を用いて翻訳を合成するQE融合を導入する。 提案手法は, 半数以上の症例において, 新規な翻訳を生成できることを実証する。 我々は、QE融合がプール内の候補数と線形にスケールすることを実証的に確立する。
  論文  参考訳（メタデータ） (2024-01-12T16:52:41Z)
• Examining Scaling and Transfer of Language Model Architectures for Machine Translation [51.69212730675345]
  言語モデル(LM)は単一のレイヤのスタックで処理し、エンコーダ・デコーダモデル(EncDec)は入力と出力の処理に別々のレイヤスタックを使用する。 機械翻訳において、EncDecは長年好まれてきたアプローチであるが、LMの性能についての研究はほとんどない。
  論文  参考訳（メタデータ） (2022-02-01T16:20:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。