論文の概要: LOPA: Enhancing Spoken Language Assessment via Latent Ordinal Prototype Alignment
- arxiv url: http://arxiv.org/abs/2606.31310v1
- Date: Tue, 30 Jun 2026 08:19:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.136439
- Title: LOPA: Enhancing Spoken Language Assessment via Latent Ordinal Prototype Alignment
- Title(参考訳): LOPA: 潜在順序的プロトタイプアライメントによる音声言語アセスメントの強化
- Abstract要約: マルチモーダル大規模言語モデル(MLLM)は、音声言語アセスメント(SLA)のための有望なパラダイムとして登場した。
本稿では,SLA に潜在順序型アライメント (LOPA) を導入することで,大規模MLLM の必要性を論じる。
- 参考スコア(独自算出の注目度): 16.162901458405788
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Fueled by increasing model scale and multimodal inputs, Multimodal Large Language Models (MLLMs) have emerged as a promising paradigm for Spoken Language Assessment (SLA). While effective, this paradigm often overlooks the intrinsic ordinal structure of language acquisition. This paper works around the necessity of large-scale MLLMs by introducing Latent Ordinal Prototype Alignment (LOPA) for SLA, a prototype-based regularizer that enforces an ordinal geometric prior directly on the latent space. Coupled with Semantic-Anchored Layer Routing (SALR), which adaptively harvests multi-depth representations from a frozen Whisper encoder, our framework achieves an RMSE of 0.361. This performance rivals billion-parameter systems without the need for LLM-based fine-tuning. Further analysis reveals that SALR's synergy with LOPA offers interpretable, criterion-aligned preferences, thereby supporting an efficient and ordinal-aware modeling alternative to current scaling-centric models for SLA.
- Abstract(参考訳): モデルスケールとマルチモーダル入力の増加により,マルチモーダル言語モデル(MLLM)は,音声言語アセスメント(SLA)の有望なパラダイムとして登場した。
効果的ではあるが、このパラダイムは言語習得の本質的な順序構造をしばしば見落としている。
本稿では,潜時空間に直接順序幾何学を強制するプロトタイプベース正規化器であるSLAに対して,Latent Ordinal Prototype Alignment (LOPA)を導入することで,大規模MLLMの必要性を論じる。
凍結したWhisperエンコーダから多次元表現を適応的に抽出するSemantic-Anchored Layer Routing (SALR) と組み合わせて, RMSEの0.361を達成する。
この性能は、LLMベースの微調整を必要とせず、数十億パラメータシステムに匹敵する。
さらなる分析により、SALRとLOPAの相乗効果は解釈可能で基準に整合した嗜好を提供し、SLAの現在のスケーリング中心モデルに代わる効率的で順序対応のモデリングをサポートすることが明らかになった。
関連論文リスト
- Multilingual Fine-Tuning via Localized Gradient Conflict Resolution [20.41455787951831]
我々は、勾配に基づくMOOアルゴリズムを局所的に適用するスケーラブルな分散フレームワークであるBucket-Level MOOを紹介した。
実証的に、Bucket-Level MOOは大きな言語モデルを駆動することで干渉を緩和し、異なる言語固有の次元を構築する。
提案手法は,従来の微調整パラダイムよりも多言語性能を著しく向上させる。
論文 参考訳(メタデータ) (2026-06-04T02:36:30Z) - SignDPO: Multi-level Direct Preference Optimisation for Skeleton-based Gloss-free Sign Language Translation [52.752934028506274]
我々は,新しい多レベル直接参照最適化フレームワークSignDPOを提案する。
SignDPOは、最先端のGloss-freeメソッドよりも一貫して優れていることを示す。
以上の結果から,多レベル選好アライメントは,高エントロピーな骨格軌道と個別言語意味論のギャップを埋める強力なパラダイムであることが示唆された。
論文 参考訳(メタデータ) (2026-04-20T09:59:18Z) - Decision-Level Ordinal Modeling for Multimodal Essay Scoring with Large Language Models [8.881064693093721]
DLOM(Decision-Level Ordinal Modeling)は、言語モデルヘッドを再利用することで明確な順序決定を行う。
マルチモーダルエッセイスコアでは、DLOM-GFはテキストとマルチモーダルスコアログを適応的に組み合わせたゲート融合モジュールを導入している。
マルチモーダルEssayJudgeデータセットの実験では、DLOMはスコアリング特性をまたいだ世代ベースのSFTベースラインよりも改善されている。
論文 参考訳(メタデータ) (2026-03-16T06:40:18Z) - PlaM: Training-Free Plateau-Guided Model Merging for Better Visual Grounding in MLLMs [59.78917775399492]
マルチモーダル命令の微調整はパラドックス的にこのテキストの推論能力を低下させる。
この劣化を緩和するためのトレーニング不要のフレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-12T15:27:51Z) - LoC-Path: Learning to Compress for Pathology Multimodal Large Language Models [19.89635786218384]
ワイルスライド画像(WSI)の理解は、そのギガピクセルスケールと診断関連領域の極端に親和性があるため、基本的に困難である。
既存のスライドレベルの多モード大言語モデル(MLLM)は、重いスライドレベルのエンコーダに依存している。
コストのかかるスライドレベルのエンコーダを冗長性低減モジュールに置き換える,効率的なMLLMフレームワークであるLoC-Pathを導入する。
論文 参考訳(メタデータ) (2025-12-05T03:16:46Z) - Principled RL for Diffusion LLMs Emerges from a Sequence-Level Perspective [85.06838178922791]
強化学習(RL)は自己回帰言語モデルに非常に効果的であることが証明されている。
しかし、これらの手法を拡散大言語モデル(dLLM)に適応させることは、根本的な課題を提起する。
本稿では,全シーケンス生成を単一アクションとして扱い,ELBOを抽出可能なシークエンスレベル確率プロキシとして利用する,原則的RLフレームワークを提案する。
論文 参考訳(メタデータ) (2025-12-03T13:05:32Z) - Segmentation as A Plug-and-Play Capability for Frozen Multimodal LLMs [9.6979217203587]
LENS(Leveraging kEypoiNts for MLLMs)は,新しいプラグアンドプレイソリューションである。
LENSは軽量で訓練可能なヘッドを完全に凍結されたMLLMに取り付ける。
セグメンテーション性能は、リトレーニングベースの手法と競合するか、優れている。
論文 参考訳(メタデータ) (2025-10-19T10:21:01Z) - Quantization Meets dLLMs: A Systematic Study of Post-training Quantization for Diffusion LLMs [78.09559830840595]
本稿では拡散に基づく言語モデルの定量化に関する最初の体系的研究について述べる。
異常に大きなアクティベーション値によって特徴付けられるアクティベーションアウトリーチの存在を同定する。
我々は最先端のPTQ手法を実装し、包括的な評価を行う。
論文 参考訳(メタデータ) (2025-08-20T17:59:51Z) - Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models [48.15777554876988]
伝統的なアライメント手法では、しばしば大きな事前訓練されたモデルを再訓練する必要がある。
本稿では,アライメント処理を重要サンプリングの一種として形式化する新しいtextitResidual Alignment Model (textitRAM) を提案する。
本稿では,トークンレベルの復号化を反復的に行う再サンプリングアルゴリズムを開発した。
論文 参考訳(メタデータ) (2025-05-26T08:53:02Z) - Latent Preference Coding: Aligning Large Language Models via Discrete Latent Codes [54.93980123979578]
我々は、暗黙の要因をモデル化する新しいフレームワークであるLatent Preference Coding (LPC)を紹介する。
LPCは様々なオフラインアライメントアルゴリズムとシームレスに統合し、基礎となる要因とデータからその重要性を自動的に推測する。
論文 参考訳(メタデータ) (2025-05-08T06:59:06Z) - Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。
得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。
MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
論文 参考訳(メタデータ) (2024-05-26T00:29:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。