Fugu-MT 論文翻訳(概要): Latent Ordinal Evidence, Misaligned Outputs: Inference-Time Ordinal Lens Alignment for Multimodal LLMs

論文の概要: Latent Ordinal Evidence, Misaligned Outputs: Inference-Time Ordinal Lens Alignment for Multimodal LLMs

arxiv url: http://arxiv.org/abs/2608.20999v1
Date: Fri, 21 Aug 2026 11:33:22 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-24 14:49:32.517594
Title: Latent Ordinal Evidence, Misaligned Outputs: Inference-Time Ordinal Lens Alignment for Multimodal LLMs
Title（参考訳）: 遅発性規則的証拠, ミスアライメント出力:マルチモーダルLCMにおける推論時間順序レンズアライメント
Abstract要約: MLLMは内部の法定証拠を順序付き桁の出力に確実に変換するかどうかを問う。そこで,本研究では,ライトウェイトなW_Sアンコールレンズを深度デコーダ層上にトレーニングする冷凍バックボーン推論法であるOrdinal Lens Alignment (OLA)を導入する。 OLAは、MLLMを凍結させながら、ほとんどの設定でSOTA LoRAで調整されたOrderChainベースラインを上回り、ほとんどのセルで差別的な順序のベースラインを上回り、すべての設定でオフラインレンズを上回ります。
参考スコア（独自算出の注目度）: 18.72250689769211
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multimodal LLMs apply the language model interface to visual inputs, where ordinal regression tasks such as age estimation, image quality assessment, and disease grading require autoregressive decisions over ordered class labels. We ask whether MLLMs reliably convert internal ordinal evidence into ordered digit-token outputs. Across four ordinal benchmarks and four MLLM backbones, ordinal labels are linearly recoverable from hidden states with Spearman correlation up to 0.938, and a task-designed prompt further sharpens this structure. Yet native digit-token outputs weakly expose it: the unembedding matrix filters the ordinal direction, and the digit-token row space retains below 1.15% across all 16 model-dataset combinations, with a 16 to 77 absolute-point accuracy gap between linear-probe and native outputs. We introduce Ordinal Lens Alignment (OLA), a frozen-backbone inference-time method that trains lightweight W_S-anchored lenses on mid-to-deep decoder layers, fuses them into an ordinal distribution, and corrects only digit-token logits at generation. OLA outperforms the SOTA LoRA-tuned OrderChain baseline in most settings while keeping the MLLM frozen, surpasses discriminative ordinal baselines in most cells, and improves over an offline lens in every setting.
Abstract（参考訳）: 言語モデルインタフェースを視覚入力に適用し、年齢推定、画像品質評価、疾患グレーディングといった順序回帰タスクは順序付きクラスラベルよりも自己回帰的決定を必要とする。 MLLMは内部の法定証拠を順序付き桁の出力に確実に変換するかどうかを問う。 4つの順序付きベンチマークと4つのMLLMバックボーンにまたがって、順序付きラベルは、スピアマン相関が0.938までの隠れ状態から線形に復元可能であり、タスク指定プロンプトによりこの構造をさらに鋭くする。アンエンベディング行列は順序方向をフィルタリングし、デジット・トケンの行空間は16のモデルとデータセットの組み合わせで1.15%以下であり、線形プローブとネイティブ出力の間には16から77の絶対点精度の差がある。そこで,本研究では,Lordinal Lens Alignment (OLA) を導入し,W_Sアンコールレンズを深度デコーダ層上にトレーニングし,それらを正規分布に融合させ,世代ごとのデジタルロジットのみを補正するフリーズバックボーン推論手法を提案する。 OLAは、MLLMを凍結させながら、ほとんどの設定でSOTA LoRAで調整されたOrderChainベースラインを上回り、ほとんどのセルで差別的な順序のベースラインを上回り、すべての設定でオフラインレンズを上回ります。

関連論文リスト

Line-Coupled Language Model [16.11009260112449]
自動回帰言語モデルはデコードステップ毎に1つのトークンを生成し、各フォワードパスの有用な出力を制限する。我々は,複数のテキスト行を同時に進行させる自動回帰モデルであるLine-Coupled Language Model (LCLM)を導入し,各アクティブ行に対して次のトークンを予測する。 881Mパラメータでは、LCLMは平均2.94個のコンテントトークンを生成し、検証エントロピーの損失は2.44であり、前行パスのトークンは1.00で、バニラ自己回帰ベースラインは2.39である。
論文参考訳（メタデータ） (2026-09-07T07:27:40Z)
AnchorScore: A CLIP-Based Diagnostic of MLLM Annotation Difficulty [7.105430294335961]
マルチモーダル大言語モデル(MLLM)は自動アノテーションに広く用いられているが、クラスごとの精度は幅広い。本稿では,MLLMが確実に注釈付けされる可能性が低いクラスの評価を行う,AnchorScoreと呼ばれるフルフレームの定式化を体系的に評価する。
論文参考訳（メタデータ） (2026-08-17T15:10:33Z)
Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文参考訳（メタデータ） (2026-07-08T05:48:57Z)
Same Evidence, Different Answer: Auditing Order Sensitivity in Multimodal Large Language Models [29.673427534201654]
マルチモーダルな大規模言語モデルの5面監査であるFacet-Probeを紹介する。監査対象の18のMLLMはいずれも順序不変ではないことが分かりました。 MLLMの標準報告軸として,クロスオーダーフリップ率を提案する。
論文参考訳（メタデータ） (2026-06-24T17:53:26Z)
Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
論文参考訳（メタデータ） (2026-06-09T13:17:27Z)
OrdinalBench: A Benchmark Dataset for Diagnosing Generalization Limits in Ordinal Number Understanding of Vision-Language Models [0.0]
VLM(Vision-Language Models)は、マルチモーダルベンチマークにまたがって進歩しているが、それでも順序数理解における明確なギャップを示している。評価タスクとして順序数理解を標準化する診断ベンチマークであるOrdinalBenchを提案する。
論文参考訳（メタデータ） (2026-03-08T20:06:45Z)
AR-MAP: Are Autoregressive Large Language Models Implicit Teachers for Diffusion Large Language Models? [58.52365018076441]
拡散大言語モデル(DLLM)は自己回帰モデルに代わる強力な代替手段として登場した。エビデンス・ロウアー・バウンド(ELBO)による推定結果から,DLLMの選好アライメントは依然として困難である。本稿では,選択整合型自己回帰LDMを暗黙の教師として活用し,分散Mアライメントのための新しい伝達学習フレームワークであるAR-MAPを提案する。
論文参考訳（メタデータ） (2026-02-02T14:48:40Z)
Moment and Highlight Detection via MLLM Frame Segmentation [3.7199696376626457]
本稿では,自然言語クエリから映像のモーメントとハイライトを検出する新しい手法を提案する。提案手法は,モーメント検索のためのベースライン(35.28MAP)の上にスコアを付ける。
論文参考訳（メタデータ） (2025-12-13T09:11:59Z)
Break the ID-Language Barrier: An Adaption Framework for LLM-based Sequential Recommendation [13.047167114638285]
ドメイン固有知識に富んだ事前学習ID埋め込みを,大規模言語モデルに統合するフレームワークであるIDLE-Adapterを提案する。 IDLE-Adapterはブリッジとして機能し、疎いユーザ-イテムインタラクションデータを高密度でLLM互換の表現に変換する。
論文参考訳（メタデータ） (2024-11-27T11:59:44Z)
DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文参考訳（メタデータ） (2024-06-25T04:27:53Z)
African or European Swallow? Benchmarking Large Vision-Language Models for Fine-Grained Object Classification [53.89380284760555]
textttFOCI (textbfFine-fine textbfObject textbfClasstextbfIfication) は、きめ細かいオブジェクト分類のための難しい多重選択ベンチマークである。 textttFOCIxspaceは、ImageNet-21kから4つのドメイン固有のサブセットで5つの一般的な分類データセットを補完する。
論文参考訳（メタデータ） (2024-06-20T16:59:39Z)
The Unlocking Spell on Base LLMs: Rethinking Alignment via In-Context Learning [61.68787689234622]
最近の研究であるLIMAは、アライメントチューニングに1Kの例のみを用いることで、アライメント性能も著しく向上することを示した。これにより、アライメントチューニングがベースLLMをどのように変換するかという疑問が提起される。本研究では,チューニングフリーとチューニングベースアライメントのギャップを戦略的プロンプトによって著しく低減できることを示す。
論文参考訳（メタデータ） (2023-12-04T00:46:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。