論文の概要: Estimating Uncertainty of Omnimodal Large Language Models via External Omnimodal Embeddings

• arxiv url: http://arxiv.org/abs/2610.16933v1
• Date: Mon, 12 Oct 2026 15:13:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 04:05:30.12986
• Title: Estimating Uncertainty of Omnimodal Large Language Models via External Omnimodal Embeddings
• Title（参考訳）: 外部Omnimodal EmbeddingによるOmnimodal Large Language Modelの不確かさの推定
• Abstract要約: 本稿では,外部のOmni-Modal埋め込みを通じて,Chain-of-Thought応答を完全にスコアするモデルに依存しないUQフレームワークを提案する。 私たちの貢献は信号のファミリーであり、単一の推定器ではなく、信頼できるタイミングの実証的な特徴付けです。
• 参考スコア（独自算出の注目度）: 5.307582517355745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has investigated Omni-modal Large Language Models (OLLMs), models which can take multiple modalities and their combinations as input, as a way forward to have systems really capable of interacting with their environment. Uncertainty quantification (UQ) for OLLMs, however, remains an open problem: existing methods largely target at most two modalities at a time, require access to model internals, or re-invocation of the evaluated model. We propose a model-agnostic UQ framework that scores a Chain-of-Thought response entirely through external omni-modal embeddings, measuring the grounding of the reasoning in the multimodal input and its internal coherence. Our contribution is the family of signals and an empirical characterisation of when it is reliable, rather than any single estimator: we find the geometric scores to be largely redundant with one another (mean within-split rank correlation 0.91-0.94) but strongly complementary to answer-dispersion baselines, and their reliability to depend on the generator and the modality. The resulting confidence estimates require no access to logits, hidden states or gradients of the evaluated model and no additional inference from it; they do require segmenting the reasoning trace with an auxiliary model and, for the aggregated score, a labelled calibration set that we show can be as small as 25 examples (although we also show that such a set buys little over fixing one signal a priori). On UNO-Bench, with both a closed and an open model, our scores yield small gains over self-consistency (systematic with the closed generator, mixed with the open one) and are competitive with self-verbalisation and internal-state baselines, especially in open-ended, omni-modal questions where previous state-of-the-art baselines struggle.
• Abstract（参考訳）: 近年,Omni-modal Large Language Models (OLLMs) と呼ばれる,複数のモダリティと組み合わせを入力として扱うことのできるモデルについて検討している。 しかし、OLLMの不確かさの定量化(UQ)は未解決の問題であり、既存の手法は1度に少なくとも2つのモダリティを目標としており、モデル内部へのアクセスや評価モデルの再起動を必要としている。 本稿では,マルチモーダル入力とその内部コヒーレンスにおける推論の基底を計測し,外部のオムニモーダル埋め込みを通して,チェーン・オブ・サート応答を完全にスコアするモデルに依存しないUQフレームワークを提案する。 我々の貢献は信号の族であり、単一の推定器よりも信頼性の高いときの実験的特徴付けである: 幾何スコアは互いにほとんど冗長である(つまり、内部のランク相関0.91-0.94)が、応答分散ベースラインに強く相補的であり、生成元とモダリティに依存する信頼度である。 その結果得られた信頼度推定は、評価されたモデルのロジット、隠れ状態、勾配へのアクセスを必要とせず、追加の推論も必要とせず、補助モデルによる推論トレースのセグメンテーションを必要とせず、集約されたスコアに対して、表示可能なラベル付きキャリブレーションセットを25個の例に制限する(ただし、そのようなセットが1つのシグナルを事前に固定する上でほとんど購入しないことを示す)。 UNO-Benchでは、クローズドモデルとオープンモデルの両方で、我々のスコアは自己整合性(クローズドジェネレータと混合されたシステム、オープンモデル)よりも小さな利得を得ており、特に前回の最先端のベースラインが苦労するオープンエンドのオムニモーダルな問題において、自己言語化と内部状態のベースラインと競合する。

関連論文リスト

• UG-UMRE: Uncertainty-Guided Modality Augmentation and Distributional Calibration for Unified Multimodal Relation Extraction [15.235667200083226]
  不確実性駆動一様拡張(UDUA)とJAUA(Joint Aleatoric Uncertainty Alignment)を提案する。 UDUAは、セマンティック一貫性を維持しながら、効果的にノイズを除去する。 JAUAleverages probabilistic distribution consistency to construct a shared latent space。 3つのベンチマークデータセットの実験は、UG-UMREが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2026-08-05T15:18:16Z)
• Latent Confidence Alignment for LLM Self-Assessment [8.73168195475753]
  本稿では,モデル能力と項目難易度を指標として,モデル自己評価と潜在誤り確率との整合性を測定するためのモデルベース潜在能力フレームワークとメタ認知的視点を提案する。 20モデルを用いた医療領域データセットの実験は,提案手法がモデル能力に影響を与えることなく自己評価品質を向上させることを示す。
  論文  参考訳（メタデータ） (2026-06-20T08:13:31Z)
• A Mutual Information Lower Bound for Multimodal Regression Active Learning [9.04041860173466]
  Mutual Information Lower Bound (MI-LB) は、Mixture Network アンサンブルのクローズドフォーム近似である。 我々は,MI-LBがマルチモーダルシステムを備えたベンチマークで評価されたベースラインのすべてに一致または打ち勝つことを示す。
  論文  参考訳（メタデータ） (2026-05-14T14:50:47Z)
• Unified Multimodal Uncertain Inference [81.64340342055327]
  Unified Multimodal Uncertain Inference (UMUI)は、テキスト、オーディオ、ビデオにまたがるタスクである。 自己整合型教師校正と分布に基づく校正型自信探索を併用して予測を行うCLUE(Calibrated Latent Uncertainty Estimation)を提案する。
  論文  参考訳（メタデータ） (2026-04-09T18:46:34Z)
• Trust in One Round: Confidence Estimation for Large Language Models via Structural Signals [13.89434979851652]
  大規模言語モデル(LLM)は、エラーが社会的、科学的、安全コストの高い領域にますます展開されている。 本稿では,出力の正確性を予測する単一パスモデル依存フレームワークであるStructure Confidenceを提案する。
  論文  参考訳（メタデータ） (2026-02-01T02:35:59Z)
• When Modalities Conflict: How Unimodal Reasoning Uncertainty Governs Preference Dynamics in MLLMs [15.617378124319472]
  マルチモーダル大言語モデル(MLLM)は、異なるモーダルが矛盾する情報を提供する場合、競合を解決する必要がある。 本稿では,モダリティを,相対的推論の不確かさと本質的なモダリティ選好の2つの基本的要因に分解する新しい枠組みを導入する。
  論文  参考訳（メタデータ） (2025-11-04T04:11:31Z)
• NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
  NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。 NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。 さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
  論文  参考訳（メタデータ） (2025-10-15T16:25:18Z)
• Self-Consistency as a Free Lunch: Reducing Hallucinations in Vision-Language Models via Self-Reflection [71.8243083897721]
  視覚言語モデルは、しばしば詳細を幻覚させ、既存のオブジェクトを生成するか、出力信頼性を損なう不正確な属性を生成する。 本稿では、長文応答と短文応答の自己整合性を利用して、学習のための選好ペアを生成する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-27T10:37:11Z)
• Benchmarking Multi-modal Semantic Segmentation under Sensor Failures: Missing and Noisy Modality Robustness [61.87055159919641]
  マルチモーダルセマンティックセグメンテーション(MMSS)は、モーダル間で補完情報を統合することで、単一モーダルデータの制限に対処する。 顕著な進歩にもかかわらず、マルチモーダルデータ品質の変動と不確実性により、研究と実世界の展開の間に大きなギャップが持続する。 Intire-Missing Modality (EMM)、Random-Missing Modality (RMM)、Noisy Modality (NM)の3つのシナリオでMMSSモデルを評価する頑健性ベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-03-24T08:46:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。