論文の概要: OmniConfess: Eliciting Token Confessions to Mitigate Omni-Modal Hallucination
- arxiv url: http://arxiv.org/abs/2610.02999v2
- Date: Mon, 05 Oct 2026 04:51:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 04:43:28.538643
- Title: OmniConfess: Eliciting Token Confessions to Mitigate Omni-Modal Hallucination
- Title（参考訳）: OmniConfess: Omni-Modal Hallucination の緩和のための Token Confessions の緩和
- Abstract要約: オムニコンス(OmniConfess)は、オムニモダル幻覚を緩和するための訓練不要な方法である。
候補の応答を修正し、制御されたチャネルワイドエビデンス介入の下でトークン解決時に再スコアする。
構造化されたトークン・バイ・チャンネルの告白を生成し、反応の明らかな依存を明らかにする。
- 参考スコア（独自算出の注目度）: 15.887917360251771
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Omni-modal large language models (OmniLLMs) unify text, images, audio, and video, yet hallucinate when generation relies on the wrong evidence. Existing inference-time methods can reduce hallucinations, but rarely reveal which evidence sustains a generated commitment. We introduce OmniConfess, a training-free method for mitigating omni-modal hallucinations. It fixes a candidate response and re-scores it at token resolution under controlled channel-wise evidence interventions, producing a structured token-by-channel confession that reveals the response's evidential dependence. OmniConfess uses this confession to preserve grounded content and correct commitments driven by irrelevant or contradictory evidence. To evaluate OmniConfess, we construct OmniHalluBench, a 3,540-example benchmark built from six datasets spanning text, image, audio, and video settings and both judgment and free-form generation. Experiments show that OmniConfess mitigates hallucinations across heterogeneous modality and task settings. Our code and benchmark are publicly available at https://github.com/RongHuiQiang/OmniConfess.
- Abstract（参考訳）: Omni-modal large language model (OmniLLMs) はテキスト、画像、オーディオ、ビデオを統合するが、生成時に誤った証拠に依存する。
既存の推論時間法は幻覚を減少させるが、どの証拠が生成されたコミットメントを持続するかを明らかにすることは滅多にない。
オムニコンス(OmniConfess)は、オムニモダル幻覚を緩和するための訓練不要な方法である。
候補応答を修正し、制御されたチャネルワイドエビデンス介入の下でトークン解決で再スコアし、その応答の明白な依存を明らかにする構造化されたトークンバイチャンネルの告白を生成する。
OmniConfessはこの告白を利用して、無関係または矛盾した証拠によって引き起こされた根拠のある内容と正しいコミットメントを保存する。
OmniConfessを評価するために、OmniHalluBenchを構築する。OmniHalluBenchは、テキスト、画像、オーディオ、ビデオ設定にまたがる6つのデータセットから構築された3,540個のサンプルベンチマークである。
実験により、OmniConfessは不均一なモダリティとタスク設定にまたがる幻覚を緩和することが示された。
私たちのコードとベンチマークはhttps://github.com/RongHuiQiang/OmniConfess.comで公開されています。
関連論文リスト
- Omni-Streaming Thinking [57.37011317711198]
オームニモーダルモデルのストリーミングは、これまで観察されたビデオチャンクと同期オーディオから何といつ答えるかを決定する必要がある。
我々は,これまでに観察された証拠,今後の証拠の予測,及びこの証拠に基づく主張を含む構造化された出力を生成するOmni-Streaming Thinking (OST)を提案する。
論文 参考訳（メタデータ） (2026-09-14T07:05:04Z) - Training-Free Speech-Centric Omni Understanding with Frozen VLMs [54.39332229535745]
Training-Free Omni (TFO) は、凍結したVLMを音声中心のオムニモデルに変換するプラグイン・アンド・プレイフレームワークである。
TFOは、音声の視覚的理解に競争力があり、5つのモデル設定すべてで平均的な音声のみのパフォーマンスを改善し、多言語音声の獲得を実現している。
論文 参考訳（メタデータ） (2026-08-07T17:59:51Z) - Omni-Decision: A Progressive Evidence-State Agent System for Omni-Modal QA [24.7221105118374]
Omni-Decisionはトレーニング不要のエビデンス状態システムで、オムニモーダルQAをクエリースコープによるエビデンス閉鎖プロセスに変換する。
システムは、確認された証拠、未解決の紛争、事実と計算の依存関係、オープンなエビデンス要求を含む構造化されたエビデンス状態を維持している。
OmniGAIAは45.6%、WorldSenseは58.3%、ベースラインは+27.3、+30.2ポイント向上している。
論文 参考訳（メタデータ） (2026-07-13T11:39:27Z) - Omni-Fake: Benchmarking Unified Multimodal Social Media Deepfake Detection [42.81849035175321]
ソーシャルメディアでは、マルチモーダルなディープフェイクが急増している。
既存のベンチマークは、単一のモダリティの範囲、単純化された操作、非現実的な分布によって制約される。
ソーシャルメディア設定における総合的なマルチモーダルディープフェイク検出のためのオムニ・フェイク(Omni-Fake)を提案する。
論文 参考訳（メタデータ） (2026-05-02T22:56:17Z) - Omni-Judge: Can Omni-LLMs Serve as Human-Aligned Judges for Text-Conditioned Audio-Video Generation? [41.8825737520503]
我々は,Omni-LLMsがテキスト・コンディショニング・オーディオ・ビデオ生成のためのヒューマンアライメント・ジャッジとして機能するかどうかを検討した。
omni-LLMは音声、ビデオ、テキストを自然に処理し、リッチな推論をサポートし、解釈可能な連鎖フィードバックを提供する。
本研究は,マルチモーダル生成のための統一評価器として,オムニ-LLMの潜在的な限界と現在の限界を強調した。
論文 参考訳（メタデータ） (2026-02-02T04:36:23Z) - Omni-Referring Image Segmentation [106.67482846604877]
我々は,Omni-Referring Image(OmniRIS)を高度に一般化した画像セグメンテーションに向けた新しいタスクを提案する。
RISやビジュアルRISのような既存の一様条件のセグメンテーションタスクと比較すると、OmniRISはマスク、ボックス、スクリブルをオムニプロンプトとして、テキスト命令と参照画像の入力をサポートする。
我々はOmniRefという,30,956枚の画像に対して186,939個のOmni-promptからなる大規模なデータセットを厳格に設計し,構築した。
論文 参考訳（メタデータ） (2025-12-07T14:32:34Z) - Omni-Captioner: Data Pipeline, Models, and Benchmark for Omni Detailed Perception [97.32606786622728]
我々は、データパイプライン、モデル、ベンチマークの観点から、Omniの詳細な認識を体系的で包括的に調査する。
ツールコールを統合したエージェントデータ生成パイプラインであるOmni-Detectiveを提案する。
Omni-Detectiveで生成されたデータに基づいて、2つのキャプションモデル:音声のみの詳細な知覚のためのオーディオ・キャプション・キャプション・モデルと、音声視覚による詳細な知覚のためのOmni-Captionerを訓練する。
論文 参考訳（メタデータ） (2025-10-14T17:00:09Z) - OmniDPO: A Preference Optimization Framework to Address Omni-Modal Hallucination [32.43796002503023]
Omni-modal large language model (OLLM) における幻覚を軽減するために設計された好み調整フレームワークであるOmniDPOを提案する。
両課題に対処することにより、OmniDPOはマルチモーダルグラウンドを効果的に改善し、幻覚を減少させる。
論文 参考訳（メタデータ） (2025-08-31T07:19:32Z) - Trust Me, I'm Wrong: LLMs Hallucinate with Certainty Despite Knowing the Answer [51.7407540261676]
本研究では,モデルが常に正しい解答を行うことのできる幻覚の別のタイプについて検討するが,一見自明な摂動は,高い確実性で幻覚応答を生じさせる。
この現象は特に医学や法学などの高度な領域において、モデルの確実性はしばしば信頼性の代用として使用される。
CHOKEの例は、プロンプト間で一貫性があり、異なるモデルやデータセットで発生し、他の幻覚と根本的に異なることを示す。
論文 参考訳（メタデータ） (2025-02-18T15:46:31Z) - OmniSep: Unified Omni-Modality Sound Separation with Query-Mixup [50.70494796172493]
Omni-modal Sound separation (OmniSep) は、Omni-modal クエリに基づいてクリーンなサウンドトラックを分離できる新しいフレームワークである。
トレーニング中に異なるモダリティからクエリ機能をブレンドするQuery-Mixup戦略を導入する。
我々は、クエリーが音の分離に肯定的または否定的に影響を与え、特定の音の保持や除去を容易にすることにより、この柔軟性をさらに強化する。
論文 参考訳（メタデータ） (2024-10-28T17:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。