論文の概要: Test-Time Hallucination Control in Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2608.11474v1
• Date: Tue, 11 Aug 2026 22:25:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.395936
• Title: Test-Time Hallucination Control in Large Vision-Language Models
• Title（参考訳）: 大規模視覚言語モデルにおけるテスト時間幻覚制御
• Abstract要約: 大規模視覚言語モデル(LVLM)における幻覚は、現実のアプリケーションにおける彼らの信頼性にとって重要な障壁である。 両制約に対処する新しいトレーニングフリー手法であるTTH法を提案する。 複数のLVLMファミリーと多種多様なベンチマークにわたる大規模な実験は、TTHが一貫して精度と堅牢性を改善することを示した。
• 参考スコア（独自算出の注目度）: 11.243503200595937
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Object Hallucination in large vision-language models (LVLMs), where models generate non-factual content about input images, remains a critical barrier to their reliability in real-world applications. Existing mitigation strategies can be categorized into training-based and training-free methods. Training-based methods often achieve strong performance but are costly, requiring extensive computational resources, large-scale data, and time-consuming fine-tuning. Training-free approaches are particularly appealing due to their efficiency. However, existing training-free methods either require multiple decoding rounds, which adds computational overhead, or modify internal states in a model-specific way that risks degrading pretrained knowledge. We propose Test-Time Hallucination Mitigation (TTH) method, a novel training-free method that addresses both limitations. TTH introduces a token-validator module, implemented as a zero-shot Multi-Modal Classifier (MMC), to generate auxiliary logits grounded in the input image. These logits are fused with the original LVLM outputs at the token level for object tokens selected from a candidate pool. An entropy-based weighting scheme is then applied to enable robust and accurate predictions. Extensive experiments across multiple LVLM families and diverse benchmarks demonstrate that TTH consistently improves accuracy and robustness, underscoring its generalizability and practical effectiveness. Code is released at https://github.com/Mehran-TAM/TTH
• Abstract（参考訳）: 大規模視覚言語モデル(LVLM)におけるオブジェクト幻覚は、モデルが入力画像に関する非現実的コンテンツを生成し、現実のアプリケーションにおいてそれらの信頼性にとって重要な障壁である。 既存の緩和戦略は、トレーニングベースおよびトレーニングフリーの方法に分類することができる。 トレーニングベースの手法は、しばしば高いパフォーマンスを達成するが、コストがかかるため、膨大な計算資源、大規模データ、時間を要する微調整が必要である。 トレーニングなしのアプローチは、その効率性から特に魅力的です。 しかし、既存のトレーニングフリーな手法では、計算オーバーヘッドを増大させる複数の復号ラウンドを必要とするか、事前訓練された知識を劣化させるリスクのあるモデル固有の方法で内部の状態を変更する必要がある。 両制約に対処する新しいトレーニングフリー手法であるTTH法を提案する。 TTHは、ゼロショットマルチモード分類器(MMC)として実装されたトークンバリケータモジュールを導入し、入力画像に接地した補助ロジットを生成する。 これらのロジットは、候補プールから選択されたオブジェクトトークンのトークンレベルでのオリジナルのLVLM出力と融合する。 エントロピーに基づく重み付けスキームを適用して、堅牢で正確な予測を可能にする。 複数のLVLMファミリーと多種多様なベンチマークにわたる大規模な実験は、TTHが一貫して精度と堅牢性を改善し、その一般化可能性と実用性を強調していることを示している。 コードはhttps://github.com/Mehran-TAM/TTHでリリースされる

関連論文リスト

• StochasT: Learning with Stochastic Turn Depth for Visual Instruction Tuning [31.347649780181545]
  LVLM(Large Vision-Language Models)は、視覚インストラクション・チューニング(Visual Instruction Tuning, VIT)に大きく依存している。 既存のベンチマークでは、孤立したシングルターンシナリオでLVLMを評価する。 本稿では,LVLMのロバスト性を測定するために,Balanced Latin Squareをベースとした,困難なベンチマークに依存しない評価機構を提案する。
  論文  参考訳（メタデータ） (2026-07-01T05:34:07Z)
• Unified Data Selection for LLM Reasoning [66.0118347918729]
  複雑で長いCoT推論のための大規模言語モデル(LLM)のトレーニングは、しばしば大量の高品質な推論データの必要性によってボトルネックとなる。 本研究では,各推論サンプルの上位(例えば0.5%)のエントロピートークンのみを和らげることで,推論品質を定量化する学習自由度指標であるHigh-Entropy Sum(HES)を提案する。
  論文  参考訳（メタデータ） (2026-05-21T12:21:41Z)
• Quantization Meets dLLMs: A Systematic Study of Post-training Quantization for Diffusion LLMs [78.09559830840595]
  本稿では拡散に基づく言語モデルの定量化に関する最初の体系的研究について述べる。 異常に大きなアクティベーション値によって特徴付けられるアクティベーションアウトリーチの存在を同定する。 我々は最先端のPTQ手法を実装し、包括的な評価を行う。
  論文  参考訳（メタデータ） (2025-08-20T17:59:51Z)
• ESLM: Risk-Averse Selective Language Modeling for Efficient Pretraining [53.893792844055106]
  大規模言語モデルの事前学習は計算集約的であるが、多くのトークンが学習にわずかに寄与し、非効率になる。 Selective Efficient Language Modelingは、オンライントークンレベルのバッチ選択を行うことで、トレーニング効率と分散ロバスト性を改善するリスク認識アルゴリズムである。 GPT-2プレトレーニング実験の結果、ESLMはベースラインに比べて複雑度と下流性能の両面を維持・改善しながら、トレーニングFLOPを著しく低減することが示された。
  論文  参考訳（メタデータ） (2025-05-26T12:23:26Z)
• Aligning Large Language Models with Representation Editing: A Control Perspective [38.71496554018039]
  人間の目的に合わせて微調整された大規模言語モデル(LLM)は、現実世界のアプリケーションには不可欠である。 プロンプトやガイドデコードといったテスト時のアライメント技術は、基礎となるモデルを変更しない。 表現編集によるLLMの整合性を提案する。
  論文  参考訳（メタデータ） (2024-06-10T01:21:31Z)
• Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation [105.23631749213729]
  低データ体制における教師なし事前学習のための新しい手法を提案する。 最近成功したプロンプト技術に触発されて,言語ビジョンプロンプトを用いた教師なし事前学習法を導入した。 提案手法は,低データ方式のCNNモデルよりも高速に収束し,性能がよいことを示す。
  論文  参考訳（メタデータ） (2024-05-22T06:48:43Z)
• Conditional Prototype Rectification Prompt Learning [32.533844163120875]
  本稿では, 基本事例のバイアスを補正し, 限られたデータを効果的に拡張するための, CPR(Prototype Rectification Prompt Learning)手法を提案する。 CPRは、いくつかのショット分類とベース・ツー・ニューな一般化タスクの両方において最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-04-15T15:43:52Z)
• Clinical Prompt Learning with Frozen Language Models [4.077071350659386]
  大規模だが凍結した事前学習言語モデル (PLMs) は、より小型で微調整されたモデルよりも高速に学習できる。 臨床的に有意な意思決定課題における即時学習の実現可能性について検討した。 結果は、学習の速さと部分的に一致しており、学習の速さは従来の微調整と一致したり改善したりすることができる。
  論文  参考訳（メタデータ） (2022-05-11T14:25:13Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)
• MC-BERT: Efficient Language Pre-Training via a Meta Controller [96.68140474547602]
  大規模事前学習は計算コストが高い。 事前トレーニングを加速する初期の試みであるELECTRAは、各入力トークンがジェネレータに置き換えられたかどうかを予測する識別モデルを訓練している。 本稿では,MC-BERTというメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T09:22:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。