論文の概要: Token Preference Optimization with Self-Calibrated Visual-Anchored Rewards for Hallucination Mitigation

• arxiv url: http://arxiv.org/abs/2412.14487v2
• Date: Thu, 02 Jan 2025 07:39:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-03 16:56:19.427538
• Title: Token Preference Optimization with Self-Calibrated Visual-Anchored Rewards for Hallucination Mitigation
• Title（参考訳）: 幻覚軽減のための自己校正型ビジュアルアンカレッドリワードを用いたトークン選好最適化
• Authors: Jihao Gu, Yingyao Wang, Meng Cao, Pi Bu, Jun Song, Yancheng He, Shilong Li, Bo Zheng,
• Abstract要約: 自己校正型報酬(TPO)を用いた新しいToken Preference Optimizationモデルを提案する。 具体的には,生画像に条件付された生成トークンのロジスティック分布と劣化したトークンの対数分布の差として,トークンレベルのアンカレート・アンカレート・アンフレワードを導入する。 より正確なトークンレベルの最適化を実現するために,視覚認識型学習目標を提案する。
• 参考スコア（独自算出の注目度）: 29.667702981248205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Direct Preference Optimization (DPO) has been demonstrated to be highly effective in mitigating hallucinations in Large Vision Language Models (LVLMs) by aligning their outputs more closely with human preferences. Despite the recent progress, existing methods suffer from two drawbacks: 1) Lack of scalable token-level rewards; and 2) Neglect of visual-anchored tokens. To this end, we propose a novel Token Preference Optimization model with self-calibrated rewards (dubbed as TPO), which adaptively attends to visual-correlated tokens without fine-grained annotations. Specifically, we introduce a token-level \emph{visual-anchored} \emph{reward} as the difference of the logistic distributions of generated tokens conditioned on the raw image and the corrupted one. In addition, to highlight the informative visual-anchored tokens, a visual-aware training objective is proposed to enhance more accurate token-level optimization. Extensive experimental results have manifested the state-of-the-art performance of the proposed TPO. For example, by building on top of LLAVA-1.5-7B, our TPO boosts the performance absolute improvement for hallucination benchmarks.
• Abstract（参考訳）: 直接選好最適化(DPO)は、人間の嗜好とより密接に一致させることにより、LVLM(Large Vision Language Models)における幻覚の緩和に非常に効果的であることが示されている。 最近の進歩にもかかわらず、既存の手法には2つの欠点がある。 1)スケーラブルなトークンレベルの報酬の欠如,及び 2)ビジュアルアンコールトークンの無視 そこで本稿では,自己校正型報酬(TPO)を付加した新しいトークン選好最適化モデルを提案する。 具体的には, 生画像上で条件付けられた生成トークンのロジスティック分布と劣化トークンとの差として, トークンレベル \emph{visual-anchored} \emph{reward} を導入する。 さらに,より正確なトークンレベルの最適化を実現するために,視覚認識型学習目標を提案する。 実験結果から,提案したTPOの最先端性能が明らかとなった。 例えば、LLAVA-1.5-7Bの上に構築することで、私たちのTPOは幻覚ベンチマークのパフォーマンス絶対改善を促進します。

関連論文リスト

• TopV: Compatible Token Pruning with Inference Time Optimization for Fast and Low-Memory Multimodal Vision Language Model [56.43860351559185]
  高速かつ低メモリの textbfVLM に対する推論時間最適化を備えた textbfToken textbfPruning の互換性である textbfTopV を導入する。 我々のフレームワークは、各ソースの視覚的トークンの重要性を測定するために、視覚的なコスト関数を組み込んでおり、低重要トークンの効果的なプルーニングを可能にしている。
  論文  参考訳（メタデータ） (2025-03-24T01:47:26Z)
• "Principal Components" Enable A New Language of Images [79.45806370905775]
  証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。 提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
  論文  参考訳（メタデータ） (2025-03-11T17:59:41Z)
• AlignDistil: Token-Level Language Model Alignment as Adaptive Policy Distillation [46.72611855060883]
  トークンレベルの報酬最適化のためのRLHF等価蒸留法を提案する。 実験の結果、既存の方法よりもAlignDistilの方が優れていることが示された。
  論文  参考訳（メタデータ） (2025-03-04T17:57:09Z)
• Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability [55.29624228206882]
  大規模言語モデル(LLM)は推論タスクにおいて顕著なパフォーマンスを示した。 LLMは、クリティカルトークンの代わりに他のトークンをデコードせざるを得ない場合、肯定的な結果をもたらす傾向がある。 クリティカルトークンに対するトークンレベルの報酬を自動的に認識し,実行するための,新しいアプローチであるcDPOを提案する。
  論文  参考訳（メタデータ） (2024-11-29T18:58:22Z)
• Inference Optimal VLMs Need Fewer Visual Tokens and More Parameters [54.01228554126122]
  視覚言語モデル(VLM)は、様々な視覚的理解と推論タスクにまたがる強力な能力を示している。 推論コストを削減するために、LLM(Large Language Models)を縮小するか、イメージを表すのに必要な入力トークンの数を削減できる。 高速圧縮に適したトークン圧縮アルゴリズムを設計する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2024-11-05T18:54:21Z)
• Fine-Grained Verifiers: Preference Modeling as Next-token Prediction in Vision-Language Alignment [57.0121616203175]
  本研究では,視覚言語アライメントを改善するための細粒度検証器として,モデル自身のビジュアルエンコーダを利用する新たな自己アライメント手法であるFiSAOを提案する。 ビジョンエンコーダからのトークンレベルのフィードバックを活用することで、FiSAOは視覚言語アライメントを大幅に改善する。
  論文  参考訳（メタデータ） (2024-10-18T03:34:32Z)
• Calibrated Self-Rewarding Vision Language Models [27.686545023186852]
  LVLM(Large Vision-Language Models)は、訓練済みの大規模言語モデル(LLM)と視覚モデルを統合することで、指導チューニングを通じて大幅に進歩した。 LVLMは、しばしば幻覚現象を示し、生成されたテキスト応答は言語的に妥当に見えるが、入力画像に矛盾する。 本稿では,候補応答を反復的に生成し,各応答に対する報酬を評価し,微調整のための選好データをキュレートすることで,モデルの自己改善を可能にするCalibrated Self-Rewarding(CSR)アプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-23T14:30:33Z)
• Aligning Modalities in Vision Large Language Models via Preference Fine-tuning [67.62925151837675]
  本研究では,幻覚の問題をアライメント問題とみなし,好みのチューニングで対処する。 具体的には,AIモデルを用いたフィードバックデータを生成するPOVIDを提案する。 提案手法は,好ましくないデータを生成するための2段階のアプローチである。 広範ベンチマークを用いた実験では、幻覚を減らすだけでなく、標準ベンチマークでのモデル性能を向上させることができ、従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-02-18T00:56:16Z)
• Adaptive Sparse ViT: Towards Learnable Adaptive Token Pruning by Fully Exploiting Self-Attention [36.90363317158731]
  最小限のコストで適応的なスパーストークンプルーニングフレームワークを提案する。 提案手法では,DeiT-Sのスループットを50%向上し,トップ1の精度は0.2%低下した。
  論文  参考訳（メタデータ） (2022-09-28T03:07:32Z)
• Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
  Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。 近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。 本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
  論文  参考訳（メタデータ） (2022-05-26T03:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。