論文の概要: Reliability-Prioritized Fine-Grained Generation in Multimodal Large
- arxiv url: http://arxiv.org/abs/2606.29573v2
- Date: Wed, 01 Jul 2026 16:14:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 15:16:32.241925
- Title: Reliability-Prioritized Fine-Grained Generation in Multimodal Large
- Title(参考訳): 信頼性制御による多モード大型微粒化生成
- Abstract要約: きめ細かな記述を生成することは、粗い粒度の生成よりもエラーを起こしやすいことを示す。
本稿では,モデル予測が視覚的に正しいか,正しい予測がどの程度具体的であるかを評価する階層型評価アルゴリズムを提案する。
textscGranFactの実験により,信頼性を保ちながら細粒度の生成を改善することができた。
- 参考スコア(独自算出の注目度): 50.26126844186488
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Multimodal large language models (MLLMs) are increasingly expected to generate fine-grained descriptions of visual content. However, we observe and theoretically show that generating fine-grained responses poses a reliability challenge, \textit{i.e.}, fine-grained generation is more error-prone than coarse-grained generation. This phenomenon suggests that models should generate the finest description that remains reliable rather than simply produce more specific outputs. To investigate this problem, we develop \textsc{GranFact}, a granularity-aware benchmark consisting of expert-verified multi-object images with coarse-to-fine category annotations. Then, we design a hierarchy-aware evaluation algorithm, which assesses both whether model predictions are visually correct and how specific the correct predictions are. We also propose a reliability-prioritized preference optimization method based on Direct Preference Optimization, which penalizes unreliable fine-grained claims while rewarding reliable specificity. Experiments on \textsc{GranFact} show that our method improves fine-grained generation while preserving reliability. Code and data are available \href{https://github.com/WeiWu2025/GranFact}{here}.
- Abstract(参考訳): マルチモーダル大言語モデル(MLLM)は、視覚的内容のきめ細かい記述を生成することがますます期待されている。
しかし、我々は、きめ細かな応答の生成が信頼性の課題となることを観察し、理論的に示す: \textit{i.e.}、きめ細かい生成は粗い粒度の生成よりもエラーを起こしやすい。
この現象は、モデルが単に特定の出力を生成するのではなく、信頼できる最高の記述を生成することを示唆している。
そこで本研究では,大まかなカテゴリアノテーションを付加した,専門家が検証した多対象画像からなる粒度認識型ベンチマークであるtextsc{GranFact} を開発した。
そこで我々は,モデル予測が視覚的に正しいか,正しい予測がどの程度具体的であるかを評価する階層型評価アルゴリズムを設計する。
また、信頼できないきめ細かなクレームを罰し、信頼性の高い特異性に報いるダイレクト・プライス・オプティマイズ・最適化に基づく信頼性優先の選好最適化手法を提案する。
textsc{GranFact}の実験から,信頼性を保ちながら細粒度の生成を改善することを示す。
コードとデータは \href{https://github.com/WeiWu2025/GranFact}{here} で入手できる。
関連論文リスト
- HoloRec: Holistic Encoding and Interleaved Reasoning for Generative Recommendation [57.802158017741824]
HoloRecは、表現、推論、生成を統一する内因性連鎖レコメンデーションメカニズムである。
複数のパブリックレコメンデーションデータセットの実験は、HoloRecがベースラインを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2026-06-13T14:52:03Z) - Verifiable Reasoning for LLM-based Generative Recommendation [106.7765000777685]
大規模言語モデル(LLM)における推論は、最近、生成的レコメンデーションの強化に強い可能性を示している。
本稿では,信頼性の高いフィードバックを提供するために,検証と推論をインターリーブする新しいTextbftextitreason-verify-recommendパラダイムを提案する。
4つの実世界のデータセットの実験は、VRecが効率を損なうことなく、推奨の有効性とスケーラビリティを大幅に向上することを示した。
論文 参考訳(メタデータ) (2026-03-08T16:55:45Z) - Specificity-aware reinforcement learning for fine-grained open-world classification [54.85385270439992]
オープンワールド設定下でのきめ細かい視覚概念の分類は、モデルが正確かつ具体的であることを要求します。
細粒度画像分類に基づく細粒度推論LMMのための特異性認識型強化学習フレームワークSpeciaRLを提案する。
論文 参考訳(メタデータ) (2026-03-03T17:52:39Z) - SimGR: Escaping the Pitfalls of Generative Decoding in LLM-based Recommendation [68.00727783181289]
推薦システムの中核的な目的は、パーソナライズされたレコメンデーションを可能にするために、アイテムよりもユーザの好みの分布を正確にモデル化することである。
アイテムレベルの嗜好分布を推定する際に,既存の手法が必然的に系統的バイアスを生じさせることを観察する。
textbfSimply textbfGenerative textbfRecommendation (textbfSimGR)を提案する。
論文 参考訳(メタデータ) (2026-02-08T07:26:52Z) - GenProve: Learning to Generate Text with Fine-Grained Provenance [14.66501508318216]
本稿では, モデルが文レベル三重項を同時に生成しながら, フロートな解を生成するタスクである生成時ファイン・グラニュアル・プロヴァンス(Generation-time Fine-fine Provenance)を提案する。
GenProveは,回答忠実度と証明精度の複合報酬を最適化することにより,14個の強力なLDMよりも高い性能を示した。
論文 参考訳(メタデータ) (2026-01-08T13:30:30Z) - PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations [52.67948063133533]
生成レコメンデーションは有望なパラダイムとして現れ、階層的なセマンティックIDよりもシーケンス・ツー・シーケンス生成タスクとしてレコメンデーションを改革している。
既存の手法は、セマンティックドリフト(Semantic Drift)と呼ばれる重要な問題に悩まされ、初期、高レベルのトークンのエラーは、生成軌道を無関係な意味部分空間に不可逆的に分散させる。
本稿では,高密度なステップバイステップ検証を生成モデルに統合する新しいフレームワークPromiseを提案する。
論文 参考訳(メタデータ) (2026-01-08T07:38:46Z) - OSPO: Object-centric Self-improving Preference Optimization for Text-to-Image Generation [9.584960092259033]
Object-centric Self-Iproving Preference Optimization (OSPO)は、オブジェクトレベルのテキストイメージアライメントを強化するための自己改善フレームワークである。
OSPOはテキスト・画像生成における微粒化アライメントを大幅に改善する。
論文 参考訳(メタデータ) (2025-05-28T03:45:42Z) - Knowing what you know: valid and validated confidence sets in multiclass
and multilabel prediction [0.8594140167290097]
マルチクラスおよびマルチラベル問題において、有効な信頼セットを構築するための共形予測手法を開発する。
量子レグレッションのアイデアを活用することで、常に正しいカバレッジを保証すると同時に、マルチクラスとマルチラベルの予測問題に対して条件付きカバレッジを提供する手法を構築する。
論文 参考訳(メタデータ) (2020-04-21T17:45:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。