論文の概要: Can a Unimodal Language Agent Provide Preferences to Tune a Multimodal Vision-Language Model?
- arxiv url: http://arxiv.org/abs/2601.06424v1
- Date: Sat, 10 Jan 2026 04:28:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-13 19:08:00.806099
- Title: Can a Unimodal Language Agent Provide Preferences to Tune a Multimodal Vision-Language Model?
- Title（参考訳）: 単一モーダル言語エージェントは、多モーダル視覚言語モデルに優先順位を与えることができるか?
- Authors: Sazia Tabasum Mim, Jack Morris, Manish Dhakal, Yanming Xiu, Maria Gorlatova, Yi Ding,
- Abstract要約: 本稿では,言語エージェントが視覚言語モデル(VLM)にフィードバックを与え,テキスト生成をエージェントの好みに適応させる手法を提案する。
提案手法を用いることで,VLMはマルチモーダルなシーン記述を生成することができ,マルチモーダルなコンテキストをよりよく理解できるようにする。
- 参考スコア（独自算出の注目度）: 8.976163131623773
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: To explore a more scalable path for adding multimodal capabilities to existing LLMs, this paper addresses a fundamental question: Can a unimodal LLM, relying solely on text, reason about its own informational needs and provide effective feedback to optimize a multimodal model? To answer this, we propose a method that enables a language agent to give feedback to a vision-language model (VLM) to adapt text generation to the agent's preferences. Our results from different experiments affirm this hypothesis, showing that LLM preference feedback significantly enhances VLM descriptions. Using our proposed method, we find that the VLM can generate multimodal scene descriptions to help the LLM better understand multimodal context, leading to improvements of maximum 13% in absolute accuracy compared to the baseline multimodal approach. Furthermore, a human study validated our AI-driven feedback, showing a 64.6% preference alignment rate between the LLM's choices and human judgments. Extensive experiments provide insights on how and why the method works and its limitations.
- Abstract（参考訳）: 既存のLLMにマルチモーダル機能を追加するための、よりスケーラブルなパスを探るため、本論文では、テキストのみに依存し、自身の情報ニーズを推論し、マルチモーダルモデルを最適化するための効果的なフィードバックを提供することができるのか、という根本的な疑問に対処する。
そこで本研究では,言語エージェントが視覚言語モデル(VLM)にフィードバックを与え,テキスト生成をエージェントの好みに適応させる手法を提案する。
実験の結果,LLMの嗜好フィードバックがVLM記述を著しく向上させることが明らかとなった。
提案手法を用いて,VLMはマルチモーダルシーン記述を生成することで,LLMがマルチモーダルコンテキストをよりよく理解できるようにし,ベースラインのマルチモーダルアプローチと比較して最大13%の精度向上を実現する。
さらに、人間の研究はAIによるフィードバックを検証し、LLMの選択と人間の判断の間に64.6%の調整率を示す。
大規模な実験は、メソッドの動作方法とその制限に関する洞察を提供する。
関連論文リスト
- Reasoning-Aligned Perception Decoupling for Scalable Multi-modal Reasoning [95.44766931218896]
MLLM(Multi-modal large language model)は、テキストベースの推論に遅れを取っている。
本稿では,MLLMの推論コンポーネントをモジュール化し,容易に置き換え可能なパーセプション推論デカップリングを提案する。
本稿では,視覚知覚最適化(VPO)と呼ばれる新しい強化学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-06-05T02:28:07Z) - LLMs can see and hear without any training [63.964888082106974]
MILSは、お気に入りのLLMにインビューマルチモーダル機能を組み込むための、シンプルでトレーニング不要なアプローチです。
創発的なゼロショット画像,ビデオ,オーディオキャプションを新たに構築する。
勾配のない最適化アプローチであるため、MILSはテキストへのマルチモーダル埋め込みを反転させることができる。
論文 参考訳（メタデータ） (2025-01-30T02:16:35Z) - CHiP: Cross-modal Hierarchical Direct Preference Optimization for Multimodal LLMs [107.21334626890713]
MLLM(Multimodal Large Language Models)は、その優れた能力にもかかわらず、幻覚に苦しむ。
本稿では,これらの制約に対処するクロスモーダル階層型直接選好最適化(CHiP)を提案する。
定量的および定性的な分析によってCHiPを評価し,幻覚の低減効果を複数のベンチマークで実証した。
論文 参考訳（メタデータ） (2025-01-28T02:05:38Z) - Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage [50.84150600032693]
MLLM(Multimodal large language model)は、非常に詳細なキャプションを生成するのに優れるが、幻覚を引き起こすことが多い。
我々は,LLM-MLLM協調を利用して与えられたキャプションを補正するマルチエージェント手法を提案する。
提案手法は, キャプションの精度を向上し, GPT-4Vによるキャプションの精度を向上する。
論文 参考訳（メタデータ） (2024-12-20T01:37:22Z) - Personalizing Multimodal Large Language Models for Image Captioning: An Experimental Analysis [44.008094698200026]
本稿では,様々な画像記述ベンチマークにおいて,従来の画像キャプションネットワークに代えて,マルチモーダルLLMが性能を評価できるかどうかを検討する。
これらのモデルのゼロショット機能と、細調整による異なるセマンティックドメインへの適応性の両方について検討する。
以上の結果から,マルチモーダル LLM はゼロショット性能に優れる一方で,特定の領域を微調整し,その一般化能力を保ち続けることは依然として困難であることが示唆された。
論文 参考訳（メタデータ） (2024-12-04T19:01:06Z) - AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning [19.68349294206012]
大規模言語モデル(LLM)は、画像やビデオなどの視覚的データの強力な理解を示すマルチモーダルLLMの作成を可能にする。
多様な効率要件を満たすマルチモーダルLCMの学習自由適応推論法を提案する。
論文 参考訳（メタデータ） (2024-12-04T11:47:57Z) - Harnessing Multimodal Large Language Models for Multimodal Sequential Recommendation [21.281471662696372]
本稿では,MLLM-MSRモデルを提案する。
動的ユーザの嗜好を捉えるために,2段階のユーザ選好要約法を設計する。
次に、ユーザ嗜好の動的変化を捉えるために、繰り返しユーザー嗜好要約生成パラダイムを用いる。
論文 参考訳（メタデータ） (2024-08-19T04:44:32Z) - Aligning Language Models with Demonstrated Feedback [58.834937450242975]
Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。
我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
論文 参考訳（メタデータ） (2024-06-02T23:13:56Z) - How to Bridge the Gap between Modalities: Survey on Multimodal Large Language Model [12.358079352117699]
テキストや画像,音声などを含むマルチモーダルデータの処理にLLMを統合したマルチモーダル大規模言語モデル(MLLM)について検討する。
MLLMはマルチモーダルデータのセマンティックギャップに対処する上で、誤った出力につながる可能性がある。
効果的なモダリティアライメントの実装は、LLMが環境問題に対処し、アクセシビリティを高めるのに役立つ。
論文 参考訳（メタデータ） (2023-11-10T09:51:24Z) - Sight Beyond Text: Multi-Modal Training Enhances LLMs in Truthfulness
and Ethics [32.123919380959485]
MLLM(Multi-modal large language model)は、大規模言語モデル(LLM)に基づいて訓練される。
マルチモーダルなタスクでは優れているが、MLLMの純粋なNLP能力はしばしば過小評価され、テストされていない。
LLMをMLLMに移行するための一般的な戦略である視覚的インストラクションチューニングは、予期せぬ、興味深いことに、改善された真理性と倫理的整合性の両方を達成するのに役立ちます。
論文 参考訳（メタデータ） (2023-09-13T17:57:21Z) - Language Models as Black-Box Optimizers for Vision-Language Models [62.80817942316398]
Webスケールデータセットで事前トレーニングされた視覚言語モデル(VLM)は、最小限のデータで微調整された場合、下流タスクに顕著な機能を示す。
我々は,自然言語のプロンプトを通じてVLMを最適化するためのブラックボックスアプローチを開発することを目指している。
論文 参考訳（メタデータ） (2023-09-12T04:03:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。