論文の概要: Strengthening Multimodal Large Language Model with Bootstrapped Preference Optimization

• arxiv url: http://arxiv.org/abs/2403.08730v2
• Date: Wed, 3 Apr 2024 15:22:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 21:58:11.654502
• Title: Strengthening Multimodal Large Language Model with Bootstrapped Preference Optimization
• Title（参考訳）: Bootstrapped Preference Optimization を用いたマルチモーダル大言語モデルの強化
• Authors: Renjie Pi, Tianyang Han, Wei Xiong, Jipeng Zhang, Runtao Liu, Rui Pan, Tong Zhang,
• Abstract要約: MLLM(Multimodal Large Language Models)は、視覚的な入力に基づいて応答を生成する。 彼らはしばしば、事前学習したコーパスと同様の反応を生み出すバイアスに悩まされ、視覚情報の重要性を誇示する。 我々は、このバイアスを事前学習統計のための"推奨"として扱い、視覚入力におけるモデルの基盤を妨げます。
• 参考スコア（独自算出の注目度）: 25.290462963681257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) excel in generating responses based on visual inputs. However, they often suffer from a bias towards generating responses similar to their pretraining corpus, overshadowing the importance of visual information. We treat this bias as a "preference" for pretraining statistics, which hinders the model's grounding in visual input. To mitigate this issue, we propose Bootstrapped Preference Optimization (BPO), which conducts preference learning with datasets containing negative responses bootstrapped from the model itself. Specifically, we propose the following two strategies: 1) using distorted image inputs to the MLLM for eliciting responses that contain signified pretraining bias; 2) leveraging text-based LLM to explicitly inject erroneous but common elements into the original response. Those undesirable responses are paired with original annotated responses from the datasets to construct the preference dataset, which is subsequently utilized to perform preference learning. Our approach effectively suppresses pretrained LLM bias, enabling enhanced grounding in visual inputs. Extensive experimentation demonstrates significant performance improvements across multiple benchmarks, advancing the state-of-the-art in multimodal conversational systems.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、視覚的な入力に基づいて応答を生成する。 しかし、彼らはしばしば、事前学習したコーパスと同様の反応を生じさせ、視覚情報の重要性を誇示するバイアスに悩まされる。 我々は、このバイアスを事前学習統計のための"推奨"として扱い、視覚入力におけるモデルの基盤を妨げます。 この問題を緩和するために、モデル自体からブートストラップされた負の応答を含むデータセットを用いて好みの学習を行うBootstrapped Preference Optimization (BPO)を提案する。 具体的には,以下の2つの戦略を提案する。 1) MLLMへの歪み画像入力を用いて,有意な事前学習バイアスを含む応答を抽出する。 2) テキストベースの LLM を利用して, 誤ったが共通な要素を元の応答に明示的に注入する。 これらの望ましくない応答は、データセットからのオリジナルの注釈付き応答とペアになって、好みのデータセットを構築し、その後、好みの学習を実行するために使用される。 提案手法は,事前学習したLLMバイアスを効果的に抑制し,視覚入力のグラウンド化を向上する。 大規模な実験により、複数のベンチマークで大幅な性能向上が示され、マルチモーダルな会話システムにおける最先端技術が進歩した。

関連論文リスト

• Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
  大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Aligning Large Language Models via Fine-grained Supervision [20.35000061196631]
  事前訓練された大規模言語モデル(LLM)は、一貫性のある記事を生成するのに優れていますが、そのアウトプットは非現実的、有毒、あるいはユーザの期待に沿わないかもしれません。 現在のアプローチは、モデルアライメントを改善するために、人間のフィードバックによる強化学習を使うことに重点を置いている。 トークンレベルの微粒化によるLCMアライメント向上手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T20:21:45Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Aligning Modalities in Vision Large Language Models via Preference Fine-tuning [67.62925151837675]
  本研究では,幻覚の問題をアライメント問題とみなし,好みのチューニングで対処する。 具体的には,AIモデルを用いたフィードバックデータを生成するPOVIDを提案する。 提案手法は,好ましくないデータを生成するための2段階のアプローチである。 広範ベンチマークを用いた実験では、幻覚を減らすだけでなく、標準ベンチマークでのモデル性能を向上させることができ、従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-02-18T00:56:16Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)
• ILLUME: Rationalizing Vision-Language Models through Human Interactions [18.701950647429]
  本稿では,機械生成データとのヒューマンインタラクションに基づくチューニングパラダイムを提案する。 我々の ILLUME は以下のループを実行する: 画像検索のプロンプトが与えられたら、VLM は複数の候補論理をサンプリングし、人間の批評家は選好選択を通じてフィードバックを提供する。 このループはトレーニングデータを増やし、人間の意図に合わせたVLMの合理化能力を徐々に削ります。
  論文  参考訳（メタデータ） (2022-08-17T11:41:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。