Fugu-MT 論文翻訳(概要): LLaVAFlow: Preserving Latent Alignment Flow for Parameter-Efficient Multimodal Fine-Tuning

論文の概要: LLaVAFlow: Preserving Latent Alignment Flow for Parameter-Efficient Multimodal Fine-Tuning

arxiv url: http://arxiv.org/abs/2608.26820v1
Date: Thu, 27 Aug 2026 08:56:14 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-28 16:30:58.317527
Title: LLaVAFlow: Preserving Latent Alignment Flow for Parameter-Efficient Multimodal Fine-Tuning
Title（参考訳）: LLaVAFlow:パラメータ効率の良いマルチモーダルファインチューニングのための潜在アライメントフローの保存
Abstract要約: 我々は,情報圧縮の軌跡において,クロスモーダルアライメントが暗黙的に捉えられていることを論じる。軌道に埋め込まれたアライメントフローを保存するため,LLaVAFlowを提案する。 LLaVAFlowは、アライメントフローを保存し、下流の性能と一般化の両方を向上する効果的なプラグアンドプレイフレームワークであることを示す。
参考スコア（独自算出の注目度）: 13.618457597442458
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While Multimodal Large Language Models (MLLMs) exhibit strong generalization, visual instruction tuning for downstream tasks inevitably causes catastrophic forgetting, impairing overall generalization. While existing methods regulate weight updates to reduce forgetting, they overlook the fundamental cross-modal alignment in MLLMs. Based on prior work and our observations, we argue that cross-modal alignment is implicitly captured in the information-compression trajectory. To preserve the alignment flow embedded in the trajectory, we propose LLaVAFlow, an information-theoretic distillation framework. First, we compress the mutual information between the extracted relations and MLLM embeddings, encouraging a learnable module to produce a refined alignment flow that benefits downstream tasks. Second, we maximize the mutual information between the extracted alignment flows of the pretrained and fine-tuned MLLMs, enabling the transfer of compact alignment information. Extensive experiments show that LLaVAFlow is an effective plug-and-play framework that preserves alignment flow and enhances both downstream performance and generalization.
Abstract（参考訳）: MLLM(Multimodal Large Language Models)は強力な一般化を示すが、下流タスクの視覚的インストラクションチューニングは必然的に大惨な忘れ込みを招き、全体的な一般化を損なう。既存の手法では、ウェイト更新を規制して忘れを減らしているが、MLLMの基本的なクロスモーダルアライメントを見落としている。先行研究と観察結果に基づいて,情報圧縮軌道において,モーダルアライメントが暗黙的に捕捉されていることを論じる。軌道に埋め込まれたアライメントフローを維持するため,情報理論蒸留フレームワークであるLLaVAFlowを提案する。まず、抽出した関係とMLLM埋め込みの相互情報を圧縮し、学習可能なモジュールに下流タスクに有利な調整フローを生成するよう促す。第2に、事前訓練されたMLLMの抽出したアライメントフロー間の相互情報を最大化し、コンパクトなアライメント情報の転送を可能にする。大規模な実験により,LLaVAFlowはアライメントフローを保ち,下流性能と一般化の両方を向上する効果的なプラグアンドプレイフレームワークであることが示された。

関連論文リスト

FlowTrain: Flow-Based Decoupled Training for Industrial-Grade Vision-Language Models [31.501910341506164]
FlowTrainは、視覚言語計算モデルのためのフローベースの分離されたトレーニングフレームワークである。 VLMトレーニングを、統一メモリプールを介して調整されたプロデューサとコンシューマのデータフローとして再構成する。実世界のワークロードの実験では、FlowTrainは50%MFU以上、最大1.7倍のスループット改善を実現している。
論文参考訳（メタデータ） (2026-06-22T09:33:44Z)
MAny: Merge Anything for Multimodal Continual Instruction Tuning [52.50936513604062]
textbfMAny(textbfMAny)は、textbfCross-modal textbfProjection textbfMergingを通じてタスク固有の知識を統合するフレームワークである。 textbfLow-rank textbfParameter textbfMerging (textbfLPM)
論文参考訳（メタデータ） (2026-04-15T15:57:23Z)
LLM for Large-Scale Optimization Model Auto-Formulation: A Lightweight Few-Shot Learning Approach [10.44190976207354]
LEAN-LLM-OPTは大規模なOPTimizationオートフォーミュレーションのためのワークフローフレームワークである。モデリングタスクを構造化されたサブタスクに分解し、機械的なデータ処理操作を補助ツールにオフロードする。大規模最適化モデリングタスクにおいて高い性能を達成し、最先端のアプローチと競合する。
論文参考訳（メタデータ） (2026-01-14T17:09:57Z)
Learn from Downstream and Be Yourself in Multimodal Large Language Model Fine-Tuning [104.27224674122313]
微調整MLLMは、特定の下流タスクのパフォーマンスを改善するための一般的なプラクティスとなっている。一般化と特殊化のトレードオフのバランスをとるために,事前学習と微調整の両方におけるパラメータの重要度を測定することを提案する。
論文参考訳（メタデータ） (2024-11-17T01:16:37Z)
LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [72.68665884790002]
本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。本稿では,教師モデルの頑健な表現を視覚的,言語的両面で伝達するために,MDist(Multimodal Distillation)を導入する。また,提案した蒸留戦略の可能性をフル活用するための3段階学習手法を提案する。
論文参考訳（メタデータ） (2024-10-21T17:41:28Z)
CoMMIT: Coordinated Multimodal Instruction Tuning [90.1532838391285]
マルチモーダル大言語モデル(MLLM)は一般に、バックボーンLLMと非テキスト入力モードの特徴エンコーダ間の協調学習を含む。本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。本稿では,学習のバランスを定量的に測定できるマルチモーダルバランス係数を提案する。
論文参考訳（メタデータ） (2024-07-29T23:18:55Z)
Optimal Flow Matching: Learning Straight Trajectories in Just One Step [89.37027530300617]
我々は,新しいtextbf Optimal Flow Matching (OFM) アプローチを開発し,理論的に正当化する。これは2次輸送のための直列のOT変位をFMの1ステップで回復することを可能にする。提案手法の主な考え方は,凸関数によってパラメータ化されるFMのベクトル場の利用である。
論文参考訳（メタデータ） (2024-03-19T19:44:54Z)
CRaSh: Clustering, Removing, and Sharing Enhance Fine-tuning without Full Large Language Model [22.870512676002463]
本稿では,集中型LCMと下流エミュレータ間でトランスフォーマブロックを転送する代表的手法であるOffsite-Tuning(OFT)に焦点を当てる。これらの観測にインスパイアされたCRaShは、LCMから改善エミュレータを導出するトレーニングフリー戦略であるClustering、Removing、Sharingを含む。以上の結果から,CRaShとOFTの有効性が明らかとなった。
論文参考訳（メタデータ） (2023-10-24T03:08:58Z)
AccFlow: Backward Accumulation for Long-Range Optical Flow [70.4251045372285]
本稿では、長距離光フロー推定のためのAccFlowと呼ばれる新しいリカレントフレームワークを提案する。従来の前方累積よりも後方累積の方が優れていることを示す。長距離光流量推定におけるAccFlowの有効性を検証する実験
論文参考訳（メタデータ） (2023-08-25T01:51:26Z)
TransFlow: Transformer as Flow Learner [22.727953339383344]
本稿では,光フロー推定のためのトランスフォーマーアーキテクチャであるTransFlowを提案する。フロー推定において、より正確な相関と信頼できるマッチングを提供する。ダイナミックなシーンにおける長距離時間的関連を通して、フロー推定においてより妥協された情報を復元する。
論文参考訳（メタデータ） (2023-04-23T03:11:23Z)
GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
光フロー推定学習のためのGMFlowフレームワークを提案する。機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
論文参考訳（メタデータ） (2021-11-26T18:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。