論文の概要: Fine-tuning Multi-modal LLMs with ART: Art-based Reinforcement Training

• arxiv url: http://arxiv.org/abs/2606.11854v1
• Date: Wed, 10 Jun 2026 09:30:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.392154
• Title: Fine-tuning Multi-modal LLMs with ART: Art-based Reinforcement Training
• Title（参考訳）: ARTを用いた微調整多モードLDM--アートベース補強訓練-
• Authors: Michal Chudoba, Sergey Alyaev, Petra Galuscakova, Tomasz Wiktorski,
• Abstract要約: ARTを用いた微調整(Art-based Reinforcement Training)を提案する。 この方法は、生の視覚入力のみを最適化することにより、凍結したマルチモーダル大言語モデル(MLLM)に情報を注入する。 通常のピクセル配列への勾配のバックプロパゲーションに依存しており、微調整の対象もサポートしている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There are two main Parameter-Efficient Fine-Tuning (PEFT) techniques for Large Language Models (LLMs). While Low-Rank Adaptation (LoRA) introduces additional weights between the LLM layers, Soft Prompting introduces additional fine-tuning-specific raw tokens to an LLM input. However, both require modification to the computational graphs of precompiled, preoptimized LLMs. As a result, neither is fully supported in high-throughput engines like vLLM. We propose fine-tuning with ART (Art-based Reinforcement Training). The method injects information into a frozen Multimodal Large Language Model (MLLM) by optimizing only its raw visual input, thus enabling the soft-token approach on pre-compiled computational graphs. It relies on backpropagation of gradients back into a plain pixel array and thus supports any fine-tuning objective. Moreover, the optimized visual input can be stylized as task-relevant computational artworks. The approach's effectiveness is confirmed for different sizes of a popular open Qwen architecture and for several textual benchmarks. Specifically, ART reaches accuracy competitive with LoRA across mathematics and structured-tool-use benchmarks.
• Abstract（参考訳）: 大規模言語モデル(LLM)のためのPEFT(パラメータ効率の良いファインチューニング)技術は2つある。 Low-Rank Adaptation (LoRA)はLLM層の間に追加の重みを導入するが、Soft PromptingはLLM入力に微調整固有の生トークンを追加する。 しかし、どちらもプリコンパイルされた、最適化されたLLMの計算グラフを変更する必要がある。 結果として、vLLMのような高スループットエンジンでは、どちらも完全にサポートされない。 ART(Art-based Reinforcement Training)による微調整を提案する。 この手法は、生の視覚入力のみを最適化することにより、凍結したマルチモーダル大言語モデル(MLLM)に情報を注入することにより、プリコンパイルされた計算グラフに対するソフトトーケンアプローチを可能にする。 通常のピクセル配列への勾配のバックプロパゲーションに依存しており、微調整の対象もサポートしている。 さらに、最適化された視覚入力は、タスク関連計算アートワークとしてスタイリングすることができる。 このアプローチの有効性は、人気のあるオープンなQwenアーキテクチャのさまざまなサイズと、いくつかのテキストベンチマークで確認されている。 具体的には、ARTは数学や構造化ツール使用ベンチマークでLoRAと競合する精度に達する。

関連論文リスト

• Fine-Tuning Causal LLMs for Text Classification: Embedding-Based vs. Instruction-Based Approaches [0.0]
  我々は、リソース制約下での下流テキスト分類のためのLLM(Large Language Models)を微調整する戦略について検討する。 1)事前訓練した因果LLMに分類ヘッドをアタッチしてタスクを微調整し,(2)分類のためのプロンプト>応答形式でLSMを指導する,という2つの手法を検討した。
  論文  参考訳（メタデータ） (2025-12-14T13:02:06Z)
• RedundancyLens: Revealing and Exploiting Visual Token Processing Redundancy for Efficient Decoder-Only MLLMs [38.34856927170692]
  MLLM(Multimodal Large Language Model)の学習用フレームワークを提案する。 Probe-Activated Dynamic FFNとHollow Attentionで構成されており、ビジュアルトークンの計算の調整可能な削減を可能にする。 実験では、デコーダのみのMLLMに特有の、実質的で、構造化され、クラスタ化された冗長性を示す。
  論文  参考訳（メタデータ） (2025-01-31T11:09:16Z)
• AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning [19.68349294206012]
  大規模言語モデル(LLM)は、画像やビデオなどの視覚的データの強力な理解を示すマルチモーダルLLMの作成を可能にする。 多様な効率要件を満たすマルチモーダルLCMの学習自由適応推論法を提案する。
  論文  参考訳（メタデータ） (2024-12-04T11:47:57Z)
• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• Visual Perception by Large Language Model's Weights [34.34876575183736]
  本稿では,視覚情報をモデル重みとして表現するパラメータ空間アライメントパラダイムを提案する。 各入力画像に対して、視覚的特徴を抽出し、特徴を知覚重みに変換し、知覚重みとLLMの重みをマージする視覚エンコーダを用いる。 このようにして、LLMの入力は視覚トークンを必要としないため、入力シーケンスの長さが小さくなり、効率が大幅に向上する。
  論文  参考訳（メタデータ） (2024-05-30T17:59:47Z)
• Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。 そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。 スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
  論文  参考訳（メタデータ） (2024-05-06T16:03:32Z)
• Spatio-Temporal Side Tuning Pre-trained Foundation Models for Video-based Pedestrian Attribute Recognition [58.79807861739438]
  既存の歩行者認識アルゴリズム(PAR)は主に静的画像に基づいて開発されている。 本稿では,時間的情報を完全に活用できるビデオフレームを用いて,人間の属性を理解することを提案する。
  論文  参考訳（メタデータ） (2024-04-27T14:43:32Z)
• CLAMP: Contrastive LAnguage Model Prompt-tuning [89.96914454453791]
  このように適応すれば,大規模な言語モデルでも優れた画像分類性能が得られることを示す。 我々のアプローチは最先端のmLLMを13%上回り、カスタムテキストモデルによる対照的な学習をわずかに上回ります。
  論文  参考訳（メタデータ） (2023-12-04T05:13:59Z)
• Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
  圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。 本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。 我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-17T20:45:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。