論文の概要: Visual Editing with LLM-based Tool Chaining: An Efficient Distillation Approach for Real-Time Applications

• arxiv url: http://arxiv.org/abs/2410.02952v3
• Date: Thu, 10 Oct 2024 11:41:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 04:45:27.689312
• Title: Visual Editing with LLM-based Tool Chaining: An Efficient Distillation Approach for Real-Time Applications
• Title（参考訳）: LLMベースのツールチェインによるビジュアル編集:リアルタイムアプリケーションのための効率的な蒸留手法
• Authors: Oren Sultan, Alex Khasin, Guy Shiran, Asnat Greenstein-Messica, Dafna Shahaf,
• Abstract要約: 本稿では, リアルタイムアプリケーションにおけるツール起動のための微調整LDMの実用的蒸留手法を提案する。 GPT-3.5-TurboのようなプロプライエタリなLCMはこのタスクの潜在的な可能性を示すが、その高コストと遅延によりリアルタイムアプリケーションには適さない。 その結果, 微調整の精度は, 低データ方式では25%向上した。
• 参考スコア（独自算出の注目度）: 12.344378665828156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a practical distillation approach to fine-tune LLMs for invoking tools in real-time applications. We focus on visual editing tasks; specifically, we modify images and videos by interpreting user stylistic requests, specified in natural language ("golden hour"), using an LLM to select the appropriate tools and their parameters to achieve the desired visual effect. We found that proprietary LLMs such as GPT-3.5-Turbo show potential in this task, but their high cost and latency make them unsuitable for real-time applications. In our approach, we fine-tune a (smaller) student LLM with guidance from a (larger) teacher LLM and behavioral signals. We introduce offline metrics to evaluate student LLMs. Both online and offline experiments show that our student models manage to match the performance of our teacher model (GPT-3.5-Turbo), significantly reducing costs and latency. Lastly, we show that fine-tuning was improved by 25% in low-data regimes using augmentation.
• Abstract（参考訳）: 本稿では, リアルタイムアプリケーションにおけるツール起動のための微調整LDMの実用的蒸留手法を提案する。 視覚的な編集作業,特に自然言語で指定されたユーザスタイル要求(「黄金時」)を解釈して画像や動画を編集し,LLMを用いて適切なツールとそのパラメータを選択して視覚効果を達成する。 GPT-3.5-TurboのようなプロプライエタリなLCMは、このタスクに潜在的な可能性を示すが、そのコストとレイテンシが高いため、リアルタイムアプリケーションには適さない。 そこで本研究では,(より)小学生のLSMに,(より)教師のLSMと行動信号の指導を施して微調整を行った。 学生のLCMを評価するためにオフラインメトリクスを導入する。 オンラインとオフラインの両方の実験は、学生モデルが教師モデル(GPT-3.5-Turbo)のパフォーマンスにマッチしていることを示し、コストとレイテンシを大幅に削減した。 最後に, 微調整の精度を低データ方式で25%向上したことを示す。

関連論文リスト

• Rethinking VLMs and LLMs for Image Classification [6.550471260627169]
  大きな言語モデル(LLM)は、新しい機能を実現するために、Visual Language Models(VLM)と統合されつつある。 オブジェクト認識やシーン認識では,LLMを使わないVLMの方が,VLMよりも優れた性能が得られることを示す。 本稿では,視覚的タスクをタスクに適したモデルに効率的にルーティングする,比較的小さなLCMを含む軽量な修正法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T23:40:21Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
  大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。 ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。 LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
  論文  参考訳（メタデータ） (2024-03-30T10:11:26Z)
• LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement [79.31084387589968]
  事前訓練された大規模言語モデル(LLM)は、現在、自然言語処理タスクの大部分を解決するための最先端技術である。 LLM2LLMは、教師のLLMを使って小さなシードデータセットを強化するデータ拡張戦略である。 GSM8Kデータセットでは最大24.2%、CaseHOLDでは32.6%、SNIPSでは32.0%、TRECでは52.6%、SST-2では39.8%の改善が達成された。
  論文  参考訳（メタデータ） (2024-03-22T08:57:07Z)
• LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
  既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。 試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。 STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
  論文  参考訳（メタデータ） (2024-03-07T18:50:51Z)
• CLAMP: Contrastive LAnguage Model Prompt-tuning [89.96914454453791]
  このように適応すれば,大規模な言語モデルでも優れた画像分類性能が得られることを示す。 我々のアプローチは最先端のmLLMを13%上回り、カスタムテキストモデルによる対照的な学習をわずかに上回ります。
  論文  参考訳（メタデータ） (2023-12-04T05:13:59Z)
• Small Language Models Improve Giants by Rewriting Their Outputs [18.025736098795296]
  本研究では,大規模言語モデル(LLM)の性能向上にトレーニングデータを活用するという課題に,微調整なしで対処する。 我々は、数発のプロンプトによってLSMから候補のプールを作成し、コンパクトモデルLM-corrector(LMCor)を用いて、これらの候補をマージして拡張出力を生成するように特別に訓練した。 4つの自然言語生成タスクの実験により、小さな LMCor モデル (250M) でさえ、LLM (62B) の少数ショット性能を大幅に改善し、マッチングや標準微調整よりも優れることを示した。
  論文  参考訳（メタデータ） (2023-05-22T22:07:50Z)
• Response Length Perception and Sequence Scheduling: An LLM-Empowered LLM Inference Pipeline [22.08897444328099]
  大規模言語モデル(LLM)はAIの分野に革命をもたらし、様々なタスクで前例のない能力を示している。 本稿では,LLMのパワーを利用する効率的なLLM推論パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。