論文の概要: On-device System of Compositional Multi-tasking in Large Language Models

• arxiv url: http://arxiv.org/abs/2510.13848v1
• Date: Sat, 11 Oct 2025 19:49:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.471853
• Title: On-device System of Compositional Multi-tasking in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける構成マルチタスクのオンデバイスシステム
• Authors: Ondrej Bohdal, Konstantinos Theodosiadis, Asterios Mpatziakas, Dimitris Filippidis, Iro Spyrou, Christos Zonios, Anastasios Drosou, Dimosthenis Ioannidis, Kyeng-Hun Lee, Jijoong Moon, Hyeonmok Ko, Mete Ozay, Umberto Michieli,
• Abstract要約: 本稿では,要約と翻訳を含む構成的マルチタスクシナリオに特化して設計された新しいアプローチを提案する。 本手法では,要約と翻訳の併用により学習可能なプロジェクション層を付加する。 構成タスクをシームレスに実行可能なAndroidアプリを開発することにより,デバイス上の環境下での本手法の実用性を示す。
• 参考スコア（独自算出の注目度）: 29.561801948704822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are commonly adapted for diverse downstream tasks via parameter-efficient fine-tuning techniques such as Low-Rank Adapters (LoRA). While adapters can be combined to handle multiple tasks separately, standard approaches struggle when targeting the simultaneous execution of complex tasks, such as generating a translated summary from a long conversation. To address this challenge, we propose a novel approach tailored specifically for compositional multi-tasking scenarios involving summarization and translation. Our technique involves adding a learnable projection layer on top of the combined summarization and translation adapters. This design enables effective integration while maintaining efficiency through reduced computational overhead compared to alternative strategies requiring extensive retraining or sequential processing. We demonstrate the practical viability of our method within an on-device environment by developing an Android app capable of executing compositional tasks seamlessly. Experimental results indicate our solution performs well and is fast in both cloud-based and on-device implementations, highlighting the potential benefits of adopting our framework in real-world applications demanding high-speed operation alongside resource constraints.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ローランドアダプタ(LoRA)のようなパラメータ効率のよい微調整技術によって、様々な下流タスクに適応する。 アダプタは複数のタスクを個別に扱うために組み合わせられるが、標準的なアプローチは、長い会話から翻訳された要約を生成するなど、複雑なタスクの同時実行を目標とする場合に苦労する。 この課題に対処するために,要約と翻訳を含む構成的マルチタスクシナリオに特化して設計された,新しいアプローチを提案する。 本手法では,要約と翻訳の併用により学習可能なプロジェクション層を付加する。 この設計は、大規模なリトレーニングやシーケンシャルな処理を必要とする代替戦略と比較して、計算オーバーヘッドを減らし効率を保ちながら効果的な統合を可能にする。 構成タスクをシームレスに実行可能なAndroidアプリを開発することにより,デバイス上の環境下での本手法の実用性を示す。 実験結果から,クラウドベースの実装とオンデバイス実装の両方において,ソリューションが良好に動作し,高速な運用とリソース制約の両立を要求される現実のアプリケーションにおいて,私たちのフレームワークを採用するメリットを浮き彫りにしている。

関連論文リスト

• ContextNav: Towards Agentic Multimodal In-Context Learning [85.05420047017513]
  ContextNavは、自動検索のスケーラビリティと人間のようなキュレーションの品質と適応性を統合するエージェントフレームワークである。 リソースを意識したマルチモーダル埋め込みパイプラインを構築し、検索可能なベクトルデータベースを維持し、エージェント検索と構造アライメントを適用して、ノイズ耐性のあるコンテキストを構築する。 実験の結果、ContextNavはさまざまなデータセットで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-10-06T07:49:52Z)
• Efficient Compositional Multi-tasking for On-device Large Language Models [34.95345867937008]
  テキストベースの合成マルチタスクの問題について検討し、各テスト例では複数のタスクを同時に実行する。 私たちのコントリビューションは、実世界のマルチタスクシナリオにおける大規模言語モデルの能力を向上し、複雑なリソース制約のあるユースケースに適用可能にするための基礎を築いてきました。
  論文  参考訳（メタデータ） (2025-07-21T21:39:23Z)
• EIFBENCH: Extremely Complex Instruction Following Benchmark for Large Language Models [64.70546873396624]
  大規模言語モデル(LLM)を評価するためのEIFBENCH(Extremely Complex Instruction following Benchmark)を提案する。 EIFBENCHにはマルチタスクシナリオが含まれており、多様なタスクタイプを同時に総合的に評価することができる。 また,LLMのマルチタスクワークフローを正確に満たす能力を高めるために,セグメントポリシー最適化(SegPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-10T02:39:55Z)
• Efficient Multi-modal Long Context Learning for Training-free Adaptation [96.21248144937627]
  本稿では,マルチモーダル長文脈学習(EMLoC)について紹介する。 モデル入力に直接デモ例を埋め込む。 長いコンテキストのマルチモーダル入力をコンパクトでタスク固有のメモリ表現に凝縮する。
  論文  参考訳（メタデータ） (2025-05-26T10:49:44Z)
• Pilot: Building the Federated Multimodal Instruction Tuning Framework [79.56362403673354]
  本フレームワークは、視覚エンコーダとLCMのコネクタに「アダプタのアダプタ」の2つの段階を統合する。 ステージ1では視覚情報からタスク固有の特徴とクライアント固有の特徴を抽出する。 ステージ2では、クロスタスクインタラクションを実行するために、クロスタスクMixture-of-Adapters(CT-MoA)モジュールを構築します。
  論文  参考訳（メタデータ） (2025-01-23T07:49:24Z)
• MoDE: Effective Multi-task Parameter Efficient Fine-Tuning with a Mixture of Dyadic Experts [6.245113492272563]
  Mixture of Dyadic Experts (MoDE) は効率的なマルチタスク適応のための新しい設計である。 我々の設計はよりきめ細かい混合を可能にし、それによってモデルの複数のタスクを共同で処理する能力を高めます。
  論文  参考訳（メタデータ） (2024-08-02T18:05:10Z)
• Task Indicating Transformer for Task-conditional Dense Predictions [16.92067246179703]
  この課題に対処するために,タスク表示変換(TIT)と呼ばれる新しいタスク条件フレームワークを導入する。 本手法では,行列分解によるタスク指示行列を組み込んだMix Task Adapterモジュールをトランスフォーマーブロック内に設計する。 また,タスク表示ベクトルとゲーティング機構を利用するタスクゲートデコーダモジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-01T07:06:57Z)
• Making Small Language Models Better Multi-task Learners with Mixture-of-Task-Adapters [13.6682552098234]
  大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクにおいて、驚くべきゼロショット学習性能を達成した。 マルチタスク学習者に対して,小型言語モデルに基づくmixTure-of-task-adapterを効果的に構築するシステムであるALTERを提案する。 少ない計算コストでアダプタ間の協調を最適化する2段階の学習手法を提案する。
  論文  参考訳（メタデータ） (2023-09-20T03:39:56Z)
• Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
  シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。 合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。 次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
  論文  参考訳（メタデータ） (2021-09-15T21:19:11Z)
• HyperGrid: Efficient Multi-Task Transformers with Grid-wise Decomposable Hyper Projections [96.64246471034195]
  我々は,マルチタスク学習を効果的に行う新しいアプローチであるtextscHyperGridを提案する。 本手法は,微調整とマルチタスク学習のギャップを埋めるのに役立つ。
  論文  参考訳（メタデータ） (2020-07-12T02:49:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。