論文の概要: Sparse by Command: Task-Conditional Compute Skipping for Multi-Task Inference Accelerators

• arxiv url: http://arxiv.org/abs/2607.22038v1
• Date: Fri, 24 Jul 2026 07:06:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.071096
• Title: Sparse by Command: Task-Conditional Compute Skipping for Multi-Task Inference Accelerators
• Title（参考訳）: コマンドによるスパース:マルチタスク推論アクセラレータのためのタスク・コンディショナル・コンピューティング・スキッピング
• Abstract要約: マルチタスク推論モデルは、様々なタスクにまたがって単一のバックボーンを共有するが、どのタスクがアクティブであるかに関わらず、同じ計算を実行する。 本稿では,軽量なゲーティングネットワークをバックボーンと共同でトレーニングし,タスク入力に条件付けされたタイルごとのバイナリ実行マスクを予測する手法を提案する。 これにより、タスク依存の計算が削減され、各コマンドは必要なネットワークのサブセットのみを起動する。
• 参考スコア（独自算出の注目度）: 20.25679176568031
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-task inference models share a single backbone across diverse tasks, yet execute identical computation regardless of which task is active - wasting energy and cycles on task-irrelevant operations. We observe that the task command, typically available before inference begins, provides a free signal that can be exploited to skip unnecessary computation at the hardware level. We present a HW/SW co-designed approach in which a lightweight gating network, trained jointly with the backbone, predicts per-tile binary execution masks conditioned on the task input. Each tile corresponds to a fixed group of output channels (the native scheduling granularity of the accelerator), enabling masked tiles to be skipped with zero overhead. This yields a task-dependent reduction in compute, where each command activates only the subset of the network it requires, without changes to the model architecture or inference pipeline. We co-design the full system stack: a command-conditioned training procedure that learns hardware-aligned tile masks under a sparsity objective; an instruction set architecture whose instructions carry per-tile bitmask fields, allowing the hardware to skip masked tiles without software intervention; and a tiled inference accelerator with configurable parallelism, double-buffered memory, and INT8 datapath that natively supports sparse tile execution. We prototype on an AMD/Xilinx Alveo U50 FPGA and evaluate on a closed-loop visuomotor driving task in CARLA autonomous driving simulator. Task-conditional sparsity reduces FLOPs by 66-76% while maintaining driving quality. On-device latency decreases by 51-59%, from 9.12 ms to 3.74-4.44 ms (2.1-2.4x speedup), with energy per inference dropping from 263 to 108-128mJ.
• Abstract（参考訳）: マルチタスク推論モデルは、さまざまなタスクにまたがって単一のバックボーンを共有しますが、どのタスクがアクティブであるかに関わらず、同じ計算を実行します。 推論開始前に利用できるタスクコマンドは,ハードウェアレベルで不要な計算を省略するために利用可能なフリー信号を提供する。 本稿では,軽量なゲーティングネットワークをバックボーンと共同でトレーニングし,タスク入力に条件付きタイルごとのバイナリ実行マスクを予測するHW/SW共同設計手法を提案する。 各タイルは、固定された出力チャネル群(アクセルのネイティブなスケジューリング粒度)に対応し、マスク付きタイルをオーバーヘッドゼロでスキップすることができる。 これにより、各コマンドは、モデルアーキテクチャや推論パイプラインを変更することなく、必要なネットワークのサブセットのみを起動する。 我々は、スポーシティ目的の下でハードウェア整列タイルマスクを学習するコマンド条件付きトレーニング手順、タイルごとのビットマスクフィールドを持ち、ハードウェアがソフトウェア介入なしにマスク付きタイルをスキップできる命令セットアーキテクチャ、設定可能な並列性を備えたタイル推論アクセラレータ、ダブルバッファメモリ、およびスパースタイル実行をネイティブにサポートするINT8データパスを設計する。 我々は,AMD/Xilinx Alveo U50 FPGA の試作を行い,CARLA自律運転シミュレータにおける閉ループ振動子駆動タスクの評価を行った。 タスク条件の間隔は、運転品質を維持しながらFLOPを66-76%削減する。 デバイス上の遅延は51-59%減少し、9.12msから3.74-4.44ms(2.1-2.4x)に減少し、推論当たりのエネルギーは263から108-128mJに減少する。

関連論文リスト

• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• Expert Streaming: Accelerating Low-Batch MoE Inference via Multi-chiplet Architecture and Dynamic Expert Trajectory Scheduling [29.998645673111536]
  Mixture-of-Expertsは、ローバッチ推論を備えたエッジAIの有望なアプローチである。 MoEのスパーシリティと動的ゲーティングシフト 分散戦略は、より微細なランタイムの粒度に向かっている。 Fully Sharded Expert Data Parallelismは、低バッチのMoE計算用に特別に設計された並列化パラダイムである。
  論文  参考訳（メタデータ） (2026-03-29T10:44:55Z)
• Dependency-Aware Task Offloading in Multi-UAV Assisted Collaborative Mobile Edge Computing [53.88774113545582]
  本稿では,新しい無人航空機(UAV)による協調移動エッジコンピューティング(MEC)フレームワークを提案する。 システムコストを最小限に抑え、タスク消費とエネルギー消費のトレードオフを改善することを目的としている。 提案手法はシステムコストを大幅に削減し,タスク消費とエネルギー消費のトレードオフの改善を実現する。
  論文  参考訳（メタデータ） (2025-10-23T02:55:40Z)
• CIFLEX: Contextual Instruction Flow for Sub-task Execution in Multi-Turn Interactions with a Single On-Device LLM [25.486389526043727]
  単一オンデバイス大規模言語モデル(LLM)を用いたマルチターンインタラクションにおいて,効率的なサブタスク処理のための新しい実行方式を提案する。 我々は、小規模モデルに適した階層的な分類戦略を開発し、複数選択決定をバイナリモデルに分解する。 実験により、CIFLEXはタスク性能を劣化させることなく計算コストを大幅に削減し、デバイス上でスケーラブルで効率的なマルチタスク対話を可能にした。
  論文  参考訳（メタデータ） (2025-09-24T01:20:47Z)
• Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
  我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。 本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
  論文  参考訳（メタデータ） (2024-05-13T14:54:37Z)
• Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
  M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。 MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。 Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
  論文  参考訳（メタデータ） (2023-05-30T02:24:03Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• Over-the-Air Federated Multi-Task Learning via Model Sparsification and Turbo Compressed Sensing [48.19771515107681]
  本稿では,エッジサーバの協調の下で,エッジデバイス上にデプロイされた複数の学習タスクを非直交型フェードチャネルで共有する,オーバー・ザ・エアのFMTLフレームワークを提案する。 OA-FMTLでは、エッジデバイスの局所的な更新はスパース化され、圧縮され、重ね合わせの方法でアップリンクチャネルに送信される。 提案するOA-FMTLフレームワークとM-Turbo-CSアルゴリズムの性能解析を行った。
  論文  参考訳（メタデータ） (2022-05-08T08:03:52Z)
• LayerPipe: Accelerating Deep Neural Network Training by Intra-Layer and Inter-Layer Gradient Pipelining and Multiprocessor Scheduling [6.549125450209931]
  バックプロパゲーションによるモデルパラメータのトレーニングは、本質的にフィードバックループを生成する。 提案システムはLayerPipeと呼ばれ、トレーニングに必要なクロックサイクルの数を削減している。
  論文  参考訳（メタデータ） (2021-08-14T23:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。