論文の概要: ixi-sLM: On-Device sLM for AI Call Agent Service

• arxiv url: http://arxiv.org/abs/2610.19382v1
• Date: Wed, 14 Oct 2026 01:29:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.883869
• Title: ixi-sLM: On-Device sLM for AI Call Agent Service
• Title（参考訳）: ixi-sLM:AIコールエージェントサービス用オンデバイスsLM
• Abstract要約: On-DEVICE MODEling を用いて 1.2B の韓国製 sLM である ixi-sLM を移動式 NPU に導入する。 ドメイン適応モデリングは、埋め込みとLMヘッドを縮小するために、呼び出し周波数によって語彙をトリムする。 単一のドメイン適応モデルがixi-Oの2つのプロダクションサービス、AI Call SummaryとAI Call Answeringを実行する。
• 参考スコア（独自算出の注目度）: 11.198359702129338
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Running an AI call agent on-device makes it private, network-independent, and free of per-query cloud cost, but shipping one as a real-world service imposes constraints a cloud deployment never faces: ~1GiB memory budget, in-call latency and thermal limits, static-integer NPU execution, Korean STT input far from sLM pretraining, and cloud-level quality expectations. We bring ixi-sLM, a 1.2B Korean sLM, to mobile NPUs through ON-DEVICE MODELING: domain-adaptive modeling trims the vocabulary by call frequency to shrink the embedding and LM head that take nearly half the model under INT4 transformer weights and refits the tokenizer to call speech (18% fewer tokens on call traffic), while task-aware quantization calibrates on real calls and assigns per-module mixed precision by activation sensitivity. A single domain-adapted model runs ixi-O's two production services, AI Call Summary and AI Call Answering, at 94% of a state-of-the-art cloud LLM's task-weighted quality; our on-device modeling carries that quality onto the NPU with only a marginal drop in overall score, in an 803MiB model (28% of FP16) at 23% of the CPU's per-call energy. The same recipe deploys across Qualcomm and Apple NPUs and serves several million ixi-O subscribers in production.
• Abstract（参考訳）: デバイス上でAIコールエージェントを実行することで、プライベートでネットワーク非依存で、クエリ毎のクラウドコストが不要になるが、実際のサービスとして配信する場合には、クラウドデプロイメントの制約が課される: ~1GiBメモリ予算、インコールレイテンシとサーマル制限、静的整数NPU実行、sLM事前トレーニングから遠く離れた韓国のSTT入力、クラウドレベルの品質期待。 On-DEVICE MODEling: domain-adaptive modeling trims the vocabulary by call frequency by the vocabulary to reduce the embeddedding and LM head that takes the average than the model under INT4 transformer weights and Refits the tokenizer to call speech (18% less tokens on call traffic), while task-aware Quantization calibrates on real call and assigns per-module mixed precision by activation sensitivity。 1つのドメイン適応モデルがixi-Oの2つのプロダクションサービス、AI Call SummaryとAI Call Answeringを、最先端のクラウドLLMのタスク重み付け品質の94%で実行します。 同じレシピはQualcommとApple NPUにまたがって展開され、数百万のixi-Oサブスクライバーが本番で利用できる。

関連論文リスト

• From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
  200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。 我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。 このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
  論文  参考訳（メタデータ） (2026-09-01T17:39:26Z)
• Synera: Synergistic LLM Serving across Device and Cloud at Scale [8.533983798094683]
  大規模言語モデル(LLM)は、様々なモバイルオペレーティングシステムにおいて重要なコンポーネントになりつつある。 デプロイメントは、パフォーマンス上の課題、特に生成品質と長時間の遅延劣化に悩まされている。 本稿では,効率的なSLM-LLM合成機構を応用したデバイスクラウド同期型LCMサービスシステムであるSyneraを提案する。
  論文  参考訳（メタデータ） (2025-10-17T04:31:50Z)
• dInfer: An Efficient Inference Framework for Diffusion Language Models [54.80918957287927]
  拡散に基づく大規模言語モデル (dLLM) は自己回帰(AR) LLM に代わる有望な代替品として登場した。 本稿では、dLLM推論のための効率的かつ効率的なフレームワークであるdInferについて述べる。
  論文  参考訳（メタデータ） (2025-10-09T16:19:42Z)
• Serving Large Language Models on Huawei CloudMatrix384 [28.88558053380112]
  従来のAIクラスタは、計算強度、メモリ帯域幅、チップ間通信、レイテンシの制限に直面している。 本稿では,Huawei CloudMatrixを紹介する。Huawei CloudMatrixは,プロダクショングレードのCloudMatrix384スーパーノードで実現された次世代AIアーキテクチャである。 384 Ascend 910 NPUと192 Kunpeng CPUを超広帯域統一バス(UB)ネットワークを介して相互接続し、直接通信とリソースの動的プールを可能にする。
  論文  参考訳（メタデータ） (2025-06-15T03:41:34Z)
• Elastic On-Device LLM Service [11.778868057819269]
  我々は、フルLLMのモデルと寸法の両方を弾力化するデバイス上の大規模言語モデルサービスであるsysを提示する。 sysは、平均で14.83%、10.45%の精度で7つの強いベースラインを上回り、1%のTTFTスイッチオーバヘッド、オンパーメモリ消費、100のオフラインGPU時間を実現している。
  論文  参考訳（メタデータ） (2024-09-08T06:32:08Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)
• Dynamic Multi-Branch Layers for On-Device Neural Machine Translation [53.637479651600586]
  動的マルチブランチ層を用いたオンデバイスニューラルマシン翻訳(NMT)システムの性能向上を提案する。 具体的には、トレーニングと推論中に1つの分岐のみを活性化した層方向動的マルチブランチネットワークを設計する。 ほぼ同じ計算コストで、WMT14英語-ドイツ語翻訳タスクでは最大1.7 BLEUポイント、WMT20中国語-英語翻訳タスクでは1.8 BLEUポイントの改善を実現します。
  論文  参考訳（メタデータ） (2021-05-14T07:32:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。