論文の概要: Optimizing Small Language Models for In-Vehicle Function-Calling
- arxiv url: http://arxiv.org/abs/2501.02342v1
- Date: Sat, 04 Jan 2025 17:32:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-07 17:10:14.306206
- Title: Optimizing Small Language Models for In-Vehicle Function-Calling
- Title（参考訳）: 車載機能計算のための小言語モデルの最適化
- Authors: Yahya Sowti Khiabani, Farris Atif, Chieh Hsu, Sven Stahlmann, Tobias Michels, Sebastian Kramer, Benedikt Heidrich, M. Saquib Sarfraz, Julian Merten, Faezeh Tafazzoli,
- Abstract要約: 本稿では,小型言語モデル(SLM)をエッジデバイスとして車両内の機能呼び出しエージェントとして展開するための総合的アプローチを提案する。
SLMを利用することで、車両制御機構を簡素化し、ユーザエクスペリエンスを向上させる。
- 参考スコア（独自算出の注目度）: 4.148443557388842
- License:
- Abstract: We propose a holistic approach for deploying Small Language Models (SLMs) as function-calling agents within vehicles as edge devices, offering a more flexible and robust alternative to traditional rule-based systems. By leveraging SLMs, we simplify vehicle control mechanisms and enhance the user experience. Given the in-vehicle hardware constraints, we apply state-of-the-art model compression techniques, including structured pruning, healing, and quantization, ensuring that the model fits within the resource limitations while maintaining acceptable performance. Our work focuses on optimizing a representative SLM, Microsoft's Phi-3 mini, and outlines best practices for enabling embedded models, including compression, task-specific fine-tuning, and vehicle integration. We demonstrate that, despite significant reduction in model size which removes up to 2 billion parameters from the original model, our approach preserves the model's ability to handle complex in-vehicle tasks accurately and efficiently. Furthermore, by executing the model in a lightweight runtime environment, we achieve a generation speed of 11 tokens per second, making real-time, on-device inference feasible without hardware acceleration. Our results demonstrate the potential of SLMs to transform vehicle control systems, enabling more intuitive interactions between users and their vehicles for an enhanced driving experience.
- Abstract（参考訳）: 本稿では,車内をエッジデバイスとして機能呼び出しエージェントとして,小型言語モデル(SLM)をデプロイするための総合的アプローチを提案する。
SLMを利用することで、車両制御機構を簡素化し、ユーザエクスペリエンスを向上させる。
車両内ハードウェアの制約を考慮し、構造化プルーニング、ヒーリング、量子化などの最先端モデル圧縮技術を適用し、モデルが許容性能を維持しつつリソース制限内に収まることを保証する。
我々の研究は、代表的SLM、MicrosoftのPhi-3 miniの最適化に重点を置いており、圧縮、タスク固有の微調整、車両統合など、組み込みモデルを実現するためのベストプラクティスを概説している。
従来のモデルから最大20億のパラメータを除去するモデルサイズを大幅に削減したにもかかわらず,本手法は複雑な車載タスクを正確かつ効率的に処理するモデルの能力を保っている。
さらに、軽量なランタイム環境でモデルを実行することで、毎秒11トークンの生成速度を実現し、ハードウェアアクセラレーションなしでリアルタイム・オンデバイス推論を実現する。
本研究は,SLMが車両制御システムを変換し,ユーザと車両間のより直感的なインタラクションを実現し,運転体験を向上する可能性を実証するものである。
関連論文リスト
- Quantization-Aware Imitation-Learning for Resource-Efficient Robotic Control [11.365124223329582]
我々は,低ビット精度誤差に対するロバスト性を高めるために,パラメータを微調整するILベースのポリシーモデルのための新しい量子化フレームワークを提案する。
実エッジGPU上での4ビット重み量子化のためのロボット操作による評価は,我々のフレームワークが最大2.5倍の高速化と2.5倍の省エネを実現していることを示す。
これらの結果は、リソース制約のあるデバイスにILベースのポリシーモデルをデプロイする現実的な可能性を強調している。
論文 参考訳（メタデータ） (2024-12-02T01:33:49Z) - OWLed: Outlier-weighed Layerwise Pruning for Efficient Autonomous Driving Framework [3.8320050452121692]
本稿では,効率的な自律運転フレームワーク Outlier-Weighed Layerwise Pruning であるOWLedを紹介する。
提案手法は,外乱特性の分布に基づいて,異なる層に対して一様でない空間比を割り当てる。
圧縮モデルが自律運転タスクに適合するようにするため、運転環境データをキャリブレーションとプルーニングの両方に組み込む。
論文 参考訳（メタデータ） (2024-11-12T10:55:30Z) - Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% Performance [78.48606021719206]
Mini-InternVL は 1B から 4B までのパラメータを持つ一連の MLLM であり、パラメータの 5% しか持たない性能の90% を達成している。
我々は,ダウンストリームタスクにおける特化モデルの転送と性能向上を可能にする,Mini-InternVLの統一適応フレームワークを開発した。
論文 参考訳（メタデータ） (2024-10-21T17:58:20Z) - Structuring a Training Strategy to Robustify Perception Models with Realistic Image Augmentations [1.5723316845301678]
本報告では, モデルロバスト性, 性能を向上させるため, 強化したトレーニング手法を提案する。
機械学習モデルの弱点を特定し、適切な拡張を選択し、効果的なトレーニング戦略を考案する包括的フレームワークを提案する。
実験結果は,オープンソースオブジェクトの検出とセマンティックセグメンテーションモデルとデータセットに対する平均平均精度(mAP)や平均距離(mIoU)といった一般的な測定値によって測定されるモデル性能の改善を示す。
論文 参考訳（メタデータ） (2024-08-30T14:15:48Z) - MetaFollower: Adaptable Personalized Autonomous Car Following [63.90050686330677]
適応型パーソナライズされた自動車追従フレームワークであるMetaFollowerを提案する。
まず,モデルに依存しないメタラーニング(MAML)を用いて,様々なCFイベントから共通運転知識を抽出する。
さらに、Long Short-Term Memory (LSTM) と Intelligent Driver Model (IDM) を組み合わせて、時間的不均一性を高い解釈性で反映する。
論文 参考訳（メタデータ） (2024-06-23T15:30:40Z) - EditFollower: Tunable Car Following Models for Customizable Adaptive Cruise Control Systems [28.263763430300504]
本研究では,データ駆動型自動車追従モデルを提案する。
本モデルは,運転者の社会的嗜好を考慮に入れたACCシステムの開発に有用な知見を提供する。
論文 参考訳（メタデータ） (2024-06-23T15:04:07Z) - Trajeglish: Traffic Modeling as Next-Token Prediction [67.28197954427638]
自動運転開発における長年の課題は、記録された運転ログからシードされた動的運転シナリオをシミュレートすることだ。
車両、歩行者、サイクリストが運転シナリオでどのように相互作用するかをモデル化するために、離散シーケンスモデリングのツールを適用します。
我々のモデルはSim Agents Benchmarkを上回り、リアリズムメタメトリックの先行作業の3.3%、インタラクションメトリックの9.9%を上回ります。
論文 参考訳（メタデータ） (2023-12-07T18:53:27Z) - MACP: Efficient Model Adaptation for Cooperative Perception [23.308578463976804]
協調機能を備えた単エージェント事前学習モデルを備えたMACPという新しいフレームワークを提案する。
提案手法は,協調観測を効果的に活用し,他の最先端手法より優れていることを示す。
論文 参考訳（メタデータ） (2023-10-25T14:24:42Z) - AutoMix: Automatically Mixing Language Models [62.51238143437967]
大規模言語モデル(LLM)は、さまざまなサイズと構成のクラウドAPIプロバイダから利用可能になった。
より小さなLMからの出力の近似精度に基づいて,クエリを大規模LMに戦略的にルーティングする手法であるAutomixを提案する。
論文 参考訳（メタデータ） (2023-10-19T17:57:39Z) - eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。
視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。
総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
論文 参考訳（メタデータ） (2023-03-20T19:20:34Z) - Real-time Neural-MPC: Deep Learning Model Predictive Control for
Quadrotors and Agile Robotic Platforms [59.03426963238452]
モデル予測制御パイプライン内の動的モデルとして,大規模で複雑なニューラルネットワークアーキテクチャを効率的に統合するフレームワークであるReal-time Neural MPCを提案する。
ニューラルネットワークを使わずに、最先端のMPCアプローチと比較して、位置追跡誤差を最大82%削減することで、実世界の問題に対する我々のフレームワークの実現可能性を示す。
論文 参考訳（メタデータ） (2022-03-15T09:38:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。