論文の概要: A GPU-Accelerated RAG-Based Telegram Assistant for Supporting Parallel Processing Students
- arxiv url: http://arxiv.org/abs/2509.11947v1
- Date: Mon, 15 Sep 2025 14:06:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-16 17:26:23.324852
- Title: A GPU-Accelerated RAG-Based Telegram Assistant for Supporting Parallel Processing Students
- Title(参考訳): A GPU-Accelerated RAG-based Telegram Assistant for Supporting Parallel Processing Students
- Authors: Guy Tel-Zur,
- Abstract要約: このプロジェクトは、学生に従来の受付時間を超えて、継続的なオンデマンドの学術支援を提供することという、重要な教育的ニーズに対処する。
本稿では、量子化されたMistral-7Bインストラクトモデルを用いて、Telegramボットとしてデプロイされたドメイン固有の検索・拡張生成(RAG)システムを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This project addresses a critical pedagogical need: offering students continuous, on-demand academic assistance beyond conventional reception hours. I present a domain-specific Retrieval-Augmented Generation (RAG) system powered by a quantized Mistral-7B Instruct model and deployed as a Telegram bot. The assistant enhances learning by delivering real-time, personalized responses aligned with the "Introduction to Parallel Processing" course materials. GPU acceleration significantly improves inference latency, enabling practical deployment on consumer hardware. This approach demonstrates how consumer GPUs can enable affordable, private, and effective AI tutoring for HPC education.
- Abstract(参考訳): このプロジェクトは、学生に従来の受付時間を超えて、継続的なオンデマンドの学術支援を提供することという、重要な教育的ニーズに対処する。
本稿では,量子化されたMistral-7Bインストラクタモデルを用いて,Telegramボットとしてデプロイされたドメイン固有の検索・拡張生成(RAG)システムを提案する。
このアシスタントは、「並列処理の導入」コースの教材に合わせた、リアルタイムでパーソナライズされた応答を提供することで、学習を強化する。
GPUアクセラレーションは推論遅延を大幅に改善し、コンシューマハードウェアへの実用的なデプロイを可能にする。
このアプローチは、HPC教育のために、コンシューマGPUが安価でプライベートで効果的なAI教育を可能にする方法を示している。
関連論文リスト
- Integrating Generative AI into Cybersecurity Education: A Study of OCR and Multimodal LLM-assisted Instruction [0.5394948236100675]
本稿は、仮想サイバーセキュリティラボプラットフォームと統合されたLLM支援命令について述べる。
ロボット工学、自動化、AI、セキュリティに重点が置かれているため、リスキルとアップスキルが不可欠である。
本稿では,従来の経験的学習プラットフォームに統合された生成型AI指導アシスタントを提案する。
論文 参考訳(メタデータ) (2025-09-03T04:16:50Z) - Using the Abstract Computer Architecture Description Language to Model
AI Hardware Accelerators [77.89070422157178]
AI統合製品の製造者は、製品のパフォーマンス要件に適合するアクセラレータを選択するという、重大な課題に直面します。
抽象コンピュータアーキテクチャ記述言語(ACADL)は、コンピュータアーキテクチャブロック図の簡潔な形式化である。
本稿では,AIハードウェアアクセラレーションのモデル化にACADLを用いること,DNNのマッピングにACADL記述を使用し,タイミングシミュレーションのセマンティクスを解説し,性能評価結果の収集を行う。
論文 参考訳(メタデータ) (2024-01-30T19:27:16Z) - FusionAI: Decentralized Training and Deploying LLMs with Massive
Consumer-Level GPUs [57.12856172329322]
我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。
このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
論文 参考訳(メタデータ) (2023-09-03T13:27:56Z) - SPEED: Streaming Partition and Parallel Acceleration for Temporal
Interaction Graph Embedding [22.68416593780539]
本稿では,時間的相互作用グラフ埋め込みのためのストリームエッジ分割と並列高速化という,新たなトレーニング手法を提案する。
提案手法は,計算資源,計算時間,下流タスク性能のバランスが良好である。
7つの実世界のデータセットにまたがる実証的な検証は、トレーニング速度を最大19.29倍に向上させる可能性を実証している。
論文 参考訳(メタデータ) (2023-08-27T15:11:44Z) - A Survey on Deep Learning Hardware Accelerators for Heterogeneous HPC Platforms [9.036774656254375]
近年のディープラーニング(DL)は、ハードウェアアクセラレーターを様々な高性能コンピューティングアプリケーションに欠かせないものにしている。
この調査は、HPCアプリケーションのパフォーマンス要求を満たす上での彼らの役割に焦点を当て、DLアクセラレータの最新の展開を要約し、分類する。
我々は、GPUとTPUベースのプラットフォームだけでなく、FPGAやASICベースのアクセラレーター、ニューラルプロセッシングユニット、オープンハードウェアRISC-Vベースのアクセラレーター、コプロセッサなどの特殊なハードウェアもカバーし、DLアクセラレーションに対する最先端のアプローチを検討する。
論文 参考訳(メタデータ) (2023-06-27T15:24:24Z) - FLEdge: Benchmarking Federated Machine Learning Applications in Edge Computing Systems [61.335229621081346]
フェデレートラーニング(FL)は,ネットワークエッジ上での分散ディープラーニングのプライバシ強化を実現する上で,有効なテクニックとなっている。
本稿では,既存のFLベンチマークを補完するFLEdgeを提案する。
論文 参考訳(メタデータ) (2023-06-08T13:11:20Z) - Teacher-Student Knowledge Distillation for Radar Perception on Embedded
Accelerators [3.4916763765390053]
低レベルレーダ認識タスクに対する教師による知識蒸留手法を提案する。
提案した学生モデルは,教師モデルより100倍速い速度で実行可能であることを示す。
論文 参考訳(メタデータ) (2023-03-14T02:12:00Z) - GPU-Accelerated Machine Learning in Non-Orthogonal Multiple Access [71.58925117604039]
非直交多重アクセス(Noma)は、将来の5Gおよび6Gネットワークに必要な大規模な接続を可能にする興味深い技術である。
線形処理と非線形処理の両方の利点を組み合わせたニューラルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-06-13T09:38:23Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳(メタデータ) (2021-12-22T14:45:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。