論文の概要: OnPrem.LLM: A Privacy-Conscious Document Intelligence Toolkit

• arxiv url: http://arxiv.org/abs/2505.07672v1
• Date: Mon, 12 May 2025 15:36:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.458399
• Title: OnPrem.LLM: A Privacy-Conscious Document Intelligence Toolkit
• Title（参考訳）: OnPrem.LLM: プライバシーに配慮したドキュメントインテリジェンスツールキット
• Authors: Arun S. Maiya,
• Abstract要約: OnPrem.LLMは,大規模言語モデル(LLM)をオフラインあるいは制限された環境において,機密性の高い非公開データに適用するためのPythonベースのツールキットである。 このシステムは、プライバシを保存するユースケース用に設計されており、ドキュメント処理とストレージ、検索強化生成(RAG)、情報抽出、要約、分類、最小限の設定によるプロンプト/出力処理のためのパイプラインを構築できる。
• 参考スコア（独自算出の注目度）: 3.8073142980733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present OnPrem.LLM, a Python-based toolkit for applying large language models (LLMs) to sensitive, non-public data in offline or restricted environments. The system is designed for privacy-preserving use cases and provides prebuilt pipelines for document processing and storage, retrieval-augmented generation (RAG), information extraction, summarization, classification, and prompt/output processing with minimal configuration. OnPrem.LLM supports multiple LLM backends -- including llama.cpp, Ollama, vLLM, and Hugging Face Transformers -- with quantized model support, GPU acceleration, and seamless backend switching. Although designed for fully local execution, OnPrem.LLM also supports integration with a wide range of cloud LLM providers when permitted, enabling hybrid deployments that balance performance with data control. A no-code web interface extends accessibility to non-technical users.
• Abstract（参考訳）: OnPrem.LLMは,大規模言語モデル(LLM)をオフラインあるいは制限された環境において,機密性の高い非公開データに適用するためのPythonベースのツールキットである。 このシステムは、プライバシを保存するユースケース用に設計されており、ドキュメント処理とストレージ、検索強化生成(RAG)、情報抽出、要約、分類、最小限の設定によるプロンプト/出力処理のためのパイプラインを構築できる。 OnPrem.LLMは、llama.cpp、Ollama、vLLM、Hugging Face Transformersを含む複数のLLMバックエンドをサポートし、量子化されたモデルサポート、GPUアクセラレーション、シームレスなバックエンドスイッチをサポートする。 OnPrem.LLMは完全なローカル実行用に設計されているが、許可された場合、幅広いクラウドLLMプロバイダとの統合もサポートしており、パフォーマンスとデータ制御のバランスをとるハイブリッドデプロイメントを可能にしている。 ノーコードWebインターフェースは、非技術ユーザへのアクセシビリティを拡張する。

関連論文リスト

• Sketch: A Toolkit for Streamlining LLM Operations [51.33202045501429]
  大規模言語モデル(LLM)は大きな成功を収めた。 アウトプットフォーマットの柔軟性は、モデルのアウトプットを制御および活用する上での課題を引き起こします。 スケッチ(Sketch)は、多種多様な分野にわたるLCM操作を合理化するための革新的なツールキットである。
  論文  参考訳（メタデータ） (2024-09-05T08:45:44Z)
• LlamaDuo: LLMOps Pipeline for Seamless Migration from Service LLMs to Small-Scale Local LLMs [11.664088080448593]
  LlamaDuo"は、サービス指向の大規模言語モデルから、より小さく、ローカルに管理可能なモデルに移行するためのパイプラインである。 当社のパイプラインは,運用上の障害や厳格なプライバシポリシ,あるいはオフライン要件の存在下でのサービス継続性の確保に不可欠です。
  論文  参考訳（メタデータ） (2024-08-24T05:03:08Z)
• Crayon: Customized On-Device LLM via Instant Adapter Blending and Edge-Server Hybrid Inference [20.666893617591136]
  オンデバイス LLM カスタマイズのための新しいアプローチである Crayon を提案する。 我々は,より要求の多いクエリや非カスタマイズタスクをサーバ上のより大きな,より有能なLDMに確実に割り当てるデバイスサーバハイブリッド推論戦略を開発する。
  論文  参考訳（メタデータ） (2024-06-11T07:00:08Z)
• Automated Federated Pipeline for Parameter-Efficient Fine-Tuning of Large Language Models [21.864109456867784]
  多くの下流タスクでは、プライベートデータを使用して大きな言語モデル(LLM)を微調整する必要がある。 我々はFedPipeという自動フェデレーションパイプラインを提案し、最小のトレーニングコストでLLMを微調整する。 大規模な実験では、FedPipeがモデルのトレーニングを高速化し、最先端のベンチマークよりも高い精度を達成することが示されている。
  論文  参考訳（メタデータ） (2024-04-09T16:50:30Z)
• Online Adaptation of Language Models with a Memory of Amortized Contexts [82.02369596879817]
  MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。 MACとMACを組み合わせれば,検索の高速化など,一般的な代替手段の性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-07T08:34:57Z)
• L2MAC: Large Language Model Automatic Computer for Extensive Code Generation [52.81694565226513]
  トランスフォーマーベースの大規模言語モデル(LLM)は、基盤となるトランスフォーマーアーキテクチャの固定コンテキストウィンドウによって制約される。 本稿では,L2MACを提案する。L2MACは,LLMをベースとした汎用型自動計算機(von Neumann Architecture)フレームワークで,長期的かつ一貫した出力生成を実現する。
  論文  参考訳（メタデータ） (2023-10-02T16:55:19Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。