論文の概要: TeleOracle: Fine-Tuned Retrieval-Augmented Generation with Long-Context Support for Network

• arxiv url: http://arxiv.org/abs/2411.02617v1
• Date: Mon, 04 Nov 2024 21:12:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:00:39.327703
• Title: TeleOracle: Fine-Tuned Retrieval-Augmented Generation with Long-Context Support for Network
• Title（参考訳）: TeleOracle: ネットワークの長期サポートを備えた微調整検索拡張ジェネレーション
• Authors: Nouf Alabbasi, Omar Erak, Omar Alhussein, Ismail Lotfi, Sami Muhaidat, Merouane Debbah,
• Abstract要約: 我々はPhi-2小言語モデル(SLM)上に構築された通信通信特化検索拡張生成(RAG)システムであるTeleOracleを紹介する。 コンテキスト検索を改善するために、TeleOracleはセマンティックチャンキングとハイブリッドキーワードとセマンティック検索を組み合わせた2段階のレトリバーを使用している。 モデルの性能を徹底的に分析した結果,我々のRAGフレームワークは,Phi-2モデルよりも30%精度が向上し,ダウンストリーム質問応答(QnA)タスクにおいてPhi-2を通信領域に整列させるのに有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 4.551436852242372
• License:
• Abstract: The telecommunications industry's rapid evolution demands intelligent systems capable of managing complex networks and adapting to emerging technologies. While large language models (LLMs) show promise in addressing these challenges, their deployment in telecom environments faces significant constraints due to edge device limitations and inconsistent documentation. To bridge this gap, we present TeleOracle, a telecom-specialized retrieval-augmented generation (RAG) system built on the Phi-2 small language model (SLM). To improve context retrieval, TeleOracle employs a two-stage retriever that incorporates semantic chunking and hybrid keyword and semantic search. Additionally, we expand the context window during inference to enhance the model's performance on open-ended queries. We also employ low-rank adaption for efficient fine-tuning. A thorough analysis of the model's performance indicates that our RAG framework is effective in aligning Phi-2 to the telecom domain in a downstream question and answer (QnA) task, achieving a 30% improvement in accuracy over the base Phi-2 model, reaching an overall accuracy of 81.20%. Notably, we show that our model not only performs on par with the much larger LLMs but also achieves a higher faithfulness score, indicating higher adherence to the retrieved context.
• Abstract（参考訳）: 通信業界の急速な進化は、複雑なネットワークを管理し、新興技術に適応できるインテリジェントシステムを要求する。 大きな言語モデル(LLM)はこれらの課題に対処する上で有望であることを示しているが、通信環境への展開は、エッジデバイスの制限と一貫性のないドキュメントのため、重大な制約に直面している。 このギャップを埋めるために、Phi-2小言語モデル(SLM)上に構築された、通信特化検索拡張生成(RAG)システムであるTeleOracleを紹介する。 コンテキスト検索を改善するために、TeleOracleはセマンティックチャンキングとハイブリッドキーワードとセマンティック検索を組み合わせた2段階のレトリバーを使用している。 さらに、推論中のコンテキストウィンドウを拡張して、オープンエンドクエリにおけるモデルの性能を向上させる。 高速微調整には低ランク適応も採用しています。 モデルの性能を徹底的に分析した結果、我々のRAGフレームワークは、Phi-2をダウンストリーム質問応答(QnA)タスクで通信領域に整列させ、ベースPhi-2モデルに対して30%の精度向上を実現し、全体的な精度81.20%に達することが示唆された。 特に,本モデルでは,LLMと同等に機能するだけでなく,高い忠実度を達成し,検索した文脈への忠実度の向上を図っている。

関連論文リスト

• Intelligent Mobile AI-Generated Content Services via Interactive Prompt Engineering and Dynamic Service Provisioning [55.641299901038316]
  AI生成コンテンツは、ネットワークエッジで協調的なMobile AIGC Service Providers(MASP)を編成して、リソース制約のあるユーザにユビキタスでカスタマイズされたコンテンツを提供することができる。 このようなパラダイムは2つの大きな課題に直面している: 1) 生のプロンプトは、ユーザーが特定のAIGCモデルで経験していないために、しばしば生成品質が低下する。 本研究では,Large Language Model (LLM) を利用してカスタマイズしたプロンプトコーパスを生成する対話型プロンプトエンジニアリング機構を開発し,政策模倣に逆強化学習(IRL)を用いる。
  論文  参考訳（メタデータ） (2025-02-17T03:05:20Z)
• Empowering Large Language Models in Wireless Communication: A Novel Dataset and Fine-Tuning Framework [81.29965270493238]
  我々は,無線通信アプリケーションのための大規模言語モデル(LLM)の評価と微調整を目的とした,特殊なデータセットを開発した。 データセットには、真/偽と複数選択型を含む、さまざまなマルチホップ質問が含まれている。 本稿では,PVI(Pointwise V-Information)に基づく微調整手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T16:19:53Z)
• Smooth Handovers via Smoothed Online Learning [48.953313950521746]
  まず、欧州の商用モバイルネットワークオペレータ(MNO)から4000万人以上のユーザを対象に、HOに対する重要な特徴とパフォーマンスへの影響を理解し、明らかにするために、広範なデータセットを分析した。 本研究は, HO故障/遅延と無線セルとエンドユーザーデバイスの特徴の相関関係を明らかにする。 本稿では,HO最適化にデバイスとセルの機能を組み込むことで,既存のアプローチを拡張したスムーズで高精度なHOのための現実的なシステムモデルを提案する。
  論文  参考訳（メタデータ） (2025-01-14T13:16:33Z)
• RIRO: Reshaping Inputs, Refining Outputs Unlocking the Potential of Large Language Models in Data-Scarce Contexts [0.0]
  大規模言語モデル (LLM) は、テキスト生成、要約、質問応答といった分野において優れた、かなり高度な自然言語処理を持つ。 それらの能力にもかかわらず、これらのモデルは、小さなドメイン固有のデータセットに微調整された場合、課題に直面します。 本稿では,データスカース環境の性能向上を目的とした新しい2層アーキテクチャRIROを紹介する。
  論文  参考訳（メタデータ） (2024-12-15T15:48:37Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Compressing Large Language Models with Automated Sub-Network Search [41.452512557226335]
  我々は、下流タスク性能を改善しつつ、モデルサイズの削減を図るため、大規模言語モデルに対するモデル圧縮を検討する。 我々はこれを、構造的コンポーネントを自動生成するニューラルネットワーク探索問題と表現する。 本手法は,11種類のダウンストリームタスクに対して平均9.85%の改善を実現し,デバイス上でのレイテンシを最大22%改善する。
  論文  参考訳（メタデータ） (2024-10-09T02:14:39Z)
• Rephrase and Contrast: Fine-Tuning Language Models for Enhanced Understanding of Communication and Computer Networks [13.829525575305206]
  本稿では,効率的な微調整フレームワークであるRephrase and Contrast(RaC)フレームワークについて紹介する。 RaCは質問の修正と対照的な分析を取り入れることでLLMの理解と批判的思考能力を高める。 本稿では,RaC微調整のためのデータセットを効率的に構築するために,高品質な質問応答対を生成するためのGPT支援データマイニング法を開発した。
  論文  参考訳（メタデータ） (2024-09-21T16:04:43Z)
• Leveraging Fine-Tuned Retrieval-Augmented Generation with Long-Context Support: For 3GPP Standards [4.334100270812517]
  大型言語モデル(LLM)は電気通信の技術的標準と競合する。 Phi-2小言語モデル(SLM)に基づく細調整検索拡張生成(RAG)システムを提案する。 本実験は,通信分野における既存の質問応答手法よりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2024-08-21T17:00:05Z)
• Telecom Language Models: Must They Be Large? [7.82773820037707]
  多くのタスクにおいて、より大きな言語に匹敵するパフォーマンスを示す小さな言語モデル。 Phi-2 はコンパクトだが強力なモデルであり、効率的な小言語モデルの新たな波を実証している。 本稿では,Phi-2の通信領域に関する本質的な理解を包括的に評価する。
  論文  参考訳（メタデータ） (2024-03-07T17:13:12Z)
• Efficient Person Search: An Anchor-Free Approach [86.45858994806471]
  パーソンサーチは、クエリーの人物を、リアルで切り刻まれていない画像から、同時にローカライズし、識別することを目的としている。 この目標を達成するために、最先端モデルは通常、Faster R-CNNのような2段階検出器にre-idブランチを追加する。 本研究では,この課題に対処するためのアンカーフリーな手法を提案する。
  論文  参考訳（メタデータ） (2021-09-01T07:01:33Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。