論文の概要: TeleOracle: Fine-Tuned Retrieval-Augmented Generation with Long-Context Support for Network

• arxiv url: http://arxiv.org/abs/2411.02617v1
• Date: Mon, 04 Nov 2024 21:12:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:00:39.327703
• Title: TeleOracle: Fine-Tuned Retrieval-Augmented Generation with Long-Context Support for Network
• Title（参考訳）: TeleOracle: ネットワークの長期サポートを備えた微調整検索拡張ジェネレーション
• Authors: Nouf Alabbasi, Omar Erak, Omar Alhussein, Ismail Lotfi, Sami Muhaidat, Merouane Debbah,
• Abstract要約: 我々はPhi-2小言語モデル(SLM)上に構築された通信通信特化検索拡張生成(RAG)システムであるTeleOracleを紹介する。 コンテキスト検索を改善するために、TeleOracleはセマンティックチャンキングとハイブリッドキーワードとセマンティック検索を組み合わせた2段階のレトリバーを使用している。 モデルの性能を徹底的に分析した結果,我々のRAGフレームワークは,Phi-2モデルよりも30%精度が向上し,ダウンストリーム質問応答(QnA)タスクにおいてPhi-2を通信領域に整列させるのに有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 4.551436852242372
• License:
• Abstract: The telecommunications industry's rapid evolution demands intelligent systems capable of managing complex networks and adapting to emerging technologies. While large language models (LLMs) show promise in addressing these challenges, their deployment in telecom environments faces significant constraints due to edge device limitations and inconsistent documentation. To bridge this gap, we present TeleOracle, a telecom-specialized retrieval-augmented generation (RAG) system built on the Phi-2 small language model (SLM). To improve context retrieval, TeleOracle employs a two-stage retriever that incorporates semantic chunking and hybrid keyword and semantic search. Additionally, we expand the context window during inference to enhance the model's performance on open-ended queries. We also employ low-rank adaption for efficient fine-tuning. A thorough analysis of the model's performance indicates that our RAG framework is effective in aligning Phi-2 to the telecom domain in a downstream question and answer (QnA) task, achieving a 30% improvement in accuracy over the base Phi-2 model, reaching an overall accuracy of 81.20%. Notably, we show that our model not only performs on par with the much larger LLMs but also achieves a higher faithfulness score, indicating higher adherence to the retrieved context.
• Abstract（参考訳）: 通信業界の急速な進化は、複雑なネットワークを管理し、新興技術に適応できるインテリジェントシステムを要求する。 大きな言語モデル(LLM)はこれらの課題に対処する上で有望であることを示しているが、通信環境への展開は、エッジデバイスの制限と一貫性のないドキュメントのため、重大な制約に直面している。 このギャップを埋めるために、Phi-2小言語モデル(SLM)上に構築された、通信特化検索拡張生成(RAG)システムであるTeleOracleを紹介する。 コンテキスト検索を改善するために、TeleOracleはセマンティックチャンキングとハイブリッドキーワードとセマンティック検索を組み合わせた2段階のレトリバーを使用している。 さらに、推論中のコンテキストウィンドウを拡張して、オープンエンドクエリにおけるモデルの性能を向上させる。 高速微調整には低ランク適応も採用しています。 モデルの性能を徹底的に分析した結果、我々のRAGフレームワークは、Phi-2をダウンストリーム質問応答(QnA)タスクで通信領域に整列させ、ベースPhi-2モデルに対して30%の精度向上を実現し、全体的な精度81.20%に達することが示唆された。 特に,本モデルでは,LLMと同等に機能するだけでなく,高い忠実度を達成し,検索した文脈への忠実度の向上を図っている。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Generative Pre-trained Ranking Model with Over-parameterization at Web-Scale (Extended Abstract) [73.57710917145212]
  ランク付け学習は、入力クエリに基づいて関連するWebページを優先順位付けするために、Web検索で広く使われている。 本稿では,これらの課題に対処するために,経験的 UlineSemi-uline Supervised ulinePre-trained (GS2P) モデルを提案する。 我々は,公開データセットと大規模検索エンジンから収集した実世界のデータセットの両方に対して,大規模なオフライン実験を行う。
  論文  参考訳（メタデータ） (2024-09-25T03:39:14Z)
• Rephrase and Contrast: Fine-Tuning Language Models for Enhanced Understanding of Communication and Computer Networks [13.829525575305206]
  本稿では,効率的な微調整フレームワークであるRephrase and Contrast(RaC)フレームワークについて紹介する。 RaCは質問の修正と対照的な分析を取り入れることでLLMの理解と批判的思考能力を高める。 本稿では,RaC微調整のためのデータセットを効率的に構築するために,高品質な質問応答対を生成するためのGPT支援データマイニング法を開発した。
  論文  参考訳（メタデータ） (2024-09-21T16:04:43Z)
• Leveraging Fine-Tuned Retrieval-Augmented Generation with Long-Context Support: For 3GPP Standards [4.334100270812517]
  大型言語モデル(LLM)は電気通信の技術的標準と競合する。 Phi-2小言語モデル(SLM)に基づく細調整検索拡張生成(RAG)システムを提案する。 本実験は,通信分野における既存の質問応答手法よりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2024-08-21T17:00:05Z)
• WDMoE: Wireless Distributed Large Language Models with Mixture of Experts [65.57581050707738]
  我々は,Mixture of Experts (MoE)に基づく無線分散大言語モデル(LLM)パラダイムを提案する。 我々は,基地局(BS)とモバイルデバイスにゲーティングネットワークと先行するニューラルネットワーク層を配置することにより,LLM内のMoE層を分解する。 我々は、モデルの性能とエンドツーエンドのレイテンシの両方を考慮して、専門家の選択ポリシーを設計する。
  論文  参考訳（メタデータ） (2024-05-06T02:55:50Z)
• RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
  大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。 この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。 Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
  論文  参考訳（メタデータ） (2024-03-31T08:58:54Z)
• Telecom Language Models: Must They Be Large? [7.82773820037707]
  多くのタスクにおいて、より大きな言語に匹敵するパフォーマンスを示す小さな言語モデル。 Phi-2 はコンパクトだが強力なモデルであり、効率的な小言語モデルの新たな波を実証している。 本稿では,Phi-2の通信領域に関する本質的な理解を包括的に評価する。
  論文  参考訳（メタデータ） (2024-03-07T17:13:12Z)
• Enhancing Textbook Question Answering Task with Large Language Models and Retrieval Augmented Generation [3.948068081583197]
  本稿では,テキスト質問応答(TQA)における領域外シナリオを扱う手法を提案する。 LLMモデルLlama-2の微調整とRAGの導入により、我々のアーキテクチャはベースラインよりも優れ、検証セットでは4.12%、非ダイアグラム多重選択質問では9.84%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-02-05T11:58:56Z)
• Efficient Person Search: An Anchor-Free Approach [86.45858994806471]
  パーソンサーチは、クエリーの人物を、リアルで切り刻まれていない画像から、同時にローカライズし、識別することを目的としている。 この目標を達成するために、最先端モデルは通常、Faster R-CNNのような2段階検出器にre-idブランチを追加する。 本研究では,この課題に対処するためのアンカーフリーな手法を提案する。
  論文  参考訳（メタデータ） (2021-09-01T07:01:33Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• Toward fast and accurate human pose estimation via soft-gated skip connections [97.06882200076096]
  本稿では,高精度かつ高効率な人間のポーズ推定について述べる。 我々は、最先端技術よりも精度と効率を両立させる文脈において、この設計選択を再分析する。 本モデルでは,MPII と LSP のデータセットから最先端の結果が得られる。
  論文  参考訳（メタデータ） (2020-02-25T18:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。