論文の概要: Leveraging Fine-Tuned Retrieval-Augmented Generation with Long-Context Support: For 3GPP Standards

• arxiv url: http://arxiv.org/abs/2408.11775v2
• Date: Thu, 16 Jan 2025 10:20:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 18:31:28.748555
• Title: Leveraging Fine-Tuned Retrieval-Augmented Generation with Long-Context Support: For 3GPP Standards
• Title（参考訳）: 長期サポートによる微調整型検索生成の活用:3GPP標準について
• Authors: Omar Erak, Nouf Alabbasi, Omar Alhussein, Ismail Lotfi, Amr Hussein, Sami Muhaidat, Merouane Debbah,
• Abstract要約: 大型言語モデル(LLM)は電気通信の技術的標準と競合する。 Phi-2小言語モデル(SLM)に基づく細調整検索拡張生成(RAG)システムを提案する。 本実験は,通信分野における既存の質問応答手法よりも大幅に改善されたことを示す。
• 参考スコア（独自算出の注目度）: 4.334100270812517
• License:
• Abstract: Recent studies show that large language models (LLMs) struggle with technical standards in telecommunications. We propose a fine-tuned retrieval-augmented generation (RAG) system based on the Phi-2 small language model (SLM) to serve as an oracle for communication networks. Our developed system leverages forward-looking semantic chunking to adaptively determine parsing breakpoints based on embedding similarity, enabling effective processing of diverse document formats. To handle the challenge of multiple similar contexts in technical standards, we employ a re-ranking algorithm to prioritize the most relevant retrieved chunks. Recognizing the limitations of Phi-2's small context window, we implement a recent technique, namely SelfExtend, to expand the context window during inference, which not only boosts the performance but also can accommodate a wider range of user queries and design requirements from customers to specialized technicians. For fine-tuning, we utilize the low-rank adaptation (LoRA) technique to enhance computational efficiency during training and enable effective fine-tuning on small datasets. Our comprehensive experiments demonstrate substantial improvements over existing question-answering approaches in the telecom domain, achieving performance that exceeds larger language models such as GPT-4 (which is about 880 times larger in size). This work presents a novel approach to leveraging SLMs for communication networks, offering a balance of efficiency and performance. This work can serve as a foundation towards agentic language models for networks.
• Abstract（参考訳）: 近年の研究では、大規模言語モデル(LLM)が電気通信の技術的標準と競合していることが示されている。 本稿では,Phi-2小言語モデル(SLM)に基づく細調整検索拡張生成(RAG)システムを提案する。 提案システムでは, 文書形式を効果的に処理できるように, 前方のセマンティックチャンキングを活用して, 組込み類似性に基づく解析ブレークポイントを適応的に決定する。 技術的標準における複数の類似したコンテキストの課題に対処するために、最も関連性の高いチャンクを優先順位付けするために、再ランクアルゴリズムを用いる。 Phi-2の小さなコンテキストウィンドウの制限を認識して、推論中にコンテキストウィンドウを拡張する手法であるSelfExtendを実装します。 微調整には、ローランク適応(LoRA)技術を用いて、訓練中の計算効率を向上し、小さなデータセット上で効果的な微調整を可能にする。 本稿では,GPT-4(約880倍の規模)などの大規模言語モデルを上回る性能を実現するため,通信領域における既存の問合せ手法よりも大幅に改善されていることを示す。 本研究は、SLMを通信ネットワークに活用するための新しいアプローチを示し、効率と性能のバランスを提供する。 この研究は、ネットワークのエージェント言語モデルの基礎として機能する。

関連論文リスト

• TeleOracle: Fine-Tuned Retrieval-Augmented Generation with Long-Context Support for Network [4.551436852242372]
  我々はPhi-2小言語モデル(SLM)上に構築された通信通信特化検索拡張生成(RAG)システムであるTeleOracleを紹介する。 コンテキスト検索を改善するために、TeleOracleはセマンティックチャンキングとハイブリッドキーワードとセマンティック検索を組み合わせた2段階のレトリバーを使用している。 モデルの性能を徹底的に分析した結果,我々のRAGフレームワークは,Phi-2モデルよりも30%精度が向上し,ダウンストリーム質問応答(QnA)タスクにおいてPhi-2を通信領域に整列させるのに有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-11-04T21:12:08Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Rephrase and Contrast: Fine-Tuning Language Models for Enhanced Understanding of Communication and Computer Networks [13.829525575305206]
  本稿では,効率的な微調整フレームワークであるRephrase and Contrast(RaC)フレームワークについて紹介する。 RaCは質問の修正と対照的な分析を取り入れることでLLMの理解と批判的思考能力を高める。 本稿では,RaC微調整のためのデータセットを効率的に構築するために,高品質な質問応答対を生成するためのGPT支援データマイニング法を開発した。
  論文  参考訳（メタデータ） (2024-09-21T16:04:43Z)
• Large Language Models for Power Scheduling: A User-Centric Approach [6.335540414370735]
  本稿では、任意のユーザの音声要求(VRQ)をリソース割り当てベクトルに変換することで、リソーススケジューリング問題に対する新しいアーキテクチャを提案する。 具体的には、要求を最適化問題(OP)に変換するためのLLM意図認識エージェント、LLM OPパラメータ識別エージェント、OP解決エージェントを設計する。
  論文  参考訳（メタデータ） (2024-06-29T15:47:28Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• Refining Joint Text and Source Code Embeddings for Retrieval Task with Parameter-Efficient Fine-Tuning [0.0]
  そこで本研究では,それを利用した微調整フレームワークを提案する。 PEFT(Efficient Fine-Tuning)技術。 提案する微調整フレームワークは,最大で0.4%のパラメータをチューニングすることで,コードテキスト検索性能を向上させる可能性を実証した。
  論文  参考訳（メタデータ） (2024-05-07T08:50:25Z)
• Structural Pruning of Pre-trained Language Models via Neural Architecture Search [7.833790713816726]
  事前学習された言語モデル(PLM)は、ラベル付きデータに基づいて微調整された自然言語理解タスクの最先端である。 本稿では, 最適トレードオフ効率を有する微調整ネットワークのサブ部分を見つけるために, 構造解析のためのニューラルアーキテクチャ探索(NAS)について検討する。
  論文  参考訳（メタデータ） (2024-05-03T17:34:57Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion Control in Real Networks [63.24965775030673]
  そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。 我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。 我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
  論文  参考訳（メタデータ） (2023-02-02T18:27:20Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。