論文の概要: ORANSight-2.0: Foundational LLMs for O-RAN

• arxiv url: http://arxiv.org/abs/2503.05200v1
• Date: Fri, 07 Mar 2025 07:44:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:22:22.595884
• Title: ORANSight-2.0: Foundational LLMs for O-RAN
• Title（参考訳）: ORANSight-2.0: O-RAN の基礎 LLM
• Authors: Pranshav Gajjar, Vijay K. Shah,
• Abstract要約: ORANSight-2.0 は Open Radio Access Networks (O-RAN) 用に設計された特別な基礎的 LLM の開発を目的とした先駆的イニシアチブである。 ORANSight-2.0のコアとなるRANSTRUCTは、RAG(Retrieval-Augmented Generation)ベースの命令チューニングフレームワークである。 評価の結果,ORANSight-2.0モデルはChatGPT-4oやGeminiなどの汎用およびクローズドソースモデルよりも,ORANBenchでは5.421%,srsRANBenchでは18.465%優れていた。
• 参考スコア（独自算出の注目度）: 1.3351610617039973
• License:
• Abstract: Despite the transformative impact of Large Language Models (LLMs) across critical domains such as healthcare, customer service, and business marketing, their integration into Open Radio Access Networks (O-RAN) remains limited. This gap is primarily due to the absence of domain-specific foundational models, with existing solutions often relying on general-purpose LLMs that fail to address the unique challenges and technical intricacies of O-RAN. To bridge this gap, we introduce ORANSight-2.0 (O-RAN Insights), a pioneering initiative aimed at developing specialized foundational LLMs tailored for O-RAN. Built on 18 LLMs spanning five open-source LLM frameworks, ORANSight-2.0 fine-tunes models ranging from 1 to 70B parameters, significantly reducing reliance on proprietary, closed-source models while enhancing performance for O-RAN. At the core of ORANSight-2.0 is RANSTRUCT, a novel Retrieval-Augmented Generation (RAG) based instruction-tuning framework that employs two LLM agents to create high-quality instruction-tuning datasets. The generated dataset is then used to fine-tune the 18 pre-trained open-source LLMs via QLoRA. To evaluate ORANSight-2.0, we introduce srsRANBench, a novel benchmark designed for code generation and codebase understanding in the context of srsRAN, a widely used 5G O-RAN stack. We also leverage ORANBench13K, an existing benchmark for assessing O-RAN-specific knowledge. Our comprehensive evaluations demonstrate that ORANSight-2.0 models outperform general-purpose and closed-source models, such as ChatGPT-4o and Gemini, by 5.421% on ORANBench and 18.465% on srsRANBench, achieving superior performance while maintaining lower computational and energy costs. We also experiment with RAG-augmented variants of ORANSight-2.0 LLMs and thoroughly evaluate their energy characteristics, demonstrating costs for training, standard inference, and RAG-augmented inference.
• Abstract（参考訳）: 医療、カスタマーサービス、ビジネスマーケティングといった重要な領域におけるLLM(Large Language Models)の変革的な影響にもかかわらず、Open Radio Access Networks(O-RAN)への統合は依然として限られている。 このギャップは主にドメイン固有の基礎モデルがないためであり、既存のソリューションはO-RANの固有の課題や技術的な複雑さに対処できない汎用LLMに依存していることが多い。 このギャップを埋めるために,我々は,O-RANに適した専門的基礎LPMを開発するための先駆的イニシアチブであるORANSight-2.0(O-RAN Insights)を紹介した。 オープンソースの5つのLLMフレームワークにまたがる18のLLM上に構築され、ORANSight-2.0ファインチューニングモデルは1から70Bのパラメータからなり、プロプライエタリなクローズドソースモデルへの依存を著しく低減し、O-RANのパフォーマンスを向上した。 ORANSight-2.0のコアとなるRANSTRUCTは、RAGベースの命令チューニングフレームワークで、2つのLLMエージェントを使用して高品質な命令チューニングデータセットを作成する。 生成されたデータセットを使用して、QLoRAを介してトレーニング済みの18のオープンソースLLMを微調整する。 ORANSight-2.0を評価するために,広く使用されている5G O-RANスタックであるsrsRANのコンテキストにおいて,コード生成とコードベース理解のために設計された新しいベンチマークであるsrsRANBenchを紹介する。 また、O-RAN固有の知識を評価するための既存のベンチマークであるORANBench13Kを利用する。 総合評価の結果、ORANSight-2.0モデルは、ChatGPT-4oやGeminiなどの汎用およびクローズドソースモデルより5.421%、srsRANBenchは18.465%優れ、計算コストとエネルギーコストの低減を図っている。 また,ORANSight-2.0 LLMのRAG拡張版を実験し,そのエネルギー特性を徹底的に評価し,トレーニング,標準推論,RAG増強推論のコストを実証した。

関連論文リスト

• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• Fully Open Source Moxin-7B Technical Report [38.13392000279939]
  大きな言語モデル(LLM)は、その人気と能力の急激な上昇によって、大きな変革を遂げている。 この問題を緩和するために、モデルオープンネスフレームワーク(MOF)に従って開発された完全にオープンソースなLLMであるMoxin 7Bを紹介します。 本モデルは,事前学習コードと構成の包括的リリースを通じて,オープンサイエンスのMOF分類レベルを最大化する。
  論文  参考訳（メタデータ） (2024-12-08T02:01:46Z)
• OriGen:Enhancing RTL Code Generation with Code-to-Code Augmentation and Self-Reflection [54.775409528658486]
  OriGenは、セルフリフレクション機能と新しいデータセット拡張方法論を組み込んだ、完全なオープンソースフレームワークである。 このアプローチでは,オープンソースのRTLコードデータセットの品質向上のために,コード-コード拡張技術を採用している。
  論文  参考訳（メタデータ） (2024-07-23T07:22:25Z)
• ORAN-Bench-13K: An Open Source Benchmark for Assessing LLMs in Open Radio Access Networks [1.3351610617039973]
  大規模言語モデル(LLM)はオープン無線アクセスネットワーク(O-RAN)の展開と運用方法に革命をもたらす。 ベンチマークは,O-RAN仕様文書116件から得られた13,952件からなる。 我々は,ORAN-Bench-13Kにおいて,他のクローズドソースモデルと比較して優れた性能を示すRAG(Retrieval-Augmented Generation)ベースのパイプラインであるORANSightを提案する。
  論文  参考訳（メタデータ） (2024-07-08T13:07:50Z)
• RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs [60.38044044203333]
  大規模言語モデル(LLM)は、通常、検索拡張生成(RAG)において、レトリバーからトップkコンテキストを利用する。 本稿では,RAGにおける文脈ランク付けと回答生成の両目的のために,単一のLLMをチューニング可能な新しい命令微調整フレームワークであるRanRAGを提案する。 例えば、GPT-4-0613, GPT-4-turbo-2024-0409, ChatQA-1.5, RAGベンチマークの最先端性能を備えたオープンソースモデルなどである。
  論文  参考訳（メタデータ） (2024-07-02T17:59:17Z)
• Applying RLAIF for Code Generation with API-usage in Lightweight LLMs [15.366324461797582]
  Reinforcement Learning from AI Feedback (RLAIF)は、さまざまな領域で大きな可能性を証明している。 本稿では,軽量 (1B パラメータ) LLM のコード生成能力を改善するための RLAIF フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-28T17:16:03Z)
• FOFO: A Benchmark to Evaluate LLMs' Format-Following Capability [70.84333325049123]
  FoFoは、大規模言語モデル(LLM)の複雑なドメイン固有のフォーマットに従う能力を評価するための先駆的なベンチマークである。 本稿では,大規模言語モデル(LLM)の複雑なドメイン固有フォーマットに従う能力を評価するための先駆的ベンチマークであるFoFoを提案する。
  論文  参考訳（メタデータ） (2024-02-28T19:23:27Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。