論文の概要: ORANSight-2.0: Foundational LLMs for O-RAN
- arxiv url: http://arxiv.org/abs/2503.05200v1
- Date: Fri, 07 Mar 2025 07:44:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-10 19:13:14.911474
- Title: ORANSight-2.0: Foundational LLMs for O-RAN
- Title（参考訳）: ORANSight-2.0: O-RAN の基礎 LLM
- Authors: Pranshav Gajjar, Vijay K. Shah,
- Abstract要約: ORANSight-2.0 は Open Radio Access Networks (O-RAN) 用に設計された特別な基礎的 LLM の開発を目的とした先駆的イニシアチブである。
ORANSight-2.0のコアとなるRANSTRUCTは、RAG(Retrieval-Augmented Generation)ベースの命令チューニングフレームワークである。
評価の結果,ORANSight-2.0モデルはChatGPT-4oやGeminiなどの汎用およびクローズドソースモデルよりも,ORANBenchでは5.421%,srsRANBenchでは18.465%優れていた。
- 参考スコア（独自算出の注目度）: 1.3351610617039973
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the transformative impact of Large Language Models (LLMs) across critical domains such as healthcare, customer service, and business marketing, their integration into Open Radio Access Networks (O-RAN) remains limited. This gap is primarily due to the absence of domain-specific foundational models, with existing solutions often relying on general-purpose LLMs that fail to address the unique challenges and technical intricacies of O-RAN. To bridge this gap, we introduce ORANSight-2.0 (O-RAN Insights), a pioneering initiative aimed at developing specialized foundational LLMs tailored for O-RAN. Built on 18 LLMs spanning five open-source LLM frameworks, ORANSight-2.0 fine-tunes models ranging from 1 to 70B parameters, significantly reducing reliance on proprietary, closed-source models while enhancing performance for O-RAN. At the core of ORANSight-2.0 is RANSTRUCT, a novel Retrieval-Augmented Generation (RAG) based instruction-tuning framework that employs two LLM agents to create high-quality instruction-tuning datasets. The generated dataset is then used to fine-tune the 18 pre-trained open-source LLMs via QLoRA. To evaluate ORANSight-2.0, we introduce srsRANBench, a novel benchmark designed for code generation and codebase understanding in the context of srsRAN, a widely used 5G O-RAN stack. We also leverage ORANBench13K, an existing benchmark for assessing O-RAN-specific knowledge. Our comprehensive evaluations demonstrate that ORANSight-2.0 models outperform general-purpose and closed-source models, such as ChatGPT-4o and Gemini, by 5.421% on ORANBench and 18.465% on srsRANBench, achieving superior performance while maintaining lower computational and energy costs. We also experiment with RAG-augmented variants of ORANSight-2.0 LLMs and thoroughly evaluate their energy characteristics, demonstrating costs for training, standard inference, and RAG-augmented inference.
- Abstract（参考訳）: 医療、カスタマーサービス、ビジネスマーケティングといった重要な領域におけるLLM(Large Language Models)の変革的な影響にもかかわらず、Open Radio Access Networks(O-RAN)への統合は依然として限られている。
このギャップは主にドメイン固有の基礎モデルがないためであり、既存のソリューションはO-RANの固有の課題や技術的な複雑さに対処できない汎用LLMに依存していることが多い。
このギャップを埋めるために,我々は,O-RANに適した専門的基礎LPMを開発するための先駆的イニシアチブであるORANSight-2.0(O-RAN Insights)を紹介した。
オープンソースの5つのLLMフレームワークにまたがる18のLLM上に構築され、ORANSight-2.0ファインチューニングモデルは1から70Bのパラメータからなり、プロプライエタリなクローズドソースモデルへの依存を著しく低減し、O-RANのパフォーマンスを向上した。
ORANSight-2.0のコアとなるRANSTRUCTは、RAGベースの命令チューニングフレームワークで、2つのLLMエージェントを使用して高品質な命令チューニングデータセットを作成する。
生成されたデータセットを使用して、QLoRAを介してトレーニング済みの18のオープンソースLLMを微調整する。
ORANSight-2.0を評価するために,広く使用されている5G O-RANスタックであるsrsRANのコンテキストにおいて,コード生成とコードベース理解のために設計された新しいベンチマークであるsrsRANBenchを紹介する。
また、O-RAN固有の知識を評価するための既存のベンチマークであるORANBench13Kを利用する。
総合評価の結果、ORANSight-2.0モデルは、ChatGPT-4oやGeminiなどの汎用およびクローズドソースモデルより5.421%、srsRANBenchは18.465%優れ、計算コストとエネルギーコストの低減を図っている。
また,ORANSight-2.0 LLMのRAG拡張版を実験し,そのエネルギー特性を徹底的に評価し,トレーニング,標準推論,RAG増強推論のコストを実証した。
関連論文リスト
- Bohdi: Heterogeneous LLM Fusion with Automatic Data Exploration [13.824354003574843]
Bohdiは、合成データのみのヘテロジニアスなLarge Language Model(LLM)融合フレームワークである。
知識ドメインを階層木構造にまとめることで、Bohdiは自動ドメイン探索とマルチドメインデータ生成を可能にします。
Bohdiは、既存のベースラインを複数のLLMで大幅に上回っている。
論文 参考訳（メタデータ） (2025-06-04T17:01:38Z) - ORAN-GUIDE: RAG-Driven Prompt Learning for LLM-Augmented Reinforcement Learning in O-RAN Network Slicing [5.62872273155603]
マルチエージェント(MARL)をタスク関連で意味的にリッチな状態表現で拡張するデュアルLLMフレームワークである textitORAN-GUIDE を提案する。
その結果、ORAN-GUIDEは標準MARLおよび単一LLMベースライン上でのサンプル効率、ポリシー収束、性能一般化を改善することが示された。
論文 参考訳（メタデータ） (2025-05-31T14:21:19Z) - Code Graph Model (CGM): A Graph-Integrated Large Language Model for Repository-Level Software Engineering Tasks [42.79558714652442]
大きな言語モデル(LLM)は関数レベルのコード生成を約束しているが、リポジトリレベルのソフトウェアエンジニアリングタスクは依然として難しい。
本稿では,オープンソース LLM がエージェントベースアプローチを必要とせずに,リポジトリレベルのタスクを効果的に処理できるかどうかを検討する。
リポジトリコードグラフ構造をLLMのアテンション機構に統合するコードグラフモデル(CGM)を導入する。
論文 参考訳（メタデータ） (2025-05-22T17:00:55Z) - WALL-E 2.0: World Alignment by NeuroSymbolic Learning improves World Model-based LLM Agents [55.64361927346957]
本研究では,大規模言語モデル(LLM)を補完する環境の記号的知識を学習する「世界アライメント」を提案する。
また、モデル予測制御フレームワークを用いて、RLフリーでモデルベースエージェント「WALL-E 2.0」を提案する。
WALL-E 2.0は、火星(Minecraftのような)とALFWorld(emboded indoor environment)のオープンワールド課題における既存の手法を著しく上回っている
論文 参考訳（メタデータ） (2025-04-22T10:58:27Z) - LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。
LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。
LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文 参考訳（メタデータ） (2025-02-15T02:55:22Z) - Optimizing Knowledge Integration in Retrieval-Augmented Generation with Self-Selection [72.92366526004464]
Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) がより正確で信頼性の高い応答を生成するのに有効であることが証明されている。
本稿では,自己選択型RAGフレームワークを提案する。このフレームワークでは,内部パラメトリック知識のみで生成されたペアの応答からLLMを選択できる。
論文 参考訳（メタデータ） (2025-02-10T04:29:36Z) - LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。
本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。
LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
論文 参考訳（メタデータ） (2024-12-29T06:32:36Z) - Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。
LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。
モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
論文 参考訳（メタデータ） (2024-12-19T18:08:04Z) - 7B Fully Open Source Moxin-LLM -- From Pretraining to GRPO-based Reinforcement Learning Enhancement [42.10844666788254]
Moxin 7Bは、オープンサイエンス、オープンソース、オープンデータ、オープンアクセスの原則に準拠した、完全にオープンソースのLarge Language Models (LLM) である。
トレーニング済みのコードと設定、トレーニングと微調整のデータセット、中間および最終チェックポイントをリリースします。
実験により, ゼロショット評価, 少数ショット評価, CoT評価など, 各種評価において, 優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2024-12-08T02:01:46Z) - SimRAG: Self-Improving Retrieval-Augmented Generation for Adapting Large Language Models to Specialized Domains [45.349645606978434]
Retrieval-augmented Generation (RAG) は大規模言語モデル(LLM)の質問応答能力を向上させる
ドメイン適応のための質問応答と質問生成のジョイント機能を備えた自己学習手法であるSimRAGを提案する。
2つのバックボーンサイズと3つのドメインにまたがる11のデータセットの実験は、SimRAGがベースラインを1.2%～8.6%上回ることを示した。
論文 参考訳（メタデータ） (2024-10-23T15:24:16Z) - Open-domain Implicit Format Control for Large Language Model Generation [52.83173553689678]
大規模言語モデル(LLM)における制御生成のための新しいフレームワークを提案する。
本研究では、LLMがオープンドメイン、ワンショット制約に従う能力と、サンプル回答の形式を再現する能力について検討する。
また、出力品質を劣化させることなく、LLMのオープンドメインフォーマット制御を強化する教師付き微調整のためのデータセット収集手法を開発した。
論文 参考訳（メタデータ） (2024-08-08T11:51:45Z) - OriGen:Enhancing RTL Code Generation with Code-to-Code Augmentation and Self-Reflection [54.775409528658486]
OriGenは、セルフリフレクション機能と新しいデータセット拡張方法論を組み込んだ、完全なオープンソースフレームワークである。
このアプローチでは,オープンソースのRTLコードデータセットの品質向上のために,コード-コード拡張技術を採用している。
論文 参考訳（メタデータ） (2024-07-23T07:22:25Z) - ORAN-Bench-13K: An Open Source Benchmark for Assessing LLMs in Open Radio Access Networks [1.3351610617039973]
大規模言語モデル(LLM)はオープン無線アクセスネットワーク(O-RAN)の展開と運用方法に革命をもたらす。
ベンチマークは,O-RAN仕様文書116件から得られた13,952件からなる。
我々は,ORAN-Bench-13Kにおいて,他のクローズドソースモデルと比較して優れた性能を示すRAG(Retrieval-Augmented Generation)ベースのパイプラインであるORANSightを提案する。
論文 参考訳（メタデータ） (2024-07-08T13:07:50Z) - RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs [60.38044044203333]
大規模言語モデル(LLM)は、通常、検索拡張生成(RAG)において、レトリバーからトップkコンテキストを利用する。
本稿では,RAGにおける文脈ランク付けと回答生成の両目的のために,単一のLLMをチューニング可能な新しい命令微調整フレームワークであるRanRAGを提案する。
例えば、GPT-4-0613, GPT-4-turbo-2024-0409, ChatQA-1.5, RAGベンチマークの最先端性能を備えたオープンソースモデルなどである。
論文 参考訳（メタデータ） (2024-07-02T17:59:17Z) - Applying RLAIF for Code Generation with API-usage in Lightweight LLMs [15.366324461797582]
Reinforcement Learning from AI Feedback (RLAIF)は、さまざまな領域で大きな可能性を証明している。
本稿では,軽量 (1B パラメータ) LLM のコード生成能力を改善するための RLAIF フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-28T17:16:03Z) - ORLM: A Customizable Framework in Training Large Models for Automated Optimization Modeling [15.67321902882617]
最適化モデルのための半自動データ合成フレームワークOR-Instructを紹介する。
また,実用的なOR問題を解く上で,LLMを評価するための最初の産業ベンチマークであるIndustrialORを紹介した。
論文 参考訳（メタデータ） (2024-05-28T01:55:35Z) - FOFO: A Benchmark to Evaluate LLMs' Format-Following Capability [70.84333325049123]
FoFoは、大規模言語モデル(LLM)の複雑なドメイン固有のフォーマットに従う能力を評価するための先駆的なベンチマークである。
本稿では,大規模言語モデル(LLM)の複雑なドメイン固有フォーマットに従う能力を評価するための先駆的ベンチマークであるFoFoを提案する。
論文 参考訳（メタデータ） (2024-02-28T19:23:27Z) - MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。
本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文 参考訳（メタデータ） (2024-02-26T18:59:03Z) - Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。
我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。
この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文 参考訳（メタデータ） (2024-01-19T05:02:46Z) - Instructed Language Models with Retrievers Are Powerful Entity Linkers [87.16283281290053]
Instructed Generative Entity Linker (INSGENEL)は、カジュアル言語モデルが知識ベース上でエンティティリンクを実行することを可能にする最初のアプローチである。
INSGENEL は、+6.8 F1 点が平均的に上昇する以前の生成的代替よりも優れていた。
論文 参考訳（メタデータ） (2023-11-06T16:38:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。