論文の概要: Building Telecom Language Models with RSOD: Domain Data, Specialist Post-Training, Memory-Conscious Distillation, and Networking Evaluation
- arxiv url: http://arxiv.org/abs/2610.27993v1
- Date: Tue, 20 Oct 2026 10:30:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.764213
- Title: Building Telecom Language Models with RSOD: Domain Data, Specialist Post-Training, Memory-Conscious Distillation, and Networking Evaluation
- Title（参考訳）: RSODを用いたテレコム言語モデルの構築:ドメインデータ、専門的なポストトライニング、メモリ消費蒸留、ネットワーク評価
- Abstract要約: テレコム言語モデルは、広範なネットワーク知識とルーティング、ブロードバンドサービス、アクセス技術、運用診断といった専門的な行動を組み合わせる必要がある。
本稿では、構造化ネットワークとエキスパートグラフから、ソースグラウンドで合成トレーニングデータを構築するエンドツーエンドフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 1.5772295983725362
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Telecom language models must combine broad networking knowledge with specialist behavior across routing, broadband services, access technologies, and operational diagnostics while remaining practical to deploy as a single model. We present an end-to-end framework that builds source-grounded synthetic training data from structured networking taxonomies and expert graphs, materializes 212,559 routed training records across fourteen networking routes, trains six frozen specialist LoRA teachers over one shared continued-pretrained backbone, and consolidates their behavior into one deployable student adapter using Routed Specialist On-Policy Distillation (RSOD). In RSOD, the committed student generates each trajectory, the route-assigned specialist teacher-forces the exact native token sequence, compact teacher hidden states are reconstructed through the shared frozen output head, and only the student LoRA is updated. A controlled reconstruction validation shows mean absolute logit error of 7.26 x 10^-6 with 100% top-1 agreement between native and reconstructed teacher logits. On four RTX 6000 Ada GPUs, the completed 2,000-step run produced 16,000 trajectories with zero observed student-version or token- ID mismatches. Under the primary route-conditioned evaluation over 2,850 held-out questions, the raw Meta-Llama-3.1-8B-Instruct model scores 12.8661/25 micro (13.0172/25 macro), the combined routed six-teacher system scores 21.7641/25 micro, and the consolidated RSOD student, released as Llama-CalixCLM v1, reaches 21.7112/25 micro (21.8006/25 macro) on the same five dimension LLM-judge rubric. Under a separate neutral deployment-like prompt, the same student reaches 20.0028/25 micro (20.0778/25 macro). The consolidated student remains within 0.0529 micro-score points of the combined routed-teacher system while retaining a numerically validated and auditable train-serve execution path.
- Abstract（参考訳）: テレコム言語モデルは、広範にわたるネットワーク知識と、ルーティング、ブロードバンドサービス、アクセス技術、運用診断といった専門的な行動を組み合わせる必要がある。
提案するエンド・ツー・エンド・エンドのフレームワークは、構造化ネットワーク分類学とエキスパートグラフからソース・グラウンドの総合的なトレーニングデータを構築し、14のネットワークルートにまたがる212,559のルート化されたトレーニング記録を作成し、凍結した専門家の6人の教師を1つの共有事前調整されたバックボーン上で訓練し、その振る舞いをRouted Specialist On-Policy Distillation (RSOD)を用いて1つのデプロイ可能な学生アダプタに集約する。
RSODでは、コミットした学生が各軌跡を生成し、ルート指定の専門家が正確なネイティブトークンシーケンスを強制し、コンパクトな教師隠蔽状態が共有凍結出力ヘッドを介して再構成され、学生LoRAのみが更新される。
制御された再構成検証では、教師のロジットと教師のロジットの100%トップ-1の一致で、7.26 x 10^-6の平均絶対ロジット誤差が示されている。
4つのRTX 6000 Ada GPUでは、2,000ステップの走行で16,000の軌道が生成され、観察された学生変換やトークンIDのミスマッチはゼロであった。
21.7641/25 microと、Llama-CalixCLM v1としてリリースされた統合RSOD学生は、同じ5次元LLM-judgeルーブリック上で21.7112/25 micro (21.8006/25 macro)に達する。
異なる中立的な配置のようなプロンプトの下で、同じ学生は20.0028/25マイクロ(20.0778/25マクロ)に達する。
統合された学生は、数値的に検証され、監査可能な列車サービス実行パスを維持しながら、統合されたルート教師システムの0.0529マイクロスコアポイント以内に留まる。
関連論文リスト
- Learn the Interface, Not the Implementation: Output Representation Dominates Training Regime in LLM-Based RTL Generation [0.6066775336291516]
我々は、単一エラー訂正、二重エラー検出ECCメモリラッパーを生成する。
参照生成器が存在するため、約1000万点の設計空間上の形式的等価性によって正確性が決定される。
5000万パラメータ未満のスクラッチからトレーニングされたモデルと、検証されたジェネレータを組み合わせると、0.89の形式的等価性が得られる。
論文 参考訳（メタデータ） (2026-10-19T06:38:16Z) - DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation [50.43969311607643]
DMAD, Distribution Matching as Adversarial Distillationを導入し, 分布マッチングを分類として再放送する。
判別器では,これらの損失が分布マッチングの基礎となるDMDを回復することを示す。
DMADはFréchet Inception Distance (FID) 1.04、ImageNet-64x64 14.47、COCO-10Kの4ステップSDXL、VBenchの合計スコアは85.15、Wan2.1-T2V-14Bである。
論文 参考訳（メタデータ） (2026-10-01T17:59:01Z) - Extreme Length Generalization in a Compact Recurrent Architecture for One-Shot Exploration [0.0]
提案するFRANKは507Kパラメータのリカレントアーキテクチャで,タウゲート再カレントモジュール,コンテントアドレナブルメモリ,フィードフォワード反射経路を組み合わせたアーキテクチャである。
提案手法は, 4 つのアルゴリズムシーケンスタスクにおいて, 繰り返し, 状態空間, モジュラーベースラインの減少に対して評価し, 長さ 5-20 で訓練し, 200 万個のトークンを評価した。
論文 参考訳（メタデータ） (2026-10-01T05:44:47Z) - Cross-Architecture Foundation-Model Distillation for Edge Flood Segmentation [15.707382156342547]
教師が指導する訓練は直接訓練と競合する。
教師が指導するプールを2500シーンに拡大すると、残りの生徒のギャップが狭まる。
固定修正正規化差分水指数(MNDWI)閾値は両モデルとも競合する。
論文 参考訳（メタデータ） (2026-09-17T14:15:01Z) - Two-Stage Mixture-of-LoRA for Multi-Task Medical Vision-Language Learning [11.067337708907017]
MedGemma-1.5-4B上に構築されたフレームワークである textbfTwo-Stage Mixture-of-LoRA を提案する。
このフレームワークでは、1つの共有LoRAと6つのタスク固有の専門家LoRAで構成される、共有固有のMixture-of-LoRAアーキテクチャを使用している。
提案手法は, 分類精度0.85, マルチラベル分類0.48マイクロF1, 検出F10.79, 回帰MAE17.39を実現する。
論文 参考訳（メタデータ） (2026-09-13T07:23:52Z) - NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routing Harness [76.6324710887112]
NeoHorse-1は、エージェントのポストトレーニングを通じてこの経路を探索するために開発されたエージェントネイティブモデルのファミリーである。
本システムでは,異種モデルプールとインテリジェントなルーティング,予測能力要求,選択されたサービス層,およびその後のユーザ毎のインタラクションを結合する。
論文 参考訳（メタデータ） (2026-09-08T03:14:54Z) - CogEvol: Towards Efficient and Reliable Learning Environment Generation [49.18054685846454]
本稿では,学習環境生成に特化して訓練されたモデル群であるCogEvolを紹介する。
CogEvolは、スライドを中央値17秒、対話ページを59秒で完了し、数分のマルチターンエージェントの足場を置き換える。
プロダクショングラウンドのデータパイプラインは、実際の障害を53,687個のSFTサンプルに変換する。
論文 参考訳（メタデータ） (2026-08-31T15:33:38Z) - Similarity-Guided Curriculum Fine-Tuning of LLMs for Neural Architecture Synthesis [48.83701310501069]
ニューラルアーキテクチャ探索(NAS)のためのニューラルネットワークコードにプログレッシブなカリキュラムを構築するMinHashベースの類似性スケジューリングフレームワークを導入する。
我々は,CIFAR-10画像分類におけるLEMURベンチマークにおいて,オリンピックコード7Bの枠組みを評価する。
SVHNでは,カリキュラムなしの直接ベースモデル生成により,CIFAR-10相当値よりもかなり低い精度(60.5%)で27%のSRが得られる。
論文 参考訳（メタデータ） (2026-07-13T14:14:30Z) - Single-Channel Tissue Segmentation via Cross-Modal Distillation from Foundation Models [0.0]
多重蛍光顕微鏡は、核(DAPI)と膜(E-カドヘリン)を含む相補的なチャネルを提供することで組織セグメンテーションを改善する
本研究では,核チャネルのみで動作する軽量の学生に,凍結基礎モデル教師による多重入力処理から意味情報を伝達するクロスモーダルな知識蒸留フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-30T23:34:49Z) - LGD: Label-guided Self-distillation for Object Detection [59.9972914042281]
我々はLGD(Label-Guided Self-Distillation)と呼ばれる汎用物体検出のための最初の自己蒸留フレームワークを提案する。
本フレームワークは, 学習知識を得るために, スパースラベル-外観符号化, オブジェクト間関係適応, オブジェクト内知識マッピングを含む。
従来の教師ベースのFGFIと比較すると、LGDは予習された教師を必要とせず、本質的な学生学習よりも51%低い訓練コストで性能が向上する。
論文 参考訳（メタデータ） (2021-09-23T16:55:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。