論文の概要: Uncertainty Signals for Network Intent Translation: Risk Ranking and Ambiguity Localization
- arxiv url: http://arxiv.org/abs/2609.04486v1
- Date: Thu, 03 Sep 2026 21:12:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.821802
- Title: Uncertainty Signals for Network Intent Translation: Risk Ranking and Ambiguity Localization
- Title(参考訳): ネットワークインテント翻訳の不確実性信号:リスクランク付けとあいまいさの局在
- Abstract要約: Intentベースのネットワークの実現は、高レベルのインテントを低レベルのネットワーク構成に変換することから始まる。
近年のアプローチはLLMベースの翻訳へと移行している。
本稿では,アンビグニティソースのローカライゼーションにおいて,翻訳リスクランキングのためのサンプリングベース予測の不確実性とトークンレベルのエントロピーの2つの不確実性信号を提案する。
- 参考スコア(独自算出の注目度): 0.45835414225547183
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Intent-based networking realization starts by translating high-level intents into low-level network configurations. Recent approaches have shifted toward LLM-based translation. Despite promising results, most studies focus on translation accuracy and overlook risks associated with deploying the resulting configurations. In this work, we investigate the pre-deployment translation risk of LLM-generated configurations by analyzing the model's uncertainty. We propose to use two uncertainty signals, namely sampling-based predictive uncertainty for translation-risk ranking and token-level entropy for ambiguity-source localization. We evaluate these signals on an ambiguity-controlled test set across different context types and sampling budgets, using a Llama-3.1-8B-Instruct model fine-tuned for intent translation on a vendor-specific switch platform (Juniper EX3300). The results demonstrate that predictive uncertainty provides a useful signal for ranking translations by risk across context types and sampling budgets, albeit with substantial miscalibration under less informative contexts. Moreover, we show that parameter-token entropy correlates with parameter-sourced ambiguity and keyword-token entropy correlates with description-sourced ambiguity. These results indicate the potential of using uncertainty signals in an LLM-generated configuration deployment pipeline, where predictive uncertainty can support selective deployment, while token-level entropy can identify sources of ambiguity.
- Abstract(参考訳): Intentベースのネットワークの実現は、高レベルのインテントを低レベルのネットワーク構成に変換することから始まる。
近年のアプローチはLLMベースの翻訳へと移行している。
有望な結果にもかかわらず、ほとんどの研究は、結果の設定の展開に伴う翻訳精度と見落としのリスクに焦点を当てている。
本研究では, LLM生成構成の事前デプロイ翻訳リスクについて, モデルの不確実性を分析して検討する。
本稿では,アンビグニティソースのローカライゼーションにおいて,翻訳リスクランキングのためのサンプリングベース予測の不確実性とトークンレベルのエントロピーの2つの不確実性信号を提案する。
ベンダー固有のスイッチプラットフォーム(Juniper EX3300)上で意図翻訳のために微調整されたLlama-3.1-8B-Instructモデルを用いて、異なるコンテキストタイプとサンプリング予算にまたがるあいまいさ制御テストセット上でこれらの信号を評価する。
その結果, 予測の不確実性は, 文脈タイプやサンプリング予算にまたがるリスクによる翻訳のランク付けに有用な信号であることがわかった。
さらに,パラメータトケンエントロピーはパラメータソースのあいまいさと相関し,キーワードトケンエントロピーは記述ソースのあいまいさと相関することを示す。
これらの結果は, トークンレベルのエントロピーが曖昧性の原因を識別するのに対して, 予測の不確実性は選択的配置を支援することができる, LLM生成構成配置パイプラインにおける不確実性信号の使用の可能性を示している。
関連論文リスト
- Estimating Semantic Ambiguity via Gaussian Context Distributions for VLM-Driven Traversability Analysis [14.31446990918297]
本稿では、文脈の不確実性を明示的にモデル化した、視覚に基づくトラバーサビリティ推定のための新しいパイプラインを提案する。
提案手法では,概念アンチョリングを用いて,開語彙VLM予測を連続的物理的トラバーサビリティ尺度上に構築する。
分布の統計的性質に基づいて,高密度トラバーサビリティマップと高密度不確実性マップの両方を導出する。
論文 参考訳(メタデータ) (2026-09-08T11:18:32Z) - SCP-NL2TL: Selective Conformal Prediction with Semantic Verification for Natural Language to Temporal Logic Specifications [28.546702829415207]
自然言語命令を機械解釈可能な形式仕様に変換することで、ロボットと自律システムは、その動作を計画し、推論し、正式に検証することができる。
既存の翻訳モデルは、通常、結果が信頼できないり、ユーザの意図を捉えなかったりしても、すべての入力に対して仕様を生成する。
選択的共形予測に着想を得て,形式仕様を生成するだけでなく,いつ信頼できるかを判断する選択翻訳フレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-05T22:17:09Z) - A Multimodal Dataset for Visually Grounded Ambiguity in Machine Translation [53.06004926782424]
VIDA(Visually-Dependent Ambiguity)は2500の慎重にキュレートされたインスタンスのデータセットで、注釈付きソーススパンの解決には視覚的証拠が必要である。
また,LLM-as-a-judge分類器を用いて,アノテートされた曖昧な表現がスパンレベルで正しく解決されているかどうかを検証する。
論文 参考訳(メタデータ) (2026-05-03T19:55:06Z) - Exploring Semantic-constrained Adversarial Example with Instruction Uncertainty Reduction [51.50282796099369]
本稿では,多次元命令の不確実性低減フレームワークを開発し,意味論的に制約された逆の例を生成する。
言語誘導サンプリングプロセスの予測により、設計したResAdv-DDIMサンプルにより最適化プロセスが安定化される。
セマンティック制約付き3次元逆数例の参照フリー生成を初めて実現した。
論文 参考訳(メタデータ) (2025-10-27T04:02:52Z) - Decoding Uncertainty: The Impact of Decoding Strategies for Uncertainty Estimation in Large Language Models [58.198220611190884]
大規模言語モデル(LLM)における復号化戦略が不確実性推定に与える影響について検討する。
実験の結果,反復を緩和するContrastive Searchは,所望のLLMに対して,平均不確かさを推定できることがわかった。
論文 参考訳(メタデータ) (2025-09-20T13:48:13Z) - Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models [24.72990207218907]
LLM(Large Language Models)は、畳み込み(confabulation)として知られる、流動的だが不正なコンテンツを生成する傾向にある。
本研究では、文脈内情報がモデル行動にどのように影響するか、LLMが信頼できない応答を識別できるかを検討する。
論文 参考訳(メタデータ) (2025-08-11T16:12:36Z) - SConU: Selective Conformal Uncertainty in Large Language Models [59.25881667640868]
SconU(Selective Conformal Uncertainity)と呼ばれる新しいアプローチを提案する。
我々は,特定の管理可能なリスクレベルで設定されたキャリブレーションの不確実性分布から,与えられたサンプルが逸脱するかどうかを決定するのに役立つ2つの共形p値を開発する。
我々のアプローチは、単一ドメインと学際的コンテキストの両方にわたる誤発見率の厳密な管理を促進するだけでなく、予測の効率を高める。
論文 参考訳(メタデータ) (2025-04-19T03:01:45Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳(メタデータ) (2023-11-15T05:58:35Z) - Understanding and Mitigating the Uncertainty in Zero-Shot Translation [92.25357943169601]
ゼロショット翻訳の不確実性の観点から、オフターゲット問題を理解し、緩和することを目的としている。
そこで本研究では,モデルトレーニングのためのトレーニングデータを認知するための,軽量かつ補完的な2つのアプローチを提案する。
提案手法は,強いMNMTベースライン上でのゼロショット翻訳の性能を著しく向上させる。
論文 参考訳(メタデータ) (2022-05-20T10:29:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。