論文の概要: RFCLLM: Evaluating LLMs' Reasoning Ability of Network Protocol State Machines

• arxiv url: http://arxiv.org/abs/2609.13389v1
• Date: Fri, 11 Sep 2026 18:00:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 12:40:38.811788
• Title: RFCLLM: Evaluating LLMs' Reasoning Ability of Network Protocol State Machines
• Title（参考訳）: RFCLLM:ネットワークプロトコルステートマシンにおけるLLMの推論能力の評価
• Abstract要約: 本研究では, LLMの有限状態遷移系の暗黙的表現が, 手動で生成した基底構造モデルを用いて自然言語記述によって定義される程度について検討する。 我々の研究は、LLMがプロトコル仕様のFSM(Finite State Machine)推論で本当に信頼できるかどうかを検証するためのステップに寄与します。
• 参考スコア（独自算出の注目度）: 22.932313076602416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mapping textual specifications into formal representations is essential for ensuring the correctness of protocol designs and implementations. LLM-generated mappings, used for networking security or testing, are assumed to capture a perfect understanding of the specification, which may not hold in practice. The goal of this paper is to assess the extent to which LLMs can interpret the specification correctly. We examine the degree to which an LLM's implicit representation of a finite-state transition system-defined via natural language descriptions-aligns with a manually generated ground-truth model. We designed 4 tasks and 1482 task queries for 16 protocols. We evaluated different judge biases, observed the inherent difficulty gaps between tasks, looked into the effect of 4 context types, and the influence of protocol characteristics. Our work contributes to a step toward verifying whether LLMs can really be trusted in FSM (Finite State Machine) reasoning of protocol specifications.
• Abstract（参考訳）: プロトコル設計と実装の正しさを保証するためには、テキスト仕様を形式的な表現にマッピングすることが不可欠である。 ネットワークセキュリティやテストに使用されるLLM生成マッピングは、実際には保持されないかもしれない仕様の完全な理解を捉えていると仮定される。 本研究の目的は,LLMが仕様を正しく解釈できる範囲を評価することである。 本研究では, LLMの有限状態遷移系の暗黙的表現が, 手動で生成した基底構造モデルを用いて自然言語記述によって定義される程度について検討する。 16のプロトコルに対して4つのタスクと1482のタスククエリを設計しました。 本研究では,異なる判断バイアス,タスク間の難易度差,4種類のコンテキストの影響,およびプロトコル特性の影響について検討した。 我々の研究は、LLMがプロトコル仕様のFSM(Finite State Machine)推論で本当に信頼できるかどうかを検証するためのステップに寄与します。

関連論文リスト

• LLM-enabled Behavior Driven Development Workflow for Formally Verified Hardware Designs [6.993866597392993]
  制御された自然言語(CNL)仕様は中核として機能し、解釈可能性を維持しながら曖昧さを低減できる。 我々は,CNL仕様を正式に検証されたハードウェア設計の基礎として,FV Gherkin Scenarios(Formal Verification Gherkin Scenarios)を導入し,定義する。
  論文  参考訳（メタデータ） (2026-09-14T10:08:48Z)
• RAVEL: Reasoning Agents for Validating and Evaluating LLM Text Synthesis [78.32151470154422]
  テスト担当者が自律的に設計し、典型的な合成操作を実行できるようにするためのエージェントフレームワークであるRAVELを紹介する。 C3EBenchは、プロの人間の文章から1,258個のサンプルを抽出したベンチマークである。 SOTA LLMを演算子としてRAVELを増強することにより、そのようなエージェントテキスト合成はLLMの推論能力に支配されていることがわかった。
  論文  参考訳（メタデータ） (2026-02-28T14:47:34Z)
• Are LLMs Reliable Code Reviewers? Systematic Overcorrection in Requirement Conformance Judgement [8.059802912761919]
  我々は,大規模言語モデル(LLM)が自然言語要求にマッチするコードの体系的失敗を明らかにする。 より詳細なプロンプト設計、特に説明や修正提案を必要とするものは、より高い誤判定率をもたらす。 そこで本稿では,提案した修正を実効的証拠として扱う固定誘導検証フィルタを提案する。
  論文  参考訳（メタデータ） (2026-02-28T08:35:25Z)
• Visualizing token importance for black-box language models [48.747801442240565]
  我々は,ブラックボックスの大規模言語モデル(LLM)を監査して,本運用環境にデプロイした場合に確実に動作させるという課題を考察する。 本稿では,各入力トークンに対する言語モデルの出力の感度を評価するために,分布ベース感性分析(DBSA)を提案する。
  論文  参考訳（メタデータ） (2025-12-12T14:01:43Z)
• LLM-Assisted Model-Based Fuzzing of Protocol Implementations [9.512044399020514]
  プロトコル動作の障害は脆弱性やシステム障害につながる可能性がある。 プロトコルテストに対する一般的なアプローチは、プロトコルの状態遷移と期待される振る舞いをキャプチャするマルコフモデルを構築することである。 本稿では,大規模言語モデル(LLM)を利用して,ネットワークプロトコルの実装をテストするためのシーケンスを自動的に生成する手法を提案する。
  論文  参考訳（メタデータ） (2025-08-03T13:16:18Z)
• Grammars of Formal Uncertainty: When to Trust LLMs in Automated Reasoning Tasks [12.436681393835626]
  大きな言語モデル(LLM)は、正式な仕様を生成することで自動推論の民主化を約束する。 LLM出力をモデル化するための確率論的文脈自由文法(PCFG)フレームワークを導入する。 最後に、これらの信号の軽量な融合により、選択的な検証が可能となり、最小の棄権でエラーを劇的に削減する(14100%)。
  論文  参考訳（メタデータ） (2025-05-26T14:34:04Z)
• MoRE-LLM: Mixture of Rule Experts Guided by a Large Language Model [54.14155564592936]
  大規模言語モデル(MoRE-LLM)によるルールエキスパートの混合を提案する。 MoRE-LLMは、トレーニング中の局所的なルールベースのサロゲートの発見と、それらの分類タスクの利用を操縦する。 LLMはルールを修正・コンテキスト化することで、ルールのドメイン知識の整合性を高める役割を担います。
  論文  参考訳（メタデータ） (2025-03-26T11:09:21Z)
• Evaluating the Correctness of Inference Patterns Used by LLMs for Judgment [53.17596274334017]
  我々は,LLMの詳細な推論パターンの正確さを,その正しい出力の裏側で評価した。 実験により、言語生成結果が正しそうであっても、LLMが法的な判断に用いた推論パターンのかなりの部分は、誤解を招く論理や無関係な論理を表す可能性があることが示された。
  論文  参考訳（メタデータ） (2024-10-06T08:33:39Z)
• $\forall$uto$\exists$val: Autonomous Assessment of LLMs in Formal Synthesis and Interpretation Tasks [21.12437562185667]
  本稿では,形式構文を自然言語に翻訳する際のLLM評価のスケールアップ手法を提案する。 我々は、文脈自由文法(CFG)を用いて、その場で配布外のデータセットを生成する。 我々はまた、このパラダイムの実現可能性と拡張性を示すために、複数のSOTAクローズドおよびオープンソースLCMの評価を行う。
  論文  参考訳（メタデータ） (2024-03-27T08:08:00Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。