論文の概要: LOGIC: An LLM Benchmark for Intent-Grounded Change Impact in Aerospace Electrical Systems

• arxiv url: http://arxiv.org/abs/2610.07580v1
• Date: Tue, 06 Oct 2026 01:14:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.74208
• Title: LOGIC: An LLM Benchmark for Intent-Grounded Change Impact in Aerospace Electrical Systems
• Title（参考訳）: LOGIC: 航空宇宙電気システムにおけるインテント・グラウンド・チェンジ・インパクトのLLMベンチマーク
• Abstract要約: 検出されたすべての違いを伝搬すると、非常に広範囲な影響レポートが生成される。 制御されたベンチマークおよび評価フレームワークであるLOGICを提案する。 LOGICには168のシナリオがあり、144のセレクションと24の棄権ケースが含まれている。
• 参考スコア（独自算出の注目度）: 0.6567875008573567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aerospace electrical-design revisions can contain multiple genuine changes, although an engineering request may authorize only a subset. Propagating every detected difference can therefore produce overly broad impact reports. We present LOGIC, a controlled benchmark and evaluation framework in which locally deployable language models ground a request in a deterministic candidate-change inventory before selected changes are propagated through a typed electrical traceability graph. This separation permits candidate-selection errors to be distinguished from downstream propagation errors. LOGIC contains 168 scenarios, including 144 selection and 24 abstention cases. We evaluate three 7--8B models against intent-agnostic, lexical, and structured-evidence methods, with an oracle-root upper bound. On 96 explicitly anchored selection cases, gate-only structured evidence achieves candidate F1 of 1.0000, compared with 0.9677 for token-lexical matching. On 12 relational-paraphrase cases, token-lexical F1 is 0.1772 and gate-only F1 is 0.0000, compared with 0.5000--0.6400 for the large language models. Model grounding degrades as candidate inventories grow from 4 to 64 changes, while affected-element and typed-path accuracy remain comparatively stable when frozen selections are replayed over graphs of approximately 1K to 100K nodes. Strict evidence gating suppresses false positives but can remove correct semantic selections. An exploratory evidence-empty abstention policy raises strict abstention accuracy to 0.6667 for all three models and reduces unsafe-report rates to 0.1667, while decreasing answerable-case coverage by 16.0--27.1 percentage points. Four of six conflicting requests remain unsafe for each model. These findings support combining literal evidence and language-model reasoning with engineering review when intent cannot be established reliably.
• Abstract（参考訳）: 航空宇宙の電気設計の改訂は、複数の真の変更を含むことができるが、工学的な要求はサブセットのみを認可することができる。 検出されたすべての差を伝播させることで、過度に広範囲な影響を報告できる。 提案するLOGICは, 局所展開可能な言語モデルにおいて, 選択された変更が入力された電気的トレーサビリティグラフによって伝達される前に, 決定論的候補変化インベントリに要求を根拠とする, 制御されたベンチマークおよび評価フレームワークである。 この分離により、候補選択誤差と下流伝播誤差を区別することができる。 LOGICには168のシナリオがあり、144のセレクションと24の棄権ケースが含まれている。 そこで本研究では,7--8Bモデルについて,本手法の意図認識,語彙,構造的証明の方法に対して,オラクル-ルート上界を持つ3つのモデルを評価した。 96個の明示的に固定された選択の場合、ゲートのみ構造化された証拠は10000の候補F1を達成し、トークン-レキシカルマッチングは0.9677である。 12のリレーショナルパラフレーズの場合、トークンレキシカル F1 は 0.1772 であり、ゲートのみ F1 は 0.000 であり、大きな言語モデルでは 0.5000--0.6400 である。 候補在庫が4から64に増加するにつれて、モデル基底の劣化は減少するが、約1Kから100Kノードのグラフ上で凍結選択が再生される場合、影響要素と型付きパスの精度は比較的安定である。 厳密な証拠ゲーティングは偽陽性を抑制するが、正しい意味選択を除去することができる。 探索的エビデンス空禁政策は、3つのモデルすべてに対して厳格な禁煙精度を0.6667に引き上げ、安全でない禁煙率を0.1667に下げる一方で、応答可能なケースのカバレッジを16.0-27.1ポイント削減する。 6つの競合する要求のうち4つは、各モデルに対して安全ではない。 これらの知見は、意図を確実に確立できない場合に、リテラルエビデンスと言語モデル推論とエンジニアリングレビューを組み合わせることを支援する。

関連論文リスト

• GlitchPatch: Repairing Glitch Tokens in Frozen Language Models via Local Retokenization [52.5302018047534]
  グリッチトークンは異常な語彙のエントリであり、大きな言語モデルが一貫性のない出力を生成する可能性がある。 GlitchPatchは,局所的再トークン化に基づくフリーズ言語モデルの修復フレームワークである。 6つのトークンライザファミリーにまたがる10モデルの実験では、GlitchPatchの平均固定率は85.10%であり、最強のベースラインを14.37ポイント上回っている。
  論文  参考訳（メタデータ） (2026-10-03T09:44:13Z)
• From Routing Signals to Selective Review: Visual regrounding in MoE VLMs [48.07726955428853]
  視覚言語モデル(VLM)は偽の視覚的前提を受け入れ、対象の物体の色、数、位置、状態について疑問に答える。 本稿では,Mixture-of-Experts (MoE)VLMにおける内部ルーティング決定を活用するための最初のフレームワークを提案する。 提案手法は,MoE VLMによってすでに作成されており,低コストな検出と選択的な視覚的リグラウンドを支援することができる。
  論文  参考訳（メタデータ） (2026-09-29T17:49:07Z)
• Where the Numbers Come From: Auditing Evaluation in Provenance-Based Intrusion Detection [42.49426058823369]
  証明に基づく侵入検知器のスコアを再現しても、そのアラームの出力やエンコーダが使用する情報についてそのスコアが何を言っているかは定かでない。 我々は、リリースした9つの実装を監査し、独自のコードを使用して4つの検出器を実行し、3つの測定効果を分離する。
  論文  参考訳（メタデータ） (2026-09-27T13:01:02Z)
• A Verifier Can Leak the Answer: Diagnosability Before Optimization in Closed-Loop Agent Debugging [0.39287497907611874]
  検証者は、そのプローブがターゲットのアイデンティティを符号化したり、述語化したりすると、解法の比較を空にする。 クローズドループ決定エージェントにおけるアグリゲートトレースデバッガーの障害を報告する。
  論文  参考訳（メタデータ） (2026-09-09T17:32:57Z)
• BeTaL-GBI: Admission-Aware Benchmark Tuning and Full-Stack Verification of Geometric Belief Interfaces [2.894286977279531]
  本研究は,企業検証アーキテクチャが要求を監査しつつ,インターフェース障害,タスク能力,ポリシー適合性,整合性を分離できるかどうかを検討する。 BeTaL-GBI v0.2 は LLM-in-the-loop を2,218,750,380 以上のグリッドポイントで適用し、条件付き性能からフォーマットの入力を分離する。 512の総合的なタスクにおいて、16ゲートポリシーは、116の激しい矛盾を全て検出し、99のクリーンレコードを全て受け入れる。幻覚剤とエビデンスフォーガーサロゲートは無音のプロモーションでブロックされる。
  論文  参考訳（メタデータ） (2026-08-21T16:52:38Z)
• When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
  CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。 CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
  論文  参考訳（メタデータ） (2026-08-04T11:45:46Z)
• A Paired Testing Protocol for Batch-Conditioned Refusal Robustness in LLM Serving [0.0]
  言語モデルの安全性評価は、サービス構成を固定されたバックグラウンドインフラストラクチャとして扱うことが多い。 我々は4つのアーティファクト支援研究をペアテストプロトコルに合成する。 標準vLLMは、現在のスコアフリップ候補に対して22/55ラベルのフリップを再生し、VLLM_BATCH_INIANT=1を有効にすることで、同じテストを0/55フリップに削減する。
  論文  参考訳（メタデータ） (2026-05-26T23:22:55Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
  シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。 15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。 まず、評価設計は結論を根本的に変えることができる。 第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
  論文  参考訳（メタデータ） (2026-05-03T20:05:08Z)
• From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
  異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。 商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。 低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
  論文  参考訳（メタデータ） (2026-03-02T13:02:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。