論文の概要: Measuring What a Specification Determines: A Formal Semantic-Block Model and an Execution-Judged Benchmark
- arxiv url: http://arxiv.org/abs/2608.19475v1
- Date: Wed, 19 Aug 2026 22:17:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.41099
- Title: Measuring What a Specification Determines: A Formal Semantic-Block Model and an Execution-Judged Benchmark
- Title（参考訳）: 仕様決定の計測:形式的セマンティック・ブロックモデルと実行基準ベンチマーク
- Abstract要約: 本研究では,仕様の形式的セマンティックブロックモデルと,仕様品質を評価するための実行基準ベンチマークを導入する。
仕様は、セマンティックブロック、依存関係の関係、ブロック所有ルール、決定ポイント、明示的にオープンな質問からなる構造として表現される。
ベンチマークは実装者のパネルを固定し、必須の非仕様管理アームを含み、決定論的実行ジャッジとして16と実動のOracleインスタンスを使用する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work introduces a formal semantic-block model for specifications and an execution-judged benchmark for evaluating specification quality independently of model capability. A specification is represented as a structure comprising semantic blocks, dependency relations, block-owned rules, decision points, and explicitly open questions, subject to four machine-checkable well-formedness conditions: acyclicity, single ownership, constraint domination, and totality or ambiguity-stop. Determinacy is defined model-theoretically as agreement among all conforming implementations and is estimated empirically through convergence across independent implementers. The model is instantiated on an Oracle-to-PostgreSQL migration specification containing 18 blocks and 19 dependency edges. Computational validation shows that the five-layer decomposition reduces mean per-task context by approximately 71% through dependency closures, covers 85.5% of the study-defined Oracle construct taxonomy with all identified gaps triaged, is not Pareto-dominated by the tested alternative partitions, and is recovered at the 99.9th percentile from citation-derived edges not used to define the original structure. The benchmark keeps the implementer panel fixed, includes a mandatory no-specification control arm, and uses PostgreSQL 16 and a live Oracle instance as deterministic execution judges. Six designed studies, including three pre-registered manipulations and three diagnostic analyses, further examine specification effects. Repeated runs on a 25-unit subsample reveal an empirical variability floor with a median arm-delta spread of 14.4 percentage points. The results support determinacy as a formal concept but not as a standalone empirical quality metric for the evaluated contemporary LLM implementers.
- Abstract（参考訳）: 本研究では,仕様に対する形式的セマンティックブロックモデルと,モデル能力とは無関係に仕様品質を評価するための実行基準ベンチマークを導入する。
仕様は、セマンティックブロック、依存関係、ブロック所有ルール、決定ポイント、明示的にオープンな質問からなる構造として表現され、非循環性、単一所有権、制約支配、総数または曖昧さの4つのマシンチェック可能な良質な条件に従う。
決定性(Determinacy)はモデル理論ですべての適合実装間の合意として定義され、独立実装者間の収束によって経験的に推定される。
モデルは18ブロックと19の依存関係エッジを含むOracleからPostgreSQLへのマイグレーション仕様に基づいてインスタンス化される。
計算による検証によると、5層分解は、依存のクロージャによって平均71%程度減らされ、調査で定義されたOracle構成分類の85.5%が三重化され、テストされた代替パーティションによってパレートが支配されるのではなく、元の構造を定義するのに使われていない引用由来のエッジから99.9%のパーセンタイルで回収される。
ベンチマークは実装者のパネルを固定し、必須の非仕様管理アームを含み、決定論的実行ジャッジとしてPostgreSQL 16とライブのOracleインスタンスを使用する。
事前登録された3つの操作と3つの診断分析を含む6つの設計された研究は、さらに仕様効果を検証した。
25ユニットのサブサンプルで繰り返し走ると、中央値の腕デルタが14.4ポイント広がる経験的な変動床が現れる。
結果は形式的概念としての決定性を支持するが, 評価された同時代のLCM実装者にとって, 独立した実証的品質指標にはならない。
関連論文リスト
- IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。
提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。
IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
論文 参考訳（メタデータ） (2026-09-09T17:59:04Z) - SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification [71.9783246097687]
SEERは、ペアローカライゼーション中の候補関係を隠蔽し、明示的な主観的/対象的役割を持つクエリ固有ビューを構築し、補完的な証拠として完全なイメージとスパースボックス幾何学を保持する。
正確な逆サポートを持つ関係選択プロトコルでは、オプションリファインメントがエンティティロールを交換し、正確に1つの視覚状態が対応する逆関係に従う場合にのみ前方決定を変更する。
変更されていないプロトコルは、3つのモデルにまたがる2,434個のフィルター付きEmbSpatialペア関係質問に対して +4.35 から +11.79 を得る。
論文 参考訳（メタデータ） (2026-08-04T13:16:15Z) - ModelEquivBench: Certifying Multi-Relational Evaluation of LLM-Generated Optimization Models [6.820882579439242]
マルチリレーショナル評価システムであるModelEquivBenchを提案する。
それぞれのエントリは、E0--E1、正のE2--E6結論の正確な有理証明のための関係適切なトレースまたは明示的なマップを持っている。
結果として得られるプロファイルは、粗いベースラインが表現しない区別を明らかにする。
論文 参考訳（メタデータ） (2026-07-31T13:55:09Z) - Beyond Value Benchmarks: Measuring Value-Structure Alignment in Large Language Models via Symmetric Q-Sorts [47.02978329409663]
そこで本研究では,Q手法に基づく対称型人間-LLM評価フレームワークを提案する。
私たちのプロトコルでは、人間とモデルは同一の140項目の道徳的ステートメントを、共有された9カラムの強制分布に分類します。
240個の複製されたQ-sortを2つの温度設定で4つのモデルファミリーにまたがる12個のLLMを評価した。
論文 参考訳（メタデータ） (2026-06-20T08:15:41Z) - A Family of Divergence Measures for Evaluating the Reconstruction Quality of Explainable Ensemble Trees [0.41292255339309664]
相関に基づくアプローチは、共起構造における系統的な不一致を検出するのに失敗する。
本稿では,合意・連想の区別に基づく統計的枠組みを提案する。
このフレームワークには、近似品質の異なる構造面をキャプチャする4つの補完的な尺度が含まれている。
論文 参考訳（メタデータ） (2026-05-19T09:56:04Z) - Seclens: Role-specific Evaluation of LLM's for security vulnerablity detection [0.0]
SecLens-Rは、35の共有次元を7つの測定カテゴリに分けて構成するマルチステークホルダー評価フレームワークである。
93のオープンソースプロジェクトから派生した406タスクのデータセット上で,SecLens-Rを用いて12のフロンティアモデルを評価する。
結果は、利害関係者の視点でかなりの変動を示し、決定スコアは同じモデルで最大31ポイント異なる。
論文 参考訳（メタデータ） (2026-04-02T05:25:50Z) - Model Specific Task Similarity for Vision Language Model Selection via Layer Conductance [92.72779885657373]
本稿では,視覚エンコーダの内部関数力学におけるモデル選択の基盤となるフレームワークを提案する。
提案手法は,各タスクをレイヤワイドコンダクタンスにより表現し,エントロピー正規化アライメントによる目標条件付きブロック重要度分布を導出する。
そこで本研究では,DCD(Directional Conductance Divergence)という,ソースタスクが対象の機能ブロックをいかに効果的にカバーするかを定量化する非対称な指標を提案する。
論文 参考訳（メタデータ） (2026-02-01T17:29:43Z) - Comparative Analysis of LLM Abliteration Methods: A Cross-Architecture Evaluation [0.0]
本研究は16種類の教科モデルを対象とした4つの音読ツールについて検討した。
シングルパス法は、ベンチマークしたサブセットで優れた性能を保った。
主な発見は、数学的推論能力は、消音介入に対して最も敏感であることを示している。
論文 参考訳（メタデータ） (2025-12-15T18:48:42Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z) - Beyond Mimicry: Preference Coherence in LLMs [0.19116784879310025]
大規模言語モデルが真の嗜好構造を示すかどうかを,AI固有のトレードオフに対する応答をテストすることによって検討する。
23の組合せ(47.9%)は、シナリオ強度と選択パターンの統計的に有意な関係を示した。
5つの組み合わせ(10.4%)だけが適応的またはしきい値に基づく行動を通じて有意義な嗜好コヒーレンスを示す。
不安定な遷移(45.8%)と刺激特異的感性は、現在のAIシステムが統一された嗜好構造を欠いていることを示唆している。
論文 参考訳（メタデータ） (2025-11-17T17:41:48Z) - A Multi-Dimensional Constraint Framework for Evaluating and Improving Instruction Following in Large Language Models [48.361839372110246]
本研究では,制約拡張,競合検出,命令書き換えを行う自動命令生成パイプラインを開発する。
我々は、19の大規模言語モデルを評価し、制約形式間の性能のかなりの変動を明らかにする。
詳細な分析では、これらの利得は主にモデルのアテンションモジュールパラメータの変更に起因していることを示している。
論文 参考訳（メタデータ） (2025-05-12T14:16:55Z) - Relational Proxies: Emergent Relationships as Fine-Grained
Discriminators [52.17542855760418]
本稿では,オブジェクトのグローバル部分とローカル部分の間の情報を利用してラベルを符号化する手法を提案する。
我々は、理論的な結果に基づいてプロキシを設計し、7つの挑戦的なきめ細かいベンチマークデータセットに基づいて評価する。
また、この理論を実験的に検証し、複数のベンチマークで一貫した結果を得る。
論文 参考訳（メタデータ） (2022-10-05T11:08:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。