論文の概要: Semi-Automatic Quantification of Bayesian Networks for Software Decision Support: Comparing WSA and RNM in a Software R&D Organization
- arxiv url: http://arxiv.org/abs/2609.31275v1
- Date: Fri, 25 Sep 2026 13:49:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.413189
- Title: Semi-Automatic Quantification of Bayesian Networks for Software Decision Support: Comparing WSA and RNM in a Software R&D Organization
- Title(参考訳): ソフトウェア決定支援のためのベイジアンネットワークの半自動定量化:ソフトウェア研究開発組織におけるWSAとRNMの比較
- Abstract要約: 半自動的手法は直接の推論を減少させるが、実践者は運用上の決定プロセスから比較した証拠はほとんどない。
我々は、重み付きSum Algorithm (WSA) と Ranked Nodes Method (RNM) を2つの文脈で完全なElicitation-and-quantificationパイプラインとして比較する。
- 参考スコア(独自算出の注目度): 1.723850585687833
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Expert-driven Bayesian networks can support recurring software decisions when historical data are limited, but quantifying their conditional probability tables (CPTs) requires many probability judgments. Semi-automatic methods reduce direct elicitation, yet practitioners have little comparative evidence from operational decision processes. We report an embedded case study comparing the Weighted Sum Algorithm (WSA) and Ranked Nodes Method (RNM) as complete elicitation-and-quantification pipelines in two contexts within a single software research and development (R&D) organization: feature selection for Internet of Things projects and user interface design selection. Within each context, the pipelines shared the graph, root priors, and decision evidence. We evaluated them through 15 expert-defined model-walkthrough scenarios and retrospective reconstructions of alternatives recorded in decision meetings. WSA matched 7/7 and 6/8 walkthrough expectations, whereas RNM matched 4/7 and 4/8. Both pipelines placed the selected alternatives near the top of the retrospective rankings. Their complete distributions nevertheless differed: the median total variation distance was 0.304 across four distinct feature patterns and 0.340 across seven distinct design patterns, rising to 0.890 for one design pattern. These results concern two ordinal value-estimation models in one organization. They show that similar shortlist behavior does not imply equivalent representations of uncertainty. For comparable software decision-support models, method selection and validation should consider node semantics, the judgments experts can provide, calibration requirements, complete output distributions, and the intended downstream use of the probabilities.
- Abstract(参考訳): 専門家主導のベイジアンネットワークは、履歴データが制限されている場合、繰り返しソフトウェア決定をサポートすることができるが、条件付き確率表(CPT)の定量化には多くの確率判定が必要である。
半自動的手法は直接の引用を減少させるが、実践者は運用上の決定プロセスから得られる比較的な証拠はほとんどない。
本稿では,1つのソフトウェア研究・開発(R&D)組織内の2つのコンテキストにおいて,軽量Sum Algorithm (WSA) と Ranked Nodes Method (RNM) を完全なElicitation-and-quantification Pipelines (R&D) として比較する,組込みケーススタディについて報告する。
各コンテキスト内では、パイプラインがグラフ、ルート先行、決定証拠を共有している。
我々は、専門家が定義した15のモデルウォークスルーシナリオと、意思決定会議に記録された代替案の振り返りの再構築を通じて、それらを評価した。
WSAは7/7と6/8のウォークスルーで、RNMは4/7と4/8で一致した。
どちらのパイプラインも、選択した選択肢をレトロスペクティブランキングのトップ近くに配置しました。
完全な分布は4つの異なる特徴パターンで0.304、異なる7つのデザインパターンで0.340であり、1つのデザインパターンで0.890まで上昇した。
これらの結果は、ある組織における2つの順序的価値推定モデルに関するものである。
彼らは、類似したショートリストの挙動が不確実性の同値な表現を含まないことを示した。
同等のソフトウェア意思決定モデルでは、メソッドの選択とバリデーションはノードのセマンティクス、専門家が提供できる判断、キャリブレーション要件、完全な出力分布、および意図した下流での確率の使用を考慮すべきである。
関連論文リスト
- Auditing System-1 Models on Biosecurity-Relevant Benchmarks: Calibration, Selective Prediction, and Permutation Instability in a Non-Generative Model [0.0]
System-1"モデルは、自己回帰復号化なしで単一の前方パスで構造化された確率的決定を返す。
精度,キャリブレーション,エラー検出,選択予測,および解答オプションが提示される順序に対する感度を測定する。
回転の平均確率は、WMDP-Cyberの精度を3.8ポイント向上させる。
論文 参考訳(メタデータ) (2026-09-24T18:46:53Z) - Benchmark Scores Are Pipeline-Dependent: A Reliability Audit of Cybersecurity LLM Benchmarks [0.8149698201875037]
大規模言語モデル(LLM)ベンチマークはしばしば安定したスコアを持つ固定データセットとして扱われる。
当社は、プロプライエタリでオープンウェイト、およびサイバーセキュリティ専門のLLMを対象とした8つのサイバーセキュリティベンチマークを監査します。
単一のパイプライン選択は、モデルのスコアを80パーセント以上変更することができる。
論文 参考訳(メタデータ) (2026-09-08T14:01:22Z) - Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning [87.18590662029432]
本稿では,プロアクティブルーティングパラダイムであるPRPを提案する。このパラダイムは,ドラフトモデルとターゲットモデルの両方の能力を評価することで,早期意思決定を可能にする。
筆者らの試案であるレーティング学習 (DRL) は内部信頼度推定器を内蔵し, 共同レーティング学習 (JRL) は対象モデルが与えられたクエリをどの程度処理できるかを予測する。
これらの評価により、詳細なインスタンスレベルの textbfProactive Routing が可能になり、全体的なパフォーマンスを損なうことなく、推論を大幅に高速化できる。
論文 参考訳(メタデータ) (2026-06-29T12:30:24Z) - Generative Inverse Design with Abstention via Diagonal Flow Matching [2.888595212660871]
Inverseデザインは、設計パラメータを$x$、ターゲットパフォーマンスを$y*$にすることを目的としている。
標準条件フローマッチング(CFM)は、任意の順序付けとスケーリングに対して強い感度を示し、不安定なトレーニングをもたらす。
対角流マッチング (Diag-CFM) を導入し, 設計座標とノイズ, ラベルを0と組み合わせるゼロアンカリング戦略によってこれを解決した。
これにより、CFMよりもラウンドトリップ精度が向上し、設計次元をまたいだ非可逆ニューラルネットワークベースラインが最大$P=100$になる。
論文 参考訳(メタデータ) (2026-03-16T21:18:16Z) - Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions [50.1404916337174]
大規模言語モデル(LLM)における母国語の確率的サンプリングの大規模,統計的に活用された最初の監査について述べる。
バッチ生成は, ほぼ完全に崩壊する一方, 中央値のパスレートが13%であり, 統計的妥当性はわずかであることがわかった。
現在のLCMには機能的な内部サンプルが欠如しており、統計的保証を必要とするアプリケーションに外部ツールを使う必要があると結論付けている。
論文 参考訳(メタデータ) (2026-01-08T22:33:12Z) - Prompt-Matcher: Leveraging Large Models to Reduce Uncertainty in Schema Matching Results [1.13107643869251]
本稿では,大規模言語モデルの特定のプロンプトを用いた細粒度対応検証に基づく新しい手法を提案する。
本手法は,(1)対応選択アルゴリズム,(2)対応検証,(3)確率分布の更新の3つの主成分からなる反復ループである。
本稿では,計算効率においてブルートアルゴリズムを著しく上回る新しい$(1-1/e)$-approximationアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-08-24T16:54:08Z) - MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。
MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。
また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
論文 参考訳(メタデータ) (2024-06-11T17:55:25Z) - BRIO: Bringing Order to Abstractive Summarization [107.97378285293507]
非決定論的分布を前提とした新しい学習パラダイムを提案する。
提案手法は, CNN/DailyMail (47.78 ROUGE-1) と XSum (49.07 ROUGE-1) のデータセット上で, 最新の結果が得られる。
論文 参考訳(メタデータ) (2022-03-31T05:19:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。