論文の概要: Evaluating Feedback-Driven Black-Box Processes via Stochastic Modeling and Simulation
- arxiv url: http://arxiv.org/abs/2611.18477v1
- Date: Fri, 13 Nov 2026 17:49:57 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:24:41.209393
- Title: Evaluating Feedback-Driven Black-Box Processes via Stochastic Modeling and Simulation
- Title(参考訳): 確率的モデリングとシミュレーションによるフィードバック駆動型ブラックボックスプロセスの評価
- Abstract要約: ソフトウェア工学と機械学習にまたがるフィードバック駆動型ブラックボックスプロセスについて研究する。
マルコフ連鎖とシミュレーションを用いて,このような政策をモデル化し,評価するフレームワークを提案する。
- 参考スコア(独自算出の注目度): 29.62963078889574
- License:
- Abstract: We study feedback-driven black-box processes across software engineering and machine learning. These processes are inherently sequential: policies generate inputs, observe outputs/feedback from systems, and use the feedback to guide the design of subsequent inputs. While many policies are developed under structural assumptions on the underlying systems, many real-world systems operate without such knowledge, necessitating black-box policies that lack a unified evaluation framework. We introduce a stochastic framework that models and evaluates such policies using Markov chains and simulation, thereby connecting empirical practice with theory. We instantiate the framework in mutation-based fuzzing (widely used for discovering software bugs via sequential input mutation), by a novel Markov chain model of fuzzing whose transitions are governed by the mutation strategy and whose feedback is given by program execution. We develop a rigorous evaluation paradigm with new performance measures, sound estimators, and evaluation procedures with provable guarantees. Guided by the theory, we evaluate 9 fuzzers on 18 widely used fuzzing benchmarks and conduct case studies in 4 non-fuzzing domains. These results show that the framework provides a principled basis for evaluation while connecting to practice, with implications beyond fuzzing.
- Abstract(参考訳): ソフトウェア工学と機械学習にまたがるフィードバック駆動型ブラックボックスプロセスについて研究する。
これらのプロセスは本質的にシーケンシャルであり、ポリシーは入力を生成し、システムからの出力/フィードバックを観察し、フィードバックを使用してその後の入力の設計をガイドする。
多くのポリシーは基礎となるシステムの構造的な前提の下で開発されているが、現実のシステムの多くはそのような知識なしで運用されており、統一された評価枠組みが欠如しているブラックボックスポリシーを必要とする。
我々はマルコフ連鎖とシミュレーションを用いてこのような政策をモデル化し評価する確率的枠組みを導入し、経験的実践と理論を結びつける。
突然変異に基づくファジング(シーケンシャルな入力突然変異によるソフトウェアバグの発見に広く用いられている)の枠組みを、突然変異戦略によって遷移が制御され、プログラムの実行によってフィードバックが与えられる新しいファジングのマルコフ連鎖モデルによりインスタンス化する。
我々は,新しい性能指標,音響推定器,確証のある評価手順を備えた厳密な評価パラダイムを開発する。
この理論に導かれて、広く使われている18個のファジィベンチマーク上のファジィ9つのファジィ評価を行い、4つの非ファジィ領域におけるケーススタディを行った。
これらの結果から,本フレームワークはファジィにとどまらず,実践に接続しながら評価の原則的基盤を提供することが示された。
関連論文リスト
- Co-Evolving LLM Evaluators and Policies via DynamicRubric [67.2962847914162]
政策によって引き起こされたサンプルに対する評価者フィードバックによるポストトレーニングは、大きな言語モデルを改善するための主要なメカニズムとなる。
反応条件付き評価器であるDynamicRubricを提案する。
8Bバックボーンを用いた実験では、DynamicRubricは評価器のパフォーマンスを改善し、ベースラインよりも強力なポリシー管理を提供する。
論文 参考訳(メタデータ) (2026-07-22T12:35:40Z) - RecourseBench: A Modular Framework for Reproducible Algorithmic Recourse Evaluation [4.179418674608145]
emphRecourseBenchは,3つのコミットメント,モジュール性,対話性を中心に構築された,統一的な評価フレームワークである。
我々のフレームワークは28の最先端のrecourseメソッドを統合し、私たちの知る限り、メソッドレベルの統合を明示的に実施する最初のrecourseベンチマークを構成します。
論文 参考訳(メタデータ) (2026-06-15T02:06:16Z) - From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。
我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
論文 参考訳(メタデータ) (2026-06-07T13:34:55Z) - Interactive Evaluation Requires a Design Science [90.62695599188204]
大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。
フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。
本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
論文 参考訳(メタデータ) (2026-05-18T04:03:18Z) - Controllable User Simulation [41.65602738642653]
この研究は、因果推論問題として制御可能なシミュレーションを定式化する。
本研究では, 教師付き微調整による訓練シミュレータの標準的な実践が, 構造的に偏りのあるモデルをもたらすことを示す。
本稿では,事前制御,ステップワイズ動的制御,方針条件付き直接学習など,実践的なトレーニング緩和を提案する。
論文 参考訳(メタデータ) (2026-05-12T04:44:29Z) - SDLLMFuzz: Dynamic-static LLM-assisted greybox fuzzing for structured input programs [6.165429775333409]
SDLLMFuzzは、構造化入力プログラムのための動的静的LLM支援グレーボックスファジングフレームワークである。
提案手法は,構造認識型シード生成と静的クラッシュ解析を統合し,統一されたフィードバックループを形成する。
実験結果から,SDLLMFuzzは従来のグレーボックスファザーよりも有意に優れていた。
論文 参考訳(メタデータ) (2026-04-20T03:10:31Z) - VIPER: Process-aware Evaluation for Generative Video Reasoning [64.86465792516658]
我々は、時間的、構造的、象徴的、空間的、物理的、計画的推論にまたがる16のタスクにまたがる包括的なベンチマークVIPERを紹介する。
実験の結果,現状の映像モデルでは約20%のPOC@1.0しか達成できず,良好な結果が得られた。
論文 参考訳(メタデータ) (2025-12-31T16:31:59Z) - On Evaluating Performance of LLM Inference Serving Systems [11.712948114304925]
ベースラインフェアネス、評価設定、メトリックデザインの3つの重要な側面で繰り返し発生するアンチパターンを特定します。
これらのアンチパターンは、その二重相の性質のため、Large Language Model (LLM)推論に固有の問題である。
分析から得られた包括的なチェックリストを提供し、これらのアンチパターンを認識して回避するためのフレームワークを構築します。
論文 参考訳(メタデータ) (2025-07-11T20:58:21Z) - Towards Evaluating Transfer-based Attacks Systematically, Practically,
and Fairly [79.07074710460012]
ディープニューラルネットワーク(DNN)の敵対的脆弱性に大きな注目を集めている。
ブラックボックスDNNモデルを騙すための転送ベース手法が増えている。
30以上のメソッドを実装した転送ベースアタックベンチマーク(TA-Bench)を確立する。
論文 参考訳(メタデータ) (2023-11-02T15:35:58Z) - A Classification of Feedback Loops and Their Relation to Biases in
Automated Decision-Making Systems [0.0]
MLに基づく意思決定パイプラインにおけるフィードバックループのタイプについて検討する。
フィードバックループの存在は、MLバイアスを永続的に、強化し、あるいは軽減することができる。
論文 参考訳(メタデータ) (2023-05-10T11:15:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。