論文の概要: Building Trust in Black-box Optimization: A Comprehensive Framework for Explainability

• arxiv url: http://arxiv.org/abs/2410.14573v1
• Date: Fri, 18 Oct 2024 16:20:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:26:27.247180
• Title: Building Trust in Black-box Optimization: A Comprehensive Framework for Explainability
• Title（参考訳）: ブラックボックス最適化における信頼構築 - 説明可能性のための包括的フレームワーク
• Authors: Nazanin Nezami, Hadis Anahideh,
• Abstract要約: 代理最適化(SO)は共通の解決法であるが、その独自性は説明可能性と透明性の欠如につながっている。 EmphInclusive Explainability Metrics for Surrogate Optimization (IEMSO)を提案する。 これらのメトリクスは、SOアプローチの透明性、信頼性、説明可能性を高める。
• 参考スコア（独自算出の注目度）: 1.3812010983144802
• License:
• Abstract: Optimizing costly black-box functions within a constrained evaluation budget presents significant challenges in many real-world applications. Surrogate Optimization (SO) is a common resolution, yet its proprietary nature introduced by the complexity of surrogate models and the sampling core (e.g., acquisition functions) often leads to a lack of explainability and transparency. While existing literature has primarily concentrated on enhancing convergence to global optima, the practical interpretation of newly proposed strategies remains underexplored, especially in batch evaluation settings. In this paper, we propose \emph{Inclusive} Explainability Metrics for Surrogate Optimization (IEMSO), a comprehensive set of model-agnostic metrics designed to enhance the transparency, trustworthiness, and explainability of the SO approaches. Through these metrics, we provide both intermediate and post-hoc explanations to practitioners before and after performing expensive evaluations to gain trust. We consider four primary categories of metrics, each targeting a specific aspect of the SO process: Sampling Core Metrics, Batch Properties Metrics, Optimization Process Metrics, and Feature Importance. Our experimental evaluations demonstrate the significant potential of the proposed metrics across different benchmarks.
• Abstract（参考訳）: 制約付き評価予算内でコストのかかるブラックボックス関数を最適化することは、現実世界の多くのアプリケーションにおいて大きな課題となる。 サロゲート最適化(SO)は一般的な解決法であるが、サロゲートモデルとサンプリングコア(例えば、取得関数)の複雑さによって導入された独自の性質は、説明可能性と透明性の欠如につながることが多い。 既存の文献は主にグローバル・オプティマへの収束の強化に集中しているが、新たに提案された戦略の実践的解釈は、特にバッチ・アセスメント・セッティングにおいて未検討のままである。 本稿では,SO アプローチの透明性,信頼性,説明可能性を高めるために設計された,モデルに依存しないメトリクスの包括的セットである,Surrogate Optimization (IEMSO) のための Explainability Metrics を提案する。 これらのメトリクスを通じて、私たちは、信頼を得るために高価な評価を行う前に、実践者に対して、中間的およびポストホックな説明を提供します。 コアメトリックのサンプリング、バッチ特性メトリクス、最適化プロセスメトリクス、特徴重要度という、SOプロセスの特定の側面をターゲットにしたメトリクスの4つの主要なカテゴリを検討します。 実験により, 提案指標の有意な可能性を, 異なるベンチマークで示している。

関連論文リスト

• Constrained Multi-objective Bayesian Optimization through Optimistic Constraints Estimation [10.77641869521259]
  CMOBOは、原則的に実現可能な領域内の多目的最適化と、実現可能な領域の学習のバランスをとる。 理論的正当化と実証的証拠の両方を提供し、様々な合成ベンチマークや実世界の応用に対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-11-06T03:38:00Z)
• Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
  我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。 分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。 BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-09-21T18:39:53Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Beyond Single-Model Views for Deep Learning: Optimization versus Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
  本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。 我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。 本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
  論文  参考訳（メタデータ） (2024-03-01T14:55:22Z)
• Enhanced Bayesian Optimization via Preferential Modeling of Abstract Properties [49.351577714596544]
  本研究では,非測定抽象特性に関する専門家の嗜好を代理モデルに組み込むための,人間とAIの協調型ベイズフレームワークを提案する。 優先判断において、誤った/誤解を招く専門家バイアスを処理できる効率的な戦略を提供する。
  論文  参考訳（メタデータ） (2024-02-27T09:23:13Z)
• AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents [76.95062553043607]
  大きな言語モデル(LLM)を評価することは、その能力を理解し、実践的なアプリケーションへの統合を促進するために不可欠である。 本稿では,LLMエージェントの分析的評価に適したオープンソース評価フレームワークであるAgentBoardを紹介する。
  論文  参考訳（メタデータ） (2024-01-24T01:51:00Z)
• Pseudo-Bayesian Optimization [7.556071491014536]
  ブラックボックス最適化の収束を保証するために最小限の要件を課す公理的枠組みについて検討する。 我々は、単純な局所回帰と、不確実性を定量化するために適切な「ランダム化事前」構造を用いることが、収束を保証するだけでなく、常に最先端のベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-15T07:55:28Z)
• QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization [116.56171113972944]
  QAベースのメトリクスのコンポーネントを慎重に選択することは、パフォーマンスにとって重要であることを示す。 提案手法は,最良性能のエンテーメントに基づく測定値を改善し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-12-16T00:38:35Z)
• Evolutionary Optimization of High-Coverage Budgeted Classifiers [1.7767466724342065]
  予算付き多機能分類器(MSC)プロセスは、部分的特徴取得および評価ステップのシーケンスを通じて入力される。 本稿では,不確定な予測のための端末拒否オプションを組み込んだ問題固有MSCを提案する。 アルゴリズムの設計は、一意化による集約性能の概念を尊重しながら効率を重視している。
  論文  参考訳（メタデータ） (2021-10-25T16:03:07Z)
• On the Global Optimality of Model-Agnostic Meta-Learning [133.16370011229776]
  モデル・ア・メタラーニング(MAML)は、メタラーニングを二段階最適化問題として定式化し、内部レベルが各サブタスクを、共有された事前に基づいて解決する。 学習と教師あり学習の両方においてMAMLが達成した定常点の最適性を特徴付ける。
  論文  参考訳（メタデータ） (2020-06-23T17:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。