論文の概要: The Counterfactual-Shapley Value: Attributing Change in System Metrics
- arxiv url: http://arxiv.org/abs/2208.08399v1
- Date: Wed, 17 Aug 2022 16:48:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-18 13:31:53.105863
- Title: The Counterfactual-Shapley Value: Attributing Change in System Metrics
- Title（参考訳）: counterfactual-shapley値: システムメトリクスの変化の帰結
- Authors: Amit Sharma, Hua Li, Jian Jiao
- Abstract要約: 帰属問題の重要な要素は、単一入力の特定の変更によるシステム計量の(仮説的な)変化を推定することである。
本稿では,時系列予測モデルを用いて反事実を推定し,属性スコア CF-Shapley を構築する手法を提案する。
実世界のアプリケーションとして、広告マッチング密度の指標に観測された変化をもたらすことを目的として、クエリ-アドマッチングシステムを分析する。
- 参考スコア（独自算出の注目度）: 10.804568364995982
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given an unexpected change in the output metric of a large-scale system, it
is important to answer why the change occurred: which inputs caused the change
in metric? A key component of such an attribution question is estimating the
counterfactual: the (hypothetical) change in the system metric due to a
specified change in a single input. However, due to inherent stochasticity and
complex interactions between parts of the system, it is difficult to model an
output metric directly. We utilize the computational structure of a system to
break up the modelling task into sub-parts, such that each sub-part corresponds
to a more stable mechanism that can be modelled accurately over time. Using the
system's structure also helps to view the metric as a computation over a
structural causal model (SCM), thus providing a principled way to estimate
counterfactuals. Specifically, we propose a method to estimate counterfactuals
using time-series predictive models and construct an attribution score,
CF-Shapley, that is consistent with desirable axioms for attributing an
observed change in the output metric. Unlike past work on causal shapley
values, our proposed method can attribute a single observed change in output
(rather than a population-level effect) and thus provides more accurate
attribution scores when evaluated on simulated datasets. As a real-world
application, we analyze a query-ad matching system with the goal of attributing
observed change in a metric for ad matching density. Attribution scores explain
how query volume and ad demand from different query categories affect the ad
matching density, leading to actionable insights and uncovering the role of
external events (e.g., "Cheetah Day") in driving the matching density.
- Abstract（参考訳）: 大規模システムのアウトプットメトリックが予期せぬ変化をすると、なぜ変化が起こったのか:どの入力がメトリックの変化を引き起こしたか?
このような帰属問題の鍵となる要素は、反事実を推定することである: 単一の入力の特定の変更による(仮説上の)システム計量の変化。
しかし、システム部分間の固有確率性と複雑な相互作用のため、直接出力計量をモデル化することは困難である。
システムの計算構造を利用して、各サブパーツが時間とともに正確にモデル化できるより安定したメカニズムに対応するように、モデリングタスクをサブパーツに分割する。
システムの構造を利用することで、計量を構造因果モデル(SCM)上の計算と見なすのにも役立ち、反事実を推定する原則的な方法を提供する。
具体的には,時系列予測モデルを用いて反事実を推定し,観測された指標の変化を帰属するための望ましい公理と一致する帰属スコアcf-shapleyを構築する手法を提案する。
因果シェープリー値に関する過去の研究とは違い,提案手法は(集団レベルの効果ではなく)出力の単一変化を属性とし,シミュレートされたデータセットで評価した場合,より正確な帰属スコアを提供する。
実世界のアプリケーションとして、広告マッチング密度の指標に観測された変化をもたらすことを目的として、クエリ-アドマッチングシステムを分析する。
アトリビューションスコアは、異なるクエリカテゴリからのクエリボリュームと広告要求が広告マッチング密度にどのように影響するかを説明し、効果的な洞察をもたらし、マッチング密度を駆動する外部イベント(例えば「チータの日」)の役割を明らかにする。
関連論文リスト
- Uncertainty measurement for complex event prediction in safety-critical systems [0.36832029288386137]
複合イベント処理(CEP)の不確実性は、組込みおよび安全クリティカルシステムにとって重要である。
本稿では,事象の知覚と予測の不確実性を測定する方法を示す。
我々は、研究と研究の分野で非常に有望な成果を提示し、議論する。
論文 参考訳（メタデータ） (2024-11-02T15:51:37Z) - Multiply-Robust Causal Change Attribution [15.501106533308798]
我々は,各因果メカニズムの貢献度を定量化するために,回帰法と再重み付け法を組み合わせた新しい推定方法を開発した。
本手法はモンテカルロシミュレーションにおいて優れた性能を示し,その有効性を示す。
論文 参考訳（メタデータ） (2024-04-12T22:57:01Z) - Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。
論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。
本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
論文 参考訳（メタデータ） (2023-05-19T08:22:23Z) - Variable Importance Matching for Causal Inference [73.25504313552516]
これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。
Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。
LASSO を用いて Model-to-Match フレームワークを運用する。
論文 参考訳（メタデータ） (2023-02-23T00:43:03Z) - Re-Examining System-Level Correlations of Automatic Summarization
Evaluation Metrics [64.81682222169113]
システムレベルの相関により, 要約品質の人的判断を再現する自動要約評価指標を確実に定量化する。
システムレベルの相関の定義が、実際にシステムを評価するためにメトリクスがどのように使われているかと矛盾する2つの方法を特定する。
論文 参考訳（メタデータ） (2022-04-21T15:52:14Z) - Time Series of Non-Additive Metrics: Identification and Interpretation
of Contributing Factors of Variance by Linear Decomposition [0.0]
本研究は,非付加的メトリクスの時系列の線形分解について論じる。
比のような非付加的計量は、様々な領域で広く使われている。
論文 参考訳（メタデータ） (2022-04-14T01:15:28Z) - TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。
本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。
本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
論文 参考訳（メタデータ） (2022-02-07T21:37:29Z) - Disentanglement Analysis with Partial Information Decomposition [31.56299813238937]
不整合表現は、異なる生成因子を個別にキャプチャする複数のランダム変数にデータをマッピングすることで、プロセスを逆転させることを目的としている。
現在の遠絡測定値は、各生成因子によって条件付けられた各変数の絶対偏差、分散、エントロピーなどの濃度を測定するように設計されている。
本研究では,2つ以上の変数間の情報共有を評価するために部分情報分解フレームワークを使用し,新しいアンタングル化指標を含むフレームワークを構築する。
論文 参考訳（メタデータ） (2021-08-31T11:09:40Z) - Grounding Representation Similarity with Statistical Testing [8.296135566684065]
我々は,機能的行動に影響を与える変化や,そうでない変化に対する特異性に対して,尺度は敏感であるべきだと論じる。
我々は、分布シフトの正確性や堅牢性など、様々な機能的挙動を通じてこれを定量化する。
現在のメトリクスはさまざまな弱点を示しており、古典的なベースラインが驚くほどうまく機能していることに気付き、すべてのメトリクスが失敗しているように見える設定を強調しています。
論文 参考訳（メタデータ） (2021-08-03T17:58:16Z) - Counterfactual Invariance to Spurious Correlations: Why and How to Pass
Stress Tests [87.60900567941428]
素早い相関」とは、アナリストが重要とすべきでないと考える入力データのある側面に対するモデルの依存である。
機械学習では、これらにはノウ・イ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ」という特徴がある。
因果推論ツールを用いたストレステストについて検討した。
論文 参考訳（メタデータ） (2021-05-31T14:39:38Z) - AttriMeter: An Attribute-guided Metric Interpreter for Person
Re-Identification [100.3112429685558]
Person ReIDシステムは、2人とのマッチング時にのみ距離や類似性を提供します。
CNN ベースの ReID モデルの結果を意味的に,定量的に説明する Attribute-Guided Metric Interpreter を提案する。
論文 参考訳（メタデータ） (2021-03-02T03:37:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。