論文の概要: On the Impact of Temporal Concept Drift on Model Explanations
- arxiv url: http://arxiv.org/abs/2210.09197v1
- Date: Mon, 17 Oct 2022 15:53:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 15:53:57.992739
- Title: On the Impact of Temporal Concept Drift on Model Explanations
- Title（参考訳）: 時間的概念ドリフトがモデル説明に及ぼす影響について
- Authors: Zhixue Zhao, George Chrysostomou, Kalina Bontcheva, Nikolaos Aletras
- Abstract要約: 自然言語処理におけるモデル予測の表現忠実度は、トレーニングデータと同じ時間分布から保持されたデータに基づいて評価する。
8つの特徴属性法と3つの選択列予測モデルにより抽出されたモデル説明に対する時間的変動の影響について検討した。
- 参考スコア（独自算出の注目度）: 31.390397997989712
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Explanation faithfulness of model predictions in natural language processing
is typically evaluated on held-out data from the same temporal distribution as
the training data (i.e. synchronous settings). While model performance often
deteriorates due to temporal variation (i.e. temporal concept drift), it is
currently unknown how explanation faithfulness is impacted when the time span
of the target data is different from the data used to train the model (i.e.
asynchronous settings). For this purpose, we examine the impact of temporal
variation on model explanations extracted by eight feature attribution methods
and three select-then-predict models across six text classification tasks. Our
experiments show that (i)faithfulness is not consistent under temporal
variations across feature attribution methods (e.g. it decreases or increases
depending on the method), with an attention-based method demonstrating the most
robust faithfulness scores across datasets; and (ii) select-then-predict models
are mostly robust in asynchronous settings with only small degradation in
predictive performance. Finally, feature attribution methods show conflicting
behavior when used in FRESH (i.e. a select-and-predict model) and for measuring
sufficiency/comprehensiveness (i.e. as post-hoc methods), suggesting that we
need more robust metrics to evaluate post-hoc explanation faithfulness.
- Abstract（参考訳）: 自然言語処理におけるモデル予測の表現忠実度は、トレーニングデータ(同期設定)と同じ時間分布から保持されたデータに基づいて評価される。
モデルの性能は時間的変動(すなわち時間的概念のドリフト)によって劣化することが多いが、現在、対象データの時間間隔がモデルのトレーニングに使用されるデータ(すなわち非同期設定)と異なる場合、その説明の忠実さがどの程度影響するかは分かっていない。
そこで本研究では,8つの特徴属性法と3つの選択列予測モデルから抽出したモデル説明に対する時間変動の影響について検討した。
私たちの実験は
(i)特徴帰属法における時間的変動(例えば、その方法によって減少または増加)では不完全性は一致せず、データセット間で最も堅牢な忠実性スコアを示す注意に基づく方法。
(ii)select-then-predictモデルは主に非同期設定で頑健であり、予測性能の低下は少ない。
最後に、FRESH(select-and-predict model)とSufficiency/comprehensiveness(post-hoc method)の測定において、特徴属性法は相反する振る舞いを示し、ポストホックな説明の忠実さを評価するためにより堅牢なメトリクスが必要であることを示唆している。
関連論文リスト
- Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。
第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。
第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
論文 参考訳（メタデータ） (2025-02-11T19:24:09Z) - TimeInf: Time Series Data Contribution via Influence Functions [8.018453062120916]
TimeInfは時系列データセットのデータコントリビューション推定手法である。
実験の結果、TimeInfは有害な異常を識別する最先端の手法より優れていることが示された。
TimeInfはデータ値の直感的かつ解釈可能な属性を提供しており、視覚化によって様々な異常パターンを容易に識別することができる。
論文 参考訳（メタデータ） (2024-07-21T19:10:40Z) - Causal Estimation of Memorisation Profiles [58.20086589761273]
言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。
覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。
本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
論文 参考訳（メタデータ） (2024-06-06T17:59:09Z) - Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。
本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。
そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
論文 参考訳（メタデータ） (2024-01-17T07:58:18Z) - Towards a performance characteristic curve for model evaluation: an application in information diffusion prediction [2.8686437689115354]
拡散データのランダム性を定量化するために,情報エントロピーに基づくメトリクスを提案する。
次に,モデルのランダム性と予測精度の間のスケーリングパターンを同定する。
曲線の妥当性は、同じ家系の3つの予測モデルによって検証される。
論文 参考訳（メタデータ） (2023-09-18T07:32:57Z) - ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳（メタデータ） (2023-04-07T15:17:48Z) - Neural Superstatistics for Bayesian Estimation of Dynamic Cognitive
Models [2.7391842773173334]
我々は,時間変化パラメータと時間不変パラメータの両方を復元できるベイズ推論のシミュレーションに基づくディープラーニング手法を開発した。
この結果から,ディープラーニングアプローチは時間的ダイナミクスを捉える上で極めて効率的であることが示唆された。
論文 参考訳（メタデータ） (2022-11-23T17:42:53Z) - Extracting or Guessing? Improving Faithfulness of Event Temporal
Relation Extraction [87.04153383938969]
本研究では,TempRel抽出モデルの忠実度を2つの観点から改善する。
第1の視点は、文脈記述に基づいて真に抽出することである。
第2の視点は、適切な不確実性評価を提供することである。
論文 参考訳（メタデータ） (2022-10-10T19:53:13Z) - Sharing pattern submodels for prediction with missing values [12.981974894538668]
機械学習の多くのアプリケーションでは欠落値は避けられず、トレーニング中もテスト時にも課題が提示される。
パターンサブモデル(パターンサブモデル)と呼ばれる別の手法を提案する。これは、テスト時に欠落した値に対して、予測を堅牢にし、パターンサブモデルの予測力を維持または改善させる。
論文 参考訳（メタデータ） (2022-06-22T15:09:40Z) - Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。
そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
論文 参考訳（メタデータ） (2021-09-09T10:10:29Z) - Modeling Score Distributions and Continuous Covariates: A Bayesian
Approach [8.772459063453285]
連続共変量に対するマッチングと非マッチスコア分布の生成モデルを構築した。
混合モデルを用いて任意の分布と局所基底関数をキャプチャする。
提案手法の精度と有効性を示す3つの実験を行った。
論文 参考訳（メタデータ） (2020-09-21T02:41:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。