論文の概要: Deep Model Interpretation with Limited Data : A Coreset-based Approach

• arxiv url: http://arxiv.org/abs/2410.00524v1
• Date: Fri, 4 Oct 2024 11:32:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 05:07:10.031168
• Title: Deep Model Interpretation with Limited Data : A Coreset-based Approach
• Title（参考訳）: 有限データを用いた深部モデル解釈 : コアセットに基づくアプローチ
• Authors: Hamed Behzadi-Khormouji, José Oramas,
• Abstract要約: 本稿では,コアセット選択手法を用いて,大規模データセットの代表的なサブセットを抽出する,コアセットに基づく解釈フレームワークを提案する。 本稿では,モデル解釈手法のロバスト性を評価するための類似性に基づく評価プロトコルを提案する。
• 参考スコア（独自算出の注目度）: 0.810304644344495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model Interpretation aims at the extraction of insights from the internals of a trained model. A common approach to address this task is the characterization of relevant features internally encoded in the model that are critical for its proper operation. Despite recent progress of these methods, they come with the weakness of being computationally expensive due to the dense evaluation of datasets that they require. As a consequence, research on the design of these methods have focused on smaller data subsets which may led to reduced insights. To address these computational costs, we propose a coreset-based interpretation framework that utilizes coreset selection methods to sample a representative subset of the large dataset for the interpretation task. Towards this goal, we propose a similarity-based evaluation protocol to assess the robustness of model interpretation methods towards the amount data they take as input. Experiments considering several interpretation methods, DNN models, and coreset selection methods show the effectiveness of the proposed framework.
• Abstract（参考訳）: モデル解釈は、訓練されたモデルの内部から洞察を抽出することを目的としている。 この課題に対処する一般的なアプローチは、適切な操作に欠かせないモデルで内部的に符号化された関連する機能の特徴づけである。 これらの手法の最近の進歩にもかかわらず、それらが必要とするデータセットの厳密な評価のため、計算コストが低いという弱点がある。 その結果、これらの手法の設計に関する研究は、より小さなデータサブセットに焦点を合わせており、洞察の減少につながる可能性がある。 これらの計算コストに対処するために,コアセット選択手法を用いて,大規模なデータセットの代表的なサブセットを抽出するコアセットベースの解釈フレームワークを提案する。 そこで本稿では,モデル解釈手法のロバスト性を評価するための類似性に基づく評価プロトコルを提案する。 いくつかの解釈法、DNNモデル、コアセット選択法を考慮した実験は、提案手法の有効性を示す。

関連論文リスト

• In2Core: Leveraging Influence Functions for Coreset Selection in Instruction Finetuning of Large Language Models [37.45103473809928]
  In2Coreアルゴリズムは,トレーニングモデルと評価サンプルの相関関係を解析し,コアセットを選択する。 LLMの微調整データにアルゴリズムを適用することで、トレーニングデータの50%で同様の性能を実現することができる。
  論文  参考訳（メタデータ） (2024-08-07T05:48:05Z)
• Data Shapley in One Training Run [88.59484417202454]
  Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。 既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。 本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
  論文  参考訳（メタデータ） (2024-06-16T17:09:24Z)
• Optimal Sample Selection Through Uncertainty Estimation and Its Application in Deep Learning [22.410220040736235]
  コアセット選択とアクティブラーニングの両方に対処するための理論的に最適な解を提案する。 提案手法であるCOPSは,サブサンプルデータに基づいてトレーニングされたモデルの損失を最小限に抑えるために設計されている。
  論文  参考訳（メタデータ） (2023-09-05T14:06:33Z)
• Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
  モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。 この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
  論文  参考訳（メタデータ） (2023-07-06T15:19:53Z)
• Evaluating Representations with Readout Model Switching [19.907607374144167]
  本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。 我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。 提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
  論文  参考訳（メタデータ） (2023-02-19T14:08:01Z)
• Black-box Coreset Variational Inference [13.892427580424444]
  本稿では,基本モデルに対する変分コアセットの原理的適用を可能にするため,基本モデルに対するブラックボックス変分推論フレームワークを提案する。 本手法を教師あり学習問題に適用し,データ要約と推論のための文献における既存手法と比較する。
  論文  参考訳（メタデータ） (2022-11-04T11:12:09Z)
• Deep Learning with Multiple Data Set: A Weighted Goal Programming Approach [2.7393821783237184]
  大規模データ分析は、我々の社会でデータが増大するにつれて、指数的な速度で成長している。 ディープラーニングモデルはたくさんのリソースを必要とし、分散トレーニングが必要です。 本稿では,分散学習のためのマルチ基準アプローチを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:10:25Z)
• Paired Examples as Indirect Supervision in Latent Decision Models [109.76417071249945]
  我々は、ペア化された例を活用して、潜在的な決定を学習するためのより強力な手がかりを提供する方法を紹介します。 DROPデータセット上のニューラルネットワークを用いた合成質問応答の改善に本手法を適用した。
  論文  参考訳（メタデータ） (2021-04-05T03:58:30Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural Summarization Systems [121.78477833009671]
  データセット間設定下での様々な要約モデルの性能について検討する。 異なるドメインの5つのデータセットに対する11の代表的な要約システムに関する包括的な研究は、モデルアーキテクチャと生成方法の影響を明らかにしている。
  論文  参考訳（メタデータ） (2020-10-11T02:19:15Z)
• Latent Opinions Transfer Network for Target-Oriented Opinion Words Extraction [63.70885228396077]
  資源豊富なレビュー評価分類データセットから低リソースタスクTOWEへ意見知識を伝達する新しいモデルを提案する。 我々のモデルは、他の最先端手法よりも優れた性能を達成し、意見の知識を伝達することなく、ベースモデルを大幅に上回る。
  論文  参考訳（メタデータ） (2020-01-07T11:50:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。