論文の概要: Learning explanations that are hard to vary
- arxiv url: http://arxiv.org/abs/2009.00329v3
- Date: Sat, 24 Oct 2020 11:32:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-23 00:45:06.326541
- Title: Learning explanations that are hard to vary
- Title（参考訳）: 違いが難しい説明を学ぶこと
- Authors: Giambattista Parascandolo, Alexander Neitz, Antonio Orvieto, Luigi
Gresele, Bernhard Sch\"olkopf
- Abstract要約: 例を越えた平均化は、異なる戦略を縫合する記憶とパッチワークのソリューションに有利であることを示す。
そこで我々は論理ANDに基づく単純な代替アルゴリズムを提案し,実験的に検証する。
- 参考スコア（独自算出の注目度）: 75.30552491694066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we investigate the principle that `good explanations are hard
to vary' in the context of deep learning. We show that averaging gradients
across examples -- akin to a logical OR of patterns -- can favor memorization
and `patchwork' solutions that sew together different strategies, instead of
identifying invariances. To inspect this, we first formalize a notion of
consistency for minima of the loss surface, which measures to what extent a
minimum appears only when examples are pooled. We then propose and
experimentally validate a simple alternative algorithm based on a logical AND,
that focuses on invariances and prevents memorization in a set of real-world
tasks. Finally, using a synthetic dataset with a clear distinction between
invariant and spurious mechanisms, we dissect learning signals and compare this
approach to well-established regularizers.
- Abstract（参考訳）: 本稿では,深層学習の文脈において,「よい説明は変化しにくい」という原則について検討する。
パターンの論理的 OR に似た、例間の勾配の平均化は、不変性を識別する代わりに、異なる戦略を縫い合わせる、記憶と 'パッチワーク' ソリューションを好むことを示す。
これを調べるために、まず損失面の最小値に対する整合性の概念を定式化し、サンプルがプールされた場合にのみ、最小値がどの程度現れるかを測定する。
次に, 実世界のタスク群における不変性に着目し, 記憶を阻害する, 論理に基づく単純な代替アルゴリズムを提案し, 実験的に検証する。
最後に、不変と散発的なメカニズムを明確に区別した合成データセットを用いて、学習信号を分析し、このアプローチを確立された正規化器と比較する。
関連論文リスト
- A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment
for Imbalanced Learning [129.63326990812234]
そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。
この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
論文 参考訳（メタデータ） (2023-10-07T09:15:08Z) - Trade-off Between Efficiency and Consistency for Removal-based
Explanations [12.338207007436566]
我々は、解釈可能性、効率性、一貫性が同時に保持できないと仮定するインポッシブル・トリニティ定理を確立する。
理想的な説明の達成がいまだ解明されていないことを認識し、非効率性と矛盾を測る指標として解釈誤差の利用を提案する。
実験の結果,提案手法は解釈誤差を最大31.8倍に低減できることがわかった。
論文 参考訳（メタデータ） (2022-10-31T15:56:39Z) - Resolving label uncertainty with implicit posterior models [71.62113762278963]
本稿では,データサンプルのコレクション間でラベルを共同で推論する手法を提案する。
異なる予測子を後部とする生成モデルの存在を暗黙的に仮定することにより、弱い信念の下での学習を可能にする訓練目標を導出する。
論文 参考訳（メタデータ） (2022-02-28T18:09:44Z) - Label-Descriptive Patterns and their Application to Characterizing
Classification Errors [31.272875287136426]
最先端のディープラーニング手法は多くのタスクで人間のようなパフォーマンスを達成するが、それでもエラーを犯す。
これらのエラーを容易に解釈可能な言葉で特徴付けることは、モデルが体系的なエラーを起こす傾向にあるかどうかの洞察を与えるだけでなく、モデルを実行し改善する方法を与える。
本稿では,予測の正しさに応じて分割された入力データを簡潔に記述するパターンの小さなセットをマイニングすることにより,任意の分類器に対して,任意の分類を行うことができる手法を提案する。
論文 参考訳（メタデータ） (2021-10-18T19:42:21Z) - A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。
我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。
実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
論文 参考訳（メタデータ） (2021-08-05T15:58:25Z) - Learning the Truth From Only One Side of the Story [58.65439277460011]
一般化線形モデルに焦点をあて、このサンプリングバイアスを調整しなければ、モデルは準最適に収束するか、あるいは最適解に収束しないかもしれないことを示す。
理論的保証を伴って適応的なアプローチを提案し、いくつかの既存手法を実証的に上回っていることを示す。
論文 参考訳（メタデータ） (2020-06-08T18:20:28Z) - Sparse Methods for Automatic Relevance Determination [0.0]
まず、自動妥当性決定(ARD)について検討し、スパースモデルを実現するために、追加の正規化やしきい値設定の必要性を解析的に実証する。
次に、正規化ベースとしきい値ベースという2つの手法のクラスについて論じる。
論文 参考訳（メタデータ） (2020-05-18T14:08:49Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。