論文の概要: Distinguishing rule- and exemplar-based generalization in learning systems

• arxiv url: http://arxiv.org/abs/2110.04328v1
• Date: Fri, 8 Oct 2021 18:37:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 18:28:02.910199
• Title: Distinguishing rule- and exemplar-based generalization in learning systems
• Title（参考訳）: 学習システムにおける識別規則と模範に基づく一般化
• Authors: Ishita Dasgupta, Erin Grant, Thomas L. Griffiths
• Abstract要約: 特徴レベルバイアスと例え-vs-ルールバイアスの2つの異なる帰納バイアスについて検討した。 ほとんどの標準ニューラルネットワークモデルは、模範に基づく外挿に対する正当性を持っている。 データ拡張、公平性、体系的一般化に関する研究において、これらの発見がもたらす意味について論じる。
• 参考スコア（独自算出の注目度）: 10.396761067379195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the increasing scale of datasets in machine learning, generalization to unseen regions of the data distribution remains crucial. Such extrapolation is by definition underdetermined and is dictated by a learner's inductive biases. Machine learning systems often do not share the same inductive biases as humans and, as a result, extrapolate in ways that are inconsistent with our expectations. We investigate two distinct such inductive biases: feature-level bias (differences in which features are more readily learned) and exemplar-vs-rule bias (differences in how these learned features are used for generalization). Exemplar- vs. rule-based generalization has been studied extensively in cognitive psychology, and, in this work, we present a protocol inspired by these experimental approaches for directly probing this trade-off in learning systems. The measures we propose characterize changes in extrapolation behavior when feature coverage is manipulated in a combinatorial setting. We present empirical results across a range of models and across both expository and real-world image and language domains. We demonstrate that measuring the exemplar-rule trade-off while controlling for feature-level bias provides a more complete picture of extrapolation behavior than existing formalisms. We find that most standard neural network models have a propensity towards exemplar-based extrapolation and discuss the implications of these findings for research on data augmentation, fairness, and systematic generalization.
• Abstract（参考訳）: 機械学習におけるデータセットの大規模化にもかかわらず、データ分布の見えない領域への一般化は依然として重要である。 このような外挿は定義によって決定され、学習者の帰納バイアスによって決定される。 機械学習システムは、人間と同じ誘導バイアスを共有せず、その結果、私たちの期待と矛盾する方法で外挿することが多い。 特徴レベルのバイアス(特徴がより容易に学習できる差分)とexemplar-vs-ruleバイアス(これらの学習された特徴が一般化にどのように使われるかの違い)の2つの異なる帰納的バイアスを調査した。 exemplar- vs. rule-based generalizationは認知心理学において広く研究されており、本研究では、学習システムにおけるこのトレードオフを直接発見するためのこれらの実験的アプローチに触発されたプロトコルを提案する。 機能カバレッジを組合せ設定で操作した場合の外挿行動の変化を特徴付ける尺度を提案する。 我々は,様々なモデルと実世界のイメージと言語ドメインの両方について経験的な結果を示す。 特徴レベルの偏見を制御しながら、前例のトレードオフを測定することは、既存の形式主義よりも外挿行動の完全な図式を提供することを示す。 その結果,ほとんどの標準ニューラルネットワークモデルは,データ拡張,公正性,体系的一般化に関する研究において,模範的外挿に対する正当性を持つことがわかった。

関連論文リスト

• Bias in Motion: Theoretical Insights into the Dynamics of Bias in SGD Training [7.5041863920639456]
  機械学習システムは、データの望ましくない特徴を活用してバイアスを取得し、異なるサブポピュレーションの精度に影響を与えることが多い。 本稿では, ガウス混合モデルを用いて, 教師学生によるデータサブポピュレーションのモデル化におけるバイアスの進化について検討する。 この発見を公平性と堅牢性に適用することで、不均一なデータと突発的な特徴がバイアスを発生し増幅する方法について、いつ、どのように、どのように、どのようにして、そして、どのようにして、そのバイアスを増大させるかを説明します。
  論文  参考訳（メタデータ） (2024-05-28T15:50:10Z)
• Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
  各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。 提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。 我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-14T13:56:24Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• Prisoners of Their Own Devices: How Models Induce Data Bias in Performative Prediction [4.874780144224057]
  偏見のあるモデルは、社会の特定のグループに不均等に害を与える決定を下すことができる。 多くの作業は静的ML環境での不公平さを測定することに費やされているが、動的でパフォーマンスのよい予測は行っていない。 本稿では,データのバイアスを特徴付ける分類法を提案する。
  論文  参考訳（メタデータ） (2022-06-27T10:56:04Z)
• Unsupervised Learning of Unbiased Visual Representations [10.871587311621974]
  ディープニューラルネットワークは、データセットにバイアスが存在するときに堅牢な表現を学習できないことで知られている。 我々は3つのステップからなる完全に教師なしの脱バイアスフレームワークを提案する。 我々は、非バイアスモデルを得るために最先端の教師付き脱バイアス技術を採用している。
  論文  参考訳（メタデータ） (2022-04-26T10:51:50Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Learning Debiased Representation via Disentangled Feature Augmentation [19.348340314001756]
  本稿では, 様々なバイアスを伴うサンプルを用いたトレーニングが, 脱バイアスに不可欠であることを示す実験的検討を行った。 本稿では, 多様なバイアス分散サンプルを合成するために, 特徴レベルのデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2021-07-03T08:03:25Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• The Role of Mutual Information in Variational Classifiers [47.10478919049443]
  クロスエントロピー損失を訓練した符号化に依存する分類器の一般化誤差について検討する。 我々は、一般化誤差が相互情報によって境界付けられた状態が存在することを示す一般化誤差に境界を導出する。
  論文  参考訳（メタデータ） (2020-10-22T12:27:57Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。