論文の概要: What shapes feature representations? Exploring datasets, architectures, and training

• arxiv url: http://arxiv.org/abs/2006.12433v2
• Date: Thu, 22 Oct 2020 20:09:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 05:13:16.208277
• Title: What shapes feature representations? Exploring datasets, architectures, and training
• Title（参考訳）: 特徴表現の形状は? データセット、アーキテクチャ、トレーニングの探索
• Authors: Katherine L. Hermann and Andrew K. Lampinen
• Abstract要約: 自然主義的な学習問題では、モデルの入力には幅広い特徴が含まれており、いくつかは手元にあるタスクに有用である。 これらの疑問はモデル決定の基盤を理解する上で重要である。 入力特徴のタスク関連性を直接制御できる合成データセットを用いて,これらの質問について検討する。
• 参考スコア（独自算出の注目度）: 14.794135558227682
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In naturalistic learning problems, a model's input contains a wide range of features, some useful for the task at hand, and others not. Of the useful features, which ones does the model use? Of the task-irrelevant features, which ones does the model represent? Answers to these questions are important for understanding the basis of models' decisions, as well as for building models that learn versatile, adaptable representations useful beyond the original training task. We study these questions using synthetic datasets in which the task-relevance of input features can be controlled directly. We find that when two features redundantly predict the labels, the model preferentially represents one, and its preference reflects what was most linearly decodable from the untrained model. Over training, task-relevant features are enhanced, and task-irrelevant features are partially suppressed. Interestingly, in some cases, an easier, weakly predictive feature can suppress a more strongly predictive, but more difficult one. Additionally, models trained to recognize both easy and hard features learn representations most similar to models that use only the easy feature. Further, easy features lead to more consistent representations across model runs than do hard features. Finally, models have greater representational similarity to an untrained model than to models trained on a different task. Our results highlight the complex processes that determine which features a model represents.
• Abstract（参考訳）: 自然主義的な学習問題では、モデルの入力には幅広い特徴が含まれており、いくつかは手元にあるタスクに有用である。 有用な機能のうち、どのモデルが使われているのか? タスクに依存しない機能のうち、モデルが何を表すのか? これらの質問に対する答えは、モデルの意思決定の基礎を理解するのに重要であり、また、元のトレーニングタスクを超えて、汎用的で適応可能な表現を学ぶモデルを構築するのにも重要である。 入力特徴のタスク関連性を直接制御できる合成データセットを用いて,これらの質問について検討する。 2つの特徴が冗長にラベルを予測した場合、そのモデルは1を優先的に表現し、その嗜好は訓練されていないモデルから最も線形にデオード可能なものを反映する。 トレーニング中、タスク関連機能が強化され、タスク関連機能が部分的に抑制される。 興味深いことに、より簡単で弱い予測機能は、より強い予測を抑圧するが、より難しいものである。 さらに、簡単な機能と難しい機能の両方を認識するために訓練されたモデルは、簡単な機能のみを使用するモデルと最もよく似た表現を学ぶ。 さらに、簡単な機能はハードな機能よりも、モデル全体の一貫性のある表現につながります。 最後に、モデルは異なるタスクで訓練されたモデルよりも、訓練されていないモデルと表現上の類似性が大きい。 結果は、モデルがどの特徴を表すかを決定する複雑なプロセスに注目します。

関連論文リスト

• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• On the Foundations of Shortcut Learning [20.53986437152018]
  予測と可用性が形状モデルの特徴的利用とどのように相互作用するかを考察する。 線形モデルは比較的偏りがないが、ReLUやTanhの単位を持つ単一の隠蔽層を導入するとバイアスが生じる。
  論文  参考訳（メタデータ） (2023-10-24T22:54:05Z)
• Small Language Models for Tabular Data [0.0]
  分類と回帰の問題に対処する深層表現学習の能力を示す。 小型モデルは様々な関数の近似に十分なキャパシティを持ち、記録分類ベンチマークの精度を実現する。
  論文  参考訳（メタデータ） (2022-11-05T16:57:55Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Model-agnostic multi-objective approach for the evolutionary discovery of mathematical models [55.41644538483948]
  現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。 合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
  論文  参考訳（メタデータ） (2021-07-07T11:17:09Z)
• Sufficiently Accurate Model Learning for Planning [119.80502738709937]
  本稿では,制約付きSufficiently Accurateモデル学習手法を提案する。 これはそのような問題の例を示し、いくつかの近似解がいかに近いかという定理を提示する。 近似解の質は、関数のパラメータ化、損失と制約関数の滑らかさ、モデル学習におけるサンプルの数に依存する。
  論文  参考訳（メタデータ） (2021-02-11T16:27:31Z)
• What do we expect from Multiple-choice QA Systems? [70.86513724662302]
  複数のMultiple Choice Question Answering(MCQA)データセット上で,トップパフォーマンスモデルを検討する。 このようなモデルから得られる可能性のある一連の期待値に対して、モデル入力のゼロ情報摂動を用いて評価する。
  論文  参考訳（メタデータ） (2020-11-20T21:27:10Z)
• Lifting Interpretability-Performance Trade-off via Automated Feature Engineering [5.802346990263708]
  複雑なブラックボックス予測モデルは高い性能を持つが、解釈可能性の欠如は問題を引き起こす。 本稿では, 弾性ブラックボックスを代理モデルとして用いて, よりシンプルで不透明で, 正確かつ解釈可能なガラスボックスモデルを作成する方法を提案する。
  論文  参考訳（メタデータ） (2020-02-11T09:16:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。