論文の概要: On the Joint Interaction of Models, Data, and Features

• arxiv url: http://arxiv.org/abs/2306.04793v1
• Date: Wed, 7 Jun 2023 21:35:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 17:21:47.250856
• Title: On the Joint Interaction of Models, Data, and Features
• Title（参考訳）: モデル, データ, 特徴の相互作用について
• Authors: Yiding Jiang, Christina Baek, J. Zico Kolter
• Abstract要約: 本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
• 参考スコア（独自算出の注目度）: 82.60073661644435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning features from data is one of the defining characteristics of deep learning, but our theoretical understanding of the role features play in deep learning is still rudimentary. To address this gap, we introduce a new tool, the interaction tensor, for empirically analyzing the interaction between data and model through features. With the interaction tensor, we make several key observations about how features are distributed in data and how models with different random seeds learn different features. Based on these observations, we propose a conceptual framework for feature learning. Under this framework, the expected accuracy for a single hypothesis and agreement for a pair of hypotheses can both be derived in closed-form. We demonstrate that the proposed framework can explain empirically observed phenomena, including the recently discovered Generalization Disagreement Equality (GDE) that allows for estimating the generalization error with only unlabeled data. Further, our theory also provides explicit construction of natural data distributions that break the GDE. Thus, we believe this work provides valuable new insight into our understanding of feature learning.
• Abstract（参考訳）: データから特徴を学習することは深層学習の特徴の1つであるが、深層学習における特徴が果たす役割に関する理論的理解はまだ初歩的である。 このギャップに対処するために、機能を通してデータとモデル間の相互作用を経験的に分析する新しいツール、インタラクションテンソルを導入する。 インタラクションテンソルでは、機能がどのようにデータに分散され、異なるランダムな種を持つモデルが異なる特徴をどのように学習するかについて、いくつかの重要な観察を行います。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、単一の仮説の期待精度とペア仮説の一致はどちらも閉じた形で導出することができる。 提案手法は,未ラベルデータのみを用いて一般化誤差を推定できるGDE(Generalization Disagreement Equality)など,経験的に観察された現象を説明できることを示す。 さらに,本理論は,gdeを破る自然データ分布の明示的な構成も提供する。 このようにして、この研究は、機能学習に対する理解に価値ある新たな洞察をもたらすと信じています。

関連論文リスト

• Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
  自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。 我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。 我々は、理論的な主張を合成データ実験で裏付ける。
  論文  参考訳（メタデータ） (2024-06-01T18:01:03Z)
• Class-wise Activation Unravelling the Engima of Deep Double Descent [0.0]
  二重降下は、機械学習領域内の反直観的な側面を示す。 本研究では,二重降下現象を再考し,その発生状況について考察した。
  論文  参考訳（メタデータ） (2024-05-13T12:07:48Z)
• Harmonizing Feature Attributions Across Deep Learning Architectures: Enhancing Interpretability and Consistency [2.2237337682863125]
  本研究では,様々なディープラーニングアーキテクチャにおける特徴属性の一般化について検討する。 私たちは、より一貫性があり楽観的な特徴属性の理解を深めることを目指しています。 本研究は,解釈可能性の向上と機械学習アプリケーションの信頼性向上を目的とした,調和した特徴帰属手法の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-07-05T09:46:41Z)
• How Spurious Features Are Memorized: Precise Analysis for Random and NTK Features [19.261178173399784]
  学習課題とは無関係な突発的な特徴について考察する。 それらがどのように2つの異なる用語で記憶されるのかを正確に評価する。 一般化能力の増大に伴い,突発的特徴の記憶が弱まることを示す。
  論文  参考訳（メタデータ） (2023-05-20T05:27:41Z)
• Exploring the cloud of feature interaction scores in a Rashomon set [17.775145325515993]
  本稿では,Rashomon セットのコンテキストにおける特徴相互作用スコア (FIS) について述べる。 我々は、合成データを用いてFISの特性を実証し、他の統計分野との接続を図示する。 この結果から,提案したFISは,機械学習モデルにおける特徴相互作用の性質に関する貴重な洞察を得られることが示唆された。
  論文  参考訳（メタデータ） (2023-05-17T13:05:26Z)
• Towards a mathematical understanding of learning from few examples with nonlinear feature maps [68.8204255655161]
  トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。 我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
  論文  参考訳（メタデータ） (2022-11-07T14:52:58Z)
• Inherent Inconsistencies of Feature Importance [6.02357145653815]
  特徴重要度は、予測結果に対する個々の特徴の寄与にスコアを割り当てる手法である。 本稿では,特徴重要度スコアの異なる文脈間のコヒーレントな関係を確立するために設計された公理的枠組みを提案する。
  論文  参考訳（メタデータ） (2022-06-16T14:21:51Z)
• Learning from few examples with nonlinear feature maps [68.8204255655161]
  我々はこの現象を探求し、AIモデルの特徴空間の次元性、データ分散の非退化、モデルの一般化能力の間の重要な関係を明らかにする。 本分析の主な推力は、元のデータを高次元および無限次元空間にマッピングする非線形特徴変換が結果のモデル一般化能力に与える影響である。
  論文  参考訳（メタデータ） (2022-03-31T10:36:50Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• OR-Net: Pointwise Relational Inference for Data Completion under Partial Observation [51.083573770706636]
  この作業はリレーショナル推論を使って不完全なデータを埋めます。 本稿では,2つの点での相対性理論をモデル化するために,全関係ネットワーク (or-net) を提案する。
  論文  参考訳（メタデータ） (2021-05-02T06:05:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。