論文の概要: Dataset Difficulty and the Role of Inductive Bias

• arxiv url: http://arxiv.org/abs/2401.01867v1
• Date: Wed, 3 Jan 2024 18:19:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 13:22:57.975176
• Title: Dataset Difficulty and the Role of Inductive Bias
• Title（参考訳）: データセットの難易度と誘導バイアスの役割
• Authors: Devin Kwok, Nikhil Anand, Jonathan Frankle, Gintare Karolina Dziugaite, David Rolnick
• Abstract要約: 「サンプル難易度スコア」はデータセットの例のランク付けや分類に使用される。 さまざまなランニングとモデルアーキテクチャで異なるスコアの定式化を比較する。 スコアは、モデルの個々の実行よりもうるさく、単一概念の難易度に強く相関し、高感度から非感度、特定のモデルアーキテクチャの帰納バイアスまで幅広い例を明らかにします。
• 参考スコア（独自算出の注目度）: 37.69321053726941
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motivated by the goals of dataset pruning and defect identification, a growing body of methods have been developed to score individual examples within a dataset. These methods, which we call "example difficulty scores", are typically used to rank or categorize examples, but the consistency of rankings between different training runs, scoring methods, and model architectures is generally unknown. To determine how example rankings vary due to these random and controlled effects, we systematically compare different formulations of scores over a range of runs and model architectures. We find that scores largely share the following traits: they are noisy over individual runs of a model, strongly correlated with a single notion of difficulty, and reveal examples that range from being highly sensitive to insensitive to the inductive biases of certain model architectures. Drawing from statistical genetics, we develop a simple method for fingerprinting model architectures using a few sensitive examples. These findings guide practitioners in maximizing the consistency of their scores (e.g. by choosing appropriate scoring methods, number of runs, and subsets of examples), and establishes comprehensive baselines for evaluating scores in the future.
• Abstract（参考訳）: データセットのプルーニングと欠陥識別の目標によって、データセット内の個々のサンプルを評価するための、成長するメソッドのボディが開発されている。 これらの手法は「例難易度スコア」と呼ばれ、例のランク付けや分類に一般的に用いられるが、異なるトレーニング実行、スコア付け方法、モデルアーキテクチャ間のランキングの一貫性は一般に不明である。 これらのランダムな効果と制御された効果により、どのようにランキングが変化するかを決定するために、様々なランとモデルアーキテクチャの異なるスコアの定式化を体系的に比較する。 スコアは、モデルの個々の実行時よりもノイズが多く、難易度という単一の概念と強く関連しており、特定のモデルアーキテクチャの帰納的バイアスに対して高い感度から非感受性まで、幅広い例が示されています。 統計遺伝学を参考に,いくつかの敏感な例を用いたフィンガープリントモデル構築法を開発した。 これらの知見は, スコアの一貫性の最大化(例えば, 適切なスコアリング方法, ラン数, サンプルのサブセットの選択など)を指導し, 将来的なスコア評価の総合的ベースラインを確立する。

関連論文リスト

• Analyzing Generative Models by Manifold Entropic Metrics [8.477943884416023]
  抽出可能な情報理論評価指標を新たに導入する。 EMNISTデータセット上の各種正規化フローアーキテクチャと$beta$-VAEを比較した。 私たちの実験で最も興味深い発見は、トレーニング中に整列および非整合表現に収束する誘導バイアスの観点から、モデルアーキテクチャとトレーニング手順のランク付けです。
  論文  参考訳（メタデータ） (2024-10-25T09:35:00Z)
• Anchor Points: Benchmarking Models with Much Fewer Examples [88.02417913161356]
  6つの人気のある言語分類ベンチマークでは、多数の点の正しいクラスに対するモデル信頼度はモデル間で強く相関している。 Anchor Point Selectionは,データセット全体にわたるモデル動作をキャプチャする,データセットの小さなサブセットを選択する手法である。 平均絶対誤差が低いデータセットの他のすべての点について、クラスごとの予測モデルを推定するために、いくつかのアンカーポイントを使用することができる。
  論文  参考訳（メタデータ） (2023-09-14T17:45:51Z)
• Comparing Foundation Models using Data Kernels [13.099029073152257]
  基礎モデルの埋め込み空間幾何学を直接比較するための方法論を提案する。 提案手法はランダムグラフ理論に基づいており, 埋め込み類似性の有効な仮説検証を可能にする。 本稿では, 距離関数を付加したモデルの多様体が, 下流の指標と強く相関することを示す。
  論文  参考訳（メタデータ） (2023-05-09T02:01:07Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Selecting the suitable resampling strategy for imbalanced data classification regarding dataset properties [62.997667081978825]
  医学、情報検索、サイバーセキュリティ、ソーシャルメディアなどの多くのアプリケーションドメインでは、分類モデルの導入に使用されるデータセットは、各クラスのインスタンスの不平等な分布を持つことが多い。 この状況は不均衡データ分類と呼ばれ、少数民族の例では予測性能が低い。 オーバーサンプリングとアンダーサンプリングの技術は、各クラスの例の数とバランスをとることでこの問題に対処する、よく知られた戦略である。
  論文  参考訳（メタデータ） (2021-12-15T18:56:39Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。