論文の概要: Towards Exact Computation of Inductive Bias

• arxiv url: http://arxiv.org/abs/2406.15941v1
• Date: Sat, 22 Jun 2024 21:14:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 19:53:14.094510
• Title: Towards Exact Computation of Inductive Bias
• Title（参考訳）: 誘導バイアスの厳密な計算に向けて
• Authors: Akhilan Boopathy, William Yue, Jaedong Hwang, Abhiram Iyer, Ila Fiete,
• Abstract要約: 本稿では,タスクの一般化に必要な帰納バイアスを効率的に計算する手法を提案する。 より高次元的なタスクはより帰納的バイアスを必要とすることを示す。 提案した帰納バイアス指標は,特定のモデルアーキテクチャの利点を情報理論で解釈する。
• 参考スコア（独自算出の注目度）: 8.988109761916379
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Much research in machine learning involves finding appropriate inductive biases (e.g. convolutional neural networks, momentum-based optimizers, transformers) to promote generalization on tasks. However, quantification of the amount of inductive bias associated with these architectures and hyperparameters has been limited. We propose a novel method for efficiently computing the inductive bias required for generalization on a task with a fixed training data budget; formally, this corresponds to the amount of information required to specify well-generalizing models within a specific hypothesis space of models. Our approach involves modeling the loss distribution of random hypotheses drawn from a hypothesis space to estimate the required inductive bias for a task relative to these hypotheses. Unlike prior work, our method provides a direct estimate of inductive bias without using bounds and is applicable to diverse hypothesis spaces. Moreover, we derive approximation error bounds for our estimation approach in terms of the number of sampled hypotheses. Consistent with prior results, our empirical results demonstrate that higher dimensional tasks require greater inductive bias. We show that relative to other expressive model classes, neural networks as a model class encode large amounts of inductive bias. Furthermore, our measure quantifies the relative difference in inductive bias between different neural network architectures. Our proposed inductive bias metric provides an information-theoretic interpretation of the benefits of specific model architectures for certain tasks and provides a quantitative guide to developing tasks requiring greater inductive bias, thereby encouraging the development of more powerful inductive biases.
• Abstract（参考訳）: 機械学習における多くの研究は、タスクの一般化を促進するために適切な帰納バイアス(例えば畳み込みニューラルネットワーク、モーメントベースのオプティマイザ、トランスフォーマー)を見つけることである。 しかしながら、これらのアーキテクチャやハイパーパラメータに関連する帰納バイアスの量の定量化は限られている。 本稿では,与えられたトレーニングデータ予算を用いてタスクの一般化に必要な帰納バイアスを効率的に計算する手法を提案する。 提案手法では、仮説空間から引き出されたランダム仮説の損失分布をモデル化し、これらの仮説に対するタスクに必要な帰納バイアスを推定する。 従来の研究とは異なり、本手法は有界性を用いることなく帰納的バイアスを直接推定し、多様な仮説空間に適用できる。 さらに, サンプル仮説の数から近似誤差境界を導出する。 先行結果と一致して、我々の経験的結果は、高次元のタスクはより帰納的バイアスを必要とすることを示した。 本稿では,他の表現型モデルクラスと比較して,モデルクラスとしてのニューラルネットワークが大量の帰納バイアスを符号化していることを示す。 さらに,ニューラルネットワークアーキテクチャ間の帰納バイアスの相対的差を定量化する。 提案した帰納的バイアス尺度は,特定のタスクに対する特定のモデルアーキテクチャの利点を情報理論で解釈し,より強力な帰納的バイアスを必要とするタスクを開発するための定量的ガイドを提供する。

関連論文リスト

• An Effective Theory of Bias Amplification [18.648588509429167]
  機械学習モデルは、データに存在するバイアスをキャプチャして増幅し、社会的グループ間で異なるテストパフォーマンスをもたらす。 本稿では、従来のニューラルネットワークを単純化した状態下でモデル化するリッジ回帰の文脈において、正確な解析理論を提案する。 我々の理論は、機械学習バイアスの統一的で厳密な説明を提供し、バイアス増幅やマイノリティグループバイアスのような現象に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-07T08:43:22Z)
• On the Inductive Bias of Stacking Towards Improving Reasoning [50.225873619537765]
  言語モデルのトレーニングを最大40%高速化できるMIDASと呼ばれる段階的スタック方式を提案する。 MIDASはトレーニング効率だけでなく、ダウンストリームタスクを改善するための誘導バイアスも備えている。 我々は、この帰納バイアスの根底にある理由を、ループモデルへの積み重ねの接続を探索することによって推測する。
  論文  参考訳（メタデータ） (2024-09-27T17:58:21Z)
• Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
  グラフニューラルネットワーク(GNN)は、モデル精度を高めるために帰納バイアスとしてリレーショナル情報を使用する。 課題関連関係が不明なため,下流予測タスクを解きながら学習するためのグラフ構造学習手法が提案されている。
  論文  参考訳（メタデータ） (2024-05-30T10:49:22Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Instilling Inductive Biases with Subnetworks [19.444844580405594]
  サブタスク誘導は、サブタスクを利用したソリューションに対する誘導バイアスを注入する。 本稿では,Subtaskインダクションが,特定の一般化可能なソリューションを採用するために必要なトレーニングデータの量を大幅に削減することを示す。
  論文  参考訳（メタデータ） (2023-10-17T00:12:19Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)
• LIME: Learning Inductive Bias for Primitives of Mathematical Reasoning [30.610670366488943]
  データセットに誘導バイアスを符号化することでアーキテクチャ工学を置き換える。 推論、帰納、帰納は推論プリミティブの既約集合を形成するというパースの見解に触発され、これらの3つの能力を持つためにモデルを必要とする3つの合成タスクを設計する。 LIMEで訓練されたモデルは、3つの非常に異なる大きな数学的推論ベンチマークでバニラトランスを大幅に上回る。
  論文  参考訳（メタデータ） (2021-01-15T17:15:24Z)
• Extrapolatable Relational Reasoning With Comparators in Low-Dimensional Manifolds [7.769102711230249]
  本稿では,現在のニューラルネットワークアーキテクチャと容易に融合可能な,神経科学にインスパイアされた誘導バイアスモジュールを提案する。 この誘導バイアスを持つニューラルネットは、様々な関係推論タスクにおいて、O.o.d一般化性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2020-06-15T19:09:13Z)
• Transferring Inductive Biases through Knowledge Distillation [21.219305008067735]
  本研究では, あるモデルから別のモデルへの帰納バイアスの効果を伝達する知識蒸留の力について検討する。 モデルが収束する解に対する帰納バイアスの効果について検討し、帰納バイアスの効果が知識蒸留によってどの程度、どの程度の程度に伝達されるかを検討する。
  論文  参考訳（メタデータ） (2020-05-31T16:34:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。