論文の概要: Instilling Inductive Biases with Subnetworks
- arxiv url: http://arxiv.org/abs/2310.10899v2
- Date: Thu, 1 Feb 2024 00:05:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 19:01:29.931000
- Title: Instilling Inductive Biases with Subnetworks
- Title(参考訳): サブネットによるインダクティブビアーゼの注入
- Authors: Enyan Zhang, Michael A. Lepori, Ellie Pavlick
- Abstract要約: サブタスク誘導は、サブタスクを利用したソリューションに対する誘導バイアスを注入する。
本稿では,Subtaskインダクションが,特定の一般化可能なソリューションを採用するために必要なトレーニングデータの量を大幅に削減することを示す。
- 参考スコア(独自算出の注目度): 19.444844580405594
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Despite the recent success of artificial neural networks on a variety of
tasks, we have little knowledge or control over the exact solutions these
models implement. Instilling inductive biases -- preferences for some solutions
over others -- into these models is one promising path toward understanding and
controlling their behavior. Much work has been done to study the inherent
inductive biases of models and instill different inductive biases through
hand-designed architectures or carefully curated training regimens. In this
work, we explore a more mechanistic approach: Subtask Induction. Our method
discovers a functional subnetwork that implements a particular subtask within a
trained model and uses it to instill inductive biases towards solutions
utilizing that subtask. Subtask Induction is flexible and efficient, and we
demonstrate its effectiveness with two experiments. First, we show that Subtask
Induction significantly reduces the amount of training data required for a
model to adopt a specific, generalizable solution to a modular arithmetic task.
Second, we demonstrate that Subtask Induction successfully induces a human-like
shape bias while increasing data efficiency for convolutional and
transformer-based image classification models.
- Abstract(参考訳): 最近はさまざまなタスクでニューラルネットワークが成功していますが、モデルが実装する正確なソリューションに関する知識やコントロールはほとんどありません。
インダクティブバイアス -- 他のソリューションよりもいくつかのソリューションを好む -- をこれらのモデルに注入することは、彼らの行動を理解し、制御するための有望な道の1つだ。
モデル固有の帰納バイアスを研究し、手作業で設計したアーキテクチャや慎重にキュレートされたトレーニングレギュラーを通じて異なる帰納バイアスを注入するために多くの研究がなされている。
本研究では,より機械的なアプローチであるサブタスク誘導について検討する。
本手法は、訓練モデル内で特定のサブタスクを実装する機能サブネットワークを発見し、そのサブタスクを利用したソリューションに対する帰納的バイアスを注入する。
サブタスク誘導は柔軟かつ効率的であり、2つの実験でその効果を示す。
まず,Subtaskインダクションは,モジュール型算術課題に対して,特定の一般化可能な解を採用するために必要なトレーニングデータの量を大幅に削減することを示す。
次に,畳み込み型およびトランスフォーマー型画像分類モデルのデータ効率を高めつつ,サブタスク誘導が人間の形状バイアスをうまく誘導することを示す。
関連論文リスト
- Distilling Symbolic Priors for Concept Learning into Neural Networks [9.915299875869046]
メタラーニングにより,シンボルベイズモデルから事前分布を蒸留することにより,インダクティブバイアスを人工知能ニューラルネットワークでインスタンス化できることを示す。
このアプローチを用いて、短い論理式として表現された概念に対する帰納的バイアスを持つニューラルネットワークを作成する。
論文 参考訳(メタデータ) (2024-02-10T20:06:26Z) - Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。
ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。
これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
論文 参考訳(メタデータ) (2023-11-28T16:46:14Z) - AdaMerging: Adaptive Model Merging for Multi-Task Learning [72.2068175246167]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳(メタデータ) (2023-10-04T04:26:33Z) - DriveAdapter: Breaking the Coupling Barrier of Perception and Planning
in End-to-End Autonomous Driving [64.57963116462757]
最先端の手法は通常、教師-学生のパラダイムに従う。
学生モデルは、生のセンサーデータのみにアクセスし、教師モデルによって収集されたデータに基づいて行動クローニングを行う。
本稿では,学生(知覚)と教師(計画)モジュール間の機能アライメント目的関数を持つアダプタを用いたDriveAdapterを提案する。
論文 参考訳(メタデータ) (2023-08-01T09:21:53Z) - Voting from Nearest Tasks: Meta-Vote Pruning of Pre-trained Models for
Downstream Tasks [55.431048995662714]
我々は、類似タスクの刈り取られたモデルから、新しいタスクのための小さなモデルを作成する。
このモデルに関するいくつかの微調整ステップは、新しいタスクに対して有望なプルーンドモデルを生成するのに十分であることを示す。
我々は, 単純だが効果的な'Meta-Vote Pruning (MVP)' 手法を開発した。
論文 参考訳(メタデータ) (2023-01-27T06:49:47Z) - UU-Tax at SemEval-2022 Task 3: Improving the generalizability of
language models for taxonomy classification through data augmentation [0.0]
本稿では,SemEval-2022 Task 3 PreTENS: Presuposed Taxonomies Evaluation Neural Network Semanticsについて述べる。
タスクの目標は、文に含まれる名詞対の間の分類学的関係によって、ある文が受け入れられているか否かを識別することである。
より優れた分類のための言語モデルの堅牢性と一般化性を高める効果的な方法を提案する。
論文 参考訳(メタデータ) (2022-10-07T07:41:28Z) - Combining Modular Skills in Multitask Learning [149.8001096811708]
モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。
この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。
ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
論文 参考訳(メタデータ) (2022-02-28T16:07:19Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳(メタデータ) (2022-02-25T13:47:09Z) - LIME: Learning Inductive Bias for Primitives of Mathematical Reasoning [30.610670366488943]
データセットに誘導バイアスを符号化することでアーキテクチャ工学を置き換える。
推論、帰納、帰納は推論プリミティブの既約集合を形成するというパースの見解に触発され、これらの3つの能力を持つためにモデルを必要とする3つの合成タスクを設計する。
LIMEで訓練されたモデルは、3つの非常に異なる大きな数学的推論ベンチマークでバニラトランスを大幅に上回る。
論文 参考訳(メタデータ) (2021-01-15T17:15:24Z) - Transferring Inductive Biases through Knowledge Distillation [21.219305008067735]
本研究では, あるモデルから別のモデルへの帰納バイアスの効果を伝達する知識蒸留の力について検討する。
モデルが収束する解に対する帰納バイアスの効果について検討し、帰納バイアスの効果が知識蒸留によってどの程度、どの程度の程度に伝達されるかを検討する。
論文 参考訳(メタデータ) (2020-05-31T16:34:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。