論文の概要: Mechanistic Mode Connectivity

• arxiv url: http://arxiv.org/abs/2211.08422v1
• Date: Tue, 15 Nov 2022 18:58:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 13:50:15.372777
• Title: Mechanistic Mode Connectivity
• Title（参考訳）: メカニスティックモード接続性
• Authors: Ekdeep Singh Lubana, Eric J. Bigelow, Robert P. Dick, David Krueger, Hidenori Tanaka
• Abstract要約: ニューラルネットワークロスランドスケープの幾何学を、$mode, connection$のレンズを通して研究する。 i) 相似メカニズムを符号化する最小化器は、低損失の単純な経路を介して接続されるか? (ii) 事前訓練されたモデルの微調整は、そのような最小化器を切り替えるのに役立つか?
• 参考スコア（独自算出の注目度）: 11.772935238948662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are known to be biased towards learning mechanisms that help identify $spurious\, attributes$, yielding features that do not generalize well under distribution shifts. To understand and address this limitation, we study the geometry of neural network loss landscapes through the lens of $mode\, connectivity$, the observation that minimizers of neural networks are connected via simple paths of low loss. Our work addresses two questions: (i) do minimizers that encode dissimilar mechanisms connect via simple paths of low loss? (ii) can fine-tuning a pretrained model help switch between such minimizers? We define a notion of $\textit{mechanistic similarity}$ and demonstrate that lack of linear connectivity between two minimizers implies the corresponding models use dissimilar mechanisms for making their predictions. This property helps us demonstrate that na$\"{i}$ve fine-tuning can fail to eliminate a model's reliance on spurious attributes. We thus propose a method for altering a model's mechanisms, named $connectivity$-$based$ $fine$-$tuning$, and validate its usefulness by inducing models invariant to spurious attributes.
• Abstract（参考訳）: ニューラルネットワークは、$spurious\, attribute$を識別する学習メカニズムに偏っていることが知られており、分散シフト下ではうまく一般化しない機能が得られる。 この制限を理解し、対処するために、$mode\, connection$のレンズを通して、ニューラルネットワークの最小化が損失の少ない単純な経路を介して接続されているという観察を通して、ニューラルネットワークの損失ランドスケープの幾何学について研究する。 私たちの仕事は2つの疑問に答えます i) 相似機構を符号化する最小化器は、損失の少ない単純な経路を介して接続されるか? (ii)事前学習モデルの微調整は、そのような最小化間の切り替えに役立つか? 我々は、$\textit{mechanistic similarity}$の概念を定義し、2つの最小値間の線形接続の欠如は、対応するモデルが予測を行うために異なるメカニズムを使用することを意味する。 この性質は、na$\ "{i}$ve fine-tuning がモデルがスプリアス属性に依存することを排除できないことを示すのに役立つ。 そこで本研究では,モデルのメカニズムを変化させる手法である$connectivity$-$based$$fine$-$tuning$を提案する。

関連論文リスト

• Mapping back and forth between model predictive control and neural networks [0.0]
  2次コストと線形制約を持つ線形系に対するモデル予測制御(MPC)は、暗黙のニューラルネットワークとして正確に表現されていることを示す。 また、MPCの暗黙のニューラルネットワークを明示的なニューラルネットワークに"解き放つ"方法も導入されている。
  論文  参考訳（メタデータ） (2024-04-18T09:29:08Z)
• Improving Adversarial Transferability via Model Alignment [25.43899674478279]
  本稿では,トランスファー可能な逆方向摂動を生成するためのモデルアライメント手法を提案する。 さまざまなモデルアーキテクチャを用いたImageNetデータセットの実験では、アライメントされたソースモデルから発生する摂動が、転送可能性を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2023-11-30T12:15:49Z)
• Causal Analysis for Robust Interpretability of Neural Networks [0.2519906683279152]
  我々は、事前学習されたニューラルネットワークの因果効果を捉えるための頑健な介入に基づく手法を開発した。 分類タスクで訓練された視覚モデルに本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-15T18:37:24Z)
• Modeling Implicit Bias with Fuzzy Cognitive Maps [0.0]
  本稿では、構造化データセットにおける暗黙バイアスを定量化するファジィ認知マップモデルを提案する。 本稿では,ニューロンの飽和を防止する正規化様伝達関数を備えた新しい推論機構を提案する。
  論文  参考訳（メタデータ） (2021-12-23T17:04:12Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• On the Transferability of Adversarial Attacksagainst Neural Text Classifier [121.6758865857686]
  テキスト分類モデルの逆例の転送可能性について検討する。 本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。 これらの逆例からモデル診断に使用できる単語置換規則を導出する。
  論文  参考訳（メタデータ） (2020-11-17T10:45:05Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)
• Exploiting Non-Linear Redundancy for Neural Model Compression [26.211513643079993]
  本稿では,線形依存の活用に基づく新しいモデル圧縮手法を提案する。 その結果,ネットワークサイズが最大99%減少し,性能が低下することがわかった。
  論文  参考訳（メタデータ） (2020-05-28T15:13:21Z)
• Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
  我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。 実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。 以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
  論文  参考訳（メタデータ） (2020-04-30T19:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。