Fugu-MT 論文翻訳(概要): Deep Model Merging: The Sister of Neural Network Interpretability -- A Survey

論文の概要: Deep Model Merging: The Sister of Neural Network Interpretability -- A Survey

arxiv url: http://arxiv.org/abs/2410.12927v2
Date: Fri, 21 Mar 2025 23:29:56 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-25 14:31:56.850788
Title: Deep Model Merging: The Sister of Neural Network Interpretability -- A Survey
Title（参考訳）: Deep Model Merging: ニューラルネットワークの解釈可能性の姉妹 - 調査
Authors: Arham Khan, Todd Nief, Nathaniel Hudson, Mansi Sakarvadia, Daniel Grzenda, Aswathy Ajith, Jordan Pettyjohn, Kyle Chard, Ian Foster,
Abstract要約: モデルマージと損失ランドスケープ解析の実証研究から,ニューラルネットワークのトレーニングと内部表現の出現を規定する現象までを,損失ランドスケープ幾何学のレンズを通して調査する。本研究では,これらの分野の文献から得られた経験的観察を,モデム凸性,決定性,指向性,接続性の4つの主要な特徴について記述した。
参考スコア（独自算出の注目度）: 4.013324399289249
License:
Abstract: We survey the model merging literature through the lens of loss landscape geometry to connect observations from empirical studies on model merging and loss landscape analysis to phenomena that govern neural network training and the emergence of their inner representations. We distill repeated empirical observations from the literature in these fields into descriptions of four major characteristics of loss landscape geometry: mode convexity, determinism, directedness, and connectivity. We argue that insights into the structure of learned representations from model merging have applications to model interpretability and robustness, subsequently we propose promising new research directions at the intersection of these fields.
Abstract（参考訳）: モデルマージと損失ランドスケープ解析の実証研究から,ニューラルネットワークのトレーニングと内部表現の出現を規定する現象までを,損失ランドスケープ幾何学のレンズを通して調査する。本研究では,これらの分野の文献から得られた経験的観察を,モデム凸性,決定性,指向性,接続性の4つの主要な特徴について記述した。モデルマージから学習した表現の構造に対する洞察は、解釈可能性と堅牢性をモデル化する上で応用できると論じ、その後、これらの分野の交差点における新たな研究方向を提案する。

関連論文リスト

Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文参考訳（メタデータ） (2024-10-31T22:54:34Z)
Dynamics of Meta-learning Representation in the Teacher-student Scenario [8.099691748821114]
教師-学生シナリオにおけるストリーミングタスクを訓練した非線形二層ニューラルネットワークのメタラーニングダイナミクスについて検討する。本稿では,メタトレーニングプロセスのマクロな挙動,共有表現の形成,新しいタスクにおけるモデルの一般化能力を特徴付ける。
論文参考訳（メタデータ） (2024-08-22T16:59:32Z)
Automatic Discovery of Visual Circuits [66.99553804855931]
本稿では,視覚モデルにおける視覚的概念の認識の基盤となる計算グラフのサブグラフを抽出するスケーラブルな手法について検討する。提案手法は, モデル出力に因果的に影響を及ぼす回路を抽出し, これらの回路を編集することで, 敵攻撃から大きな事前学習モデルを守ることができることがわかった。
論文参考訳（メタデータ） (2024-04-22T17:00:57Z)
Demolition and Reinforcement of Memories in Spin-Glass-like Neural Networks [0.0]
この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。 Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
論文参考訳（メタデータ） (2024-03-04T23:12:42Z)
Experimental Observations of the Topology of Convolutional Neural Network Activations [2.4235626091331737]
トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
論文参考訳（メタデータ） (2022-12-01T02:05:44Z)
The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
論文参考訳（メタデータ） (2022-07-21T12:01:03Z)
Temporal Relevance Analysis for Video Action Models [70.39411261685963]
まず,CNNに基づく行動モデルにより捉えたフレーム間の時間的関係を定量化する手法を提案する。次に、時間的モデリングがどのように影響を受けるかをよりよく理解するために、包括的な実験と詳細な分析を行います。
論文参考訳（メタデータ） (2022-04-25T19:06:48Z)
Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文参考訳（メタデータ） (2022-02-01T17:11:13Z)
Fusing the Old with the New: Learning Relative Camera Pose with Geometry-Guided Uncertainty [91.0564497403256]
本稿では,ネットワークトレーニング中の2つの予測系間の確率的融合を含む新しい枠組みを提案する。本ネットワークは,異なる対応間の強い相互作用を強制することにより学習を駆動する自己追跡グラフニューラルネットワークを特徴とする。学習に適したモーションパーマリゼーションを提案し、難易度の高いDeMoNおよびScanNetデータセットで最新のパフォーマンスを達成できることを示します。
論文参考訳（メタデータ） (2021-04-16T17:59:06Z)
Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles [69.9674326582747]
本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
論文参考訳（メタデータ） (2021-03-18T13:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。