論文の概要: Model Alignment Search

• arxiv url: http://arxiv.org/abs/2501.06164v1
• Date: Fri, 10 Jan 2025 18:39:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:28:08.489985
• Title: Model Alignment Search
• Title（参考訳）: モデルアライメント探索
• Authors: Satchel Grant,
• Abstract要約: 本稿では,分散表現類似性を因果的に探索するモデルアライメント探索(MAS)を提案する。 まず,本手法を用いて,異なる学習種数を持つネットワーク間で,カウントタスクにおける項目数などの特定の因果変数を転送できることを示す。 次に、MASと既存の因果類似性法の違いについて検討し、MASは不要な交換に対してより抵抗的であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: When can we say that two neural systems are the same? The answer to this question is goal-dependent, and it is often addressed through correlative methods such as Representational Similarity Analysis (RSA) and Centered Kernel Alignment (CKA). What do we miss when we forgo causal explorations, and how can we target specific types of similarity? In this work, we introduce Model Alignment Search (MAS), a method for causally exploring distributed representational similarity. The method learns invertible linear transformations that align a subspace between two distributed networks' representations where causal information can be freely interchanged. We first show that the method can be used to transfer specific causal variables, such as the number of items in a counting task, between networks with different training seeds. We then explore open questions in number cognition by comparing different types of numeric representations in models trained on structurally different numeric tasks. We then explore differences between MAS vs preexisting causal similarity methods, showing MAS to be more resistant to unwanted exchanges. Lastly, we introduce a counterfactual latent auxiliary loss function that helps shape causally relevant alignments even in cases where we do not have causal access to one of the two models for training.
• Abstract（参考訳）: 2つの神経系が同じだといつ言えるだろうか? この疑問に対する答えはゴール依存であり、Representational similarity Analysis (RSA) や Centered Kernel Alignment (CKA) などの相関手法によって解決されることが多い。 因果探究を禁止したとき、何が見逃されるのか、そして、どのように特定の種類の類似性を標的にできるのか? 本研究では,分散表現類似性を因果的に探索するモデルアライメント探索(MAS)を提案する。 この方法は、因果情報を自由に交換できる2つの分散ネットワークの表現間の部分空間を整列する可逆線形変換を学習する。 まず,本手法を用いて,異なる学習種数を持つネットワーク間で,カウントタスクにおける項目数などの特定の因果変数を転送できることを示す。 次に、構造的に異なる数値タスクに基づいて訓練されたモデルにおいて、異なる種類の数値表現を比較することで、数認識におけるオープンな質問を探索する。 次に、MASと既存の因果類似性法の違いについて検討し、MASは不要な交換に対してより抵抗的であることを示す。 最後に,2つのモデルのうちの1つに因果的アクセスがない場合にも,因果的関連アライメントを形作るための非現実的潜在補助損失関数を提案する。

関連論文リスト

• Interpretable Differencing of Machine Learning Models [20.99877540751412]
  2つのMLモデルの出力の相似性関数の予測の1つとしてモデル差分問題の定式化を行う。 ジョイントサロゲートツリー(JST)は、この2つのモデルのための2つの連結された決定木サロゲートから構成される。 JSTは違いを直感的に表現し、モデル決定ロジックのコンテキストに変化を配置します。
  論文  参考訳（メタデータ） (2023-06-10T16:15:55Z)
• All Roads Lead to Rome? Exploring the Invariance of Transformers' Representations [69.3461199976959]
  本稿では, ビジェクション仮説を学習するために, 非可逆ニューラルネットワーク BERT-INN に基づくモデルを提案する。 BERT-INNの利点は理論上も広範な実験を通じても明らかである。
  論文  参考訳（メタデータ） (2023-05-23T22:30:43Z)
• Linear Causal Disentanglement via Interventions [8.444187296409051]
  因果解離は因果モデルを通して相互に関連する潜伏変数を含むデータの表現を求める。 線形潜在因果モデルの線形変換である観測変数について検討した。
  論文  参考訳（メタデータ） (2022-11-29T18:43:42Z)
• CCSL: A Causal Structure Learning Method from Multiple Unknown Environments [32.61349047509467]
  非i.d.データからの因果発見のための統一因果クラスタ構造学習法(CCSL)を提案する。 本手法は,(1)同じ因果機構を持つ被験者をクラスタリングすること,(2)被験者のサンプルから因果構造を学習すること,の2つの課題を同時に統合する。
  論文  参考訳（メタデータ） (2021-11-18T12:50:53Z)
• Counterfactual Invariance to Spurious Correlations: Why and How to Pass Stress Tests [87.60900567941428]
  素早い相関」とは、アナリストが重要とすべきでないと考える入力データのある側面に対するモデルの依存である。 機械学習では、これらにはノウ・イ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ」という特徴がある。 因果推論ツールを用いたストレステストについて検討した。
  論文  参考訳（メタデータ） (2021-05-31T14:39:38Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
  因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。 この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。 実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
  論文  参考訳（メタデータ） (2020-08-02T11:19:36Z)
• Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
  本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。 両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。 RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
  論文  参考訳（メタデータ） (2020-07-23T14:00:34Z)
• Pairwise Supervision Can Provably Elicit a Decision Boundary [84.58020117487898]
  類似性学習は、パターンのペア間の関係を予測することによって有用な表現を引き出す問題である。 類似性学習は、決定境界を直接引き出すことによって二項分類を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-06-11T05:35:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。