論文の概要: Model Alignment Search

• arxiv url: http://arxiv.org/abs/2501.06164v4
• Date: Thu, 24 Apr 2025 02:13:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-26 01:33:38.467281
• Title: Model Alignment Search
• Title（参考訳）: モデルアライメント探索
• Authors: Satchel Grant,
• Abstract要約: モデルアライメント・サーチ(MAS)は,行動に関連する分散表現類似性を因果的に探索する手法である。 まず,異なるトレーニングシードと異なるアーキテクチャを持つネットワーク間で,特定の因果変数の値の転送に使用できることを示す。 次に、構造的に異なるタスクで訓練されたモデルにおいて、異なる種類の数値表現を比較することで、数認識におけるオープンな質問を探索する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When can we say that two neural systems are the same? The answer to this question is goal-dependent, and it is often addressed through correlative methods such as Representational Similarity Analysis (RSA) and Centered Kernel Alignment (CKA). We find ourselves chiefly interested in the relationship between representations and behavior, asking ourselves how we can isolate specific functional aspects of representational similarity to relate our measures to behavior -- avoiding cause vs. correlation pitfalls in the process. In this work, we introduce Model Alignment Search (MAS), a method for causally exploring distributed representational similarity as it relates to behavior. The method learns invertible linear transformations that find an aligned subspace between two distributed networks' representations where functional information can be isolated and manipulated. We first show that the method can be used to transfer values of specific causal variables -- such as the number of items in a counting task -- between networks with different training seeds and different architectures. We then explore open questions in number cognition by comparing different types of numeric representations in models trained on structurally different tasks, we explore differences between MAS and preexisting functional similarity methods, and lastly, we introduce a counterfactual latent auxiliary loss that helps shape functionally relevant alignments even in cases where we do not have causal access to one of the two models for training.
• Abstract（参考訳）: 2つの神経系が同じだといつ言えるだろうか? この疑問に対する答えはゴール依存であり、Representational similarity Analysis (RSA) や Centered Kernel Alignment (CKA) などの相関手法によって解決されることが多い。 我々は、主に、表現と行動の関係について興味を持ち、行動に関連付けるために、表現の類似性の特定の機能的側面をいかに分離できるかを自問し、プロセスにおける原因と相関の落とし穴を回避できるかを問う。本研究では、分散表現の類似性を因果的に探索する手法であるモデルアライメントサーチ(MAS)を紹介します。この方法は、関数情報を分離し操作できる2つの分散ネットワークの表現間の整合した部分空間を見つける、可逆線形変換を学習します。まず、この方法を用いて、異なるトレーニング・シードとアーキテクチャを持つネットワーク間の特定の因果変数の値(例えば、カウントタスクの項目数など)を転送できることを示します。 次に、構造的に異なるタスクで訓練されたモデルにおける異なる種類の数値表現を比較し、MASと既存の機能的類似性手法の違いを考察し、さらに、トレーニング用2つのモデルのうちの1つに因果アクセスがない場合でも、機能的に関連したアライメントを形作るのに役立つ、反ファクト的潜在的補助的損失を導入する。

関連論文リスト

• Evaluating Representational Similarity Measures from the Lens of Functional Correspondence [1.7811840395202345]
  神経科学と人工知能(AI)はどちらも、高次元のニューラルネットワークの解釈という課題に直面している。 表象比較が広く使われているにもかかわらず、重要な疑問が残る: どの指標がこれらの比較に最も適しているのか?
  論文  参考訳（メタデータ） (2024-11-21T23:53:58Z)
• Measuring similarity between embedding spaces using induced neighborhood graphs [10.056989400384772]
  本稿では,ペアの項目表現の類似性を評価するための指標を提案する。 この結果から,類似度とゼロショット分類タスクの精度が類似度と相関していることが示唆された。
  論文  参考訳（メタデータ） (2024-11-13T15:22:33Z)
• Interpretable Differencing of Machine Learning Models [20.99877540751412]
  2つのMLモデルの出力の相似性関数の予測の1つとしてモデル差分問題の定式化を行う。 ジョイントサロゲートツリー(JST)は、この2つのモデルのための2つの連結された決定木サロゲートから構成される。 JSTは違いを直感的に表現し、モデル決定ロジックのコンテキストに変化を配置します。
  論文  参考訳（メタデータ） (2023-06-10T16:15:55Z)
• All Roads Lead to Rome? Exploring the Invariance of Transformers' Representations [69.3461199976959]
  本稿では, ビジェクション仮説を学習するために, 非可逆ニューラルネットワーク BERT-INN に基づくモデルを提案する。 BERT-INNの利点は理論上も広範な実験を通じても明らかである。
  論文  参考訳（メタデータ） (2023-05-23T22:30:43Z)
• Linear Causal Disentanglement via Interventions [8.444187296409051]
  因果解離は因果モデルを通して相互に関連する潜伏変数を含むデータの表現を求める。 線形潜在因果モデルの線形変換である観測変数について検討した。
  論文  参考訳（メタデータ） (2022-11-29T18:43:42Z)
• Linear Connectivity Reveals Generalization Strategies [54.947772002394736]
  微調整されたモデルのいくつかは、それらの間の線形経路における損失を増大させる大きな障壁を持つ。 テスト損失面上で線形に接続されているが、クラスタ外のモデルから切り離されている異なるモデルのクラスタが見つかる。 我々の研究は、損失面の幾何学がモデルを異なる関数へと導く方法を示している。
  論文  参考訳（メタデータ） (2022-05-24T23:43:02Z)
• CCSL: A Causal Structure Learning Method from Multiple Unknown Environments [32.61349047509467]
  非i.d.データからの因果発見のための統一因果クラスタ構造学習法(CCSL)を提案する。 本手法は,(1)同じ因果機構を持つ被験者をクラスタリングすること,(2)被験者のサンプルから因果構造を学習すること,の2つの課題を同時に統合する。
  論文  参考訳（メタデータ） (2021-11-18T12:50:53Z)
• Counterfactual Invariance to Spurious Correlations: Why and How to Pass Stress Tests [87.60900567941428]
  素早い相関」とは、アナリストが重要とすべきでないと考える入力データのある側面に対するモデルの依存である。 機械学習では、これらにはノウ・イ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ」という特徴がある。 因果推論ツールを用いたストレステストについて検討した。
  論文  参考訳（メタデータ） (2021-05-31T14:39:38Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
  因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。 この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。 実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
  論文  参考訳（メタデータ） (2020-08-02T11:19:36Z)
• Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
  本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。 両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。 RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
  論文  参考訳（メタデータ） (2020-07-23T14:00:34Z)
• Pairwise Supervision Can Provably Elicit a Decision Boundary [84.58020117487898]
  類似性学習は、パターンのペア間の関係を予測することによって有用な表現を引き出す問題である。 類似性学習は、決定境界を直接引き出すことによって二項分類を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-06-11T05:35:16Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Similarity of Neural Networks with Gradients [8.804507286438781]
  本稿では,特徴ベクトルと勾配ベクトルの両方を利用してニューラルネットワークの表現を設計することを提案する。 提案手法はニューラルネットワークの類似性を計算するための最先端の手法を提供する。
  論文  参考訳（メタデータ） (2020-03-25T17:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。