論文の概要: Towards a Learning Theory of Representation Alignment

• arxiv url: http://arxiv.org/abs/2502.14047v1
• Date: Wed, 19 Feb 2025 19:09:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:30:20.446639
• Title: Towards a Learning Theory of Representation Alignment
• Title（参考訳）: 表現アライメントの学習理論に向けて
• Authors: Francesco Insulla, Shuo Huang, Lorenzo Rosasco,
• Abstract要約: 表現アライメントに対する学習理論的な視点を提案する。 この結果は, 表現アライメントを学習理論問題としてキャストする第一歩と見なすことができる。
• 参考スコア（独自算出の注目度）: 12.166663160280056
• License:
• Abstract: It has recently been argued that AI models' representations are becoming aligned as their scale and performance increase. Empirical analyses have been designed to support this idea and conjecture the possible alignment of different representations toward a shared statistical model of reality. In this paper, we propose a learning-theoretic perspective to representation alignment. First, we review and connect different notions of alignment based on metric, probabilistic, and spectral ideas. Then, we focus on stitching, a particular approach to understanding the interplay between different representations in the context of a task. Our main contribution here is relating properties of stitching to the kernel alignment of the underlying representation. Our results can be seen as a first step toward casting representation alignment as a learning-theoretic problem.
• Abstract（参考訳）: 最近、AIモデルの表現は、スケールとパフォーマンスが向上するにつれて一致しつつある、と論じられている。 経験的分析は、この概念を支持し、異なる表現が現実の共有統計モデルに向けてアライメントされる可能性があると推測するために設計されている。 本稿では,表現アライメントに対する学習理論的な視点を提案する。 まず、計量、確率、スペクトルのアイデアに基づいて、アライメントの異なる概念をレビューし、接続する。 そこで我々は,タスクのコンテキストにおける異なる表現間の相互作用を理解するための,特定のアプローチである縫合に焦点を当てた。 ここでの我々の主な貢献は、下層の表現のカーネルアライメントに縫合の性質を関連づけることである。 この結果は, 表現アライメントを学習理論問題としてキャストする第一歩と見なすことができる。

関連論文リスト

• Take A Step Back: Rethinking the Two Stages in Visual Reasoning [57.16394309170051]
  本稿では2段階の視点で視覚的推論を再考する。 共有アナライザを使用しながら、異なるデータドメイン用の分離エンコーダによるシンボル化を実装する方が効率的である。 提案する2段階のフレームワークは,様々な視覚的推論タスクにおいて,印象的な一般化を実現する。
  論文  参考訳（メタデータ） (2024-07-29T02:56:19Z)
• Learning Visual-Semantic Subspace Representations for Propositional Reasoning [49.17165360280794]
  本稿では,特定の意味構造に適合する視覚表現を学習するための新しい手法を提案する。 我々のアプローチは、新しい核規範に基づく損失に基づいている。 部分空間格子におけるセマンティクスのスペクトル幾何学を最小エンコードしていることを示す。
  論文  参考訳（メタデータ） (2024-05-25T12:51:38Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Understanding Probe Behaviors through Variational Bounds of Mutual Information [53.520525292756005]
  情報理論を利用した新しい数学的枠組みを構築することで線形探索のガイドラインを提供する。 まず、プローブ設計を緩和するために、相互情報の変動境界(MI)と探索を結合し、線形探索と微調整を同一視する。 中間表現は、分離性の向上とMIの減少のトレードオフのため、最大のMI推定値を持つことが示される。
  論文  参考訳（メタデータ） (2023-12-15T18:38:18Z)
• Interpretability is in the Mind of the Beholder: A Causal Framework for Human-interpretable Representation Learning [22.201878275784246]
  説明可能なAIは、入力機能などの低レベル要素の観点から定義された説明から、データから学んだ解釈可能な概念でエンコードされた説明へとシフトしている。 しかし、そのような概念を確実に取得する方法は、基本的には不明確である。 ポストホックな説明器と概念に基づくニューラルネットワークの両方に適した解釈可能な表現を得るための数学的枠組みを提案する。
  論文  参考訳（メタデータ） (2023-09-14T14:26:20Z)
• Disentangling Multi-view Representations Beyond Inductive Bias [32.15900989696017]
  本稿では,表現の解釈可能性と一般化性を両立させる新しい多視点表現分離手法を提案する。 提案手法は,クラスタリングと分類性能において,12種類の比較手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-03T09:09:28Z)
• Pointwise Representational Similarity [14.22332335495585]
  ポイントワイド正規化カーネルアライメント (Pointwise Normalized Kernel Alignment, PNKA) は、個々の入力が2つの表現空間でどのように表現されるかを測定する尺度である。 我々は、(a)誤分類される可能性のある入力例、(b)レイヤ内の(個別の)ニューロンによって符号化された概念、(c)学習された表現に対する公平な介入の効果をより深く理解するために、PNKAをどのように活用できるかを示す。
  論文  参考訳（メタデータ） (2023-05-30T09:40:08Z)
• Resolving label uncertainty with implicit posterior models [71.62113762278963]
  本稿では,データサンプルのコレクション間でラベルを共同で推論する手法を提案する。 異なる予測子を後部とする生成モデルの存在を暗黙的に仮定することにより、弱い信念の下での学習を可能にする訓練目標を導出する。
  論文  参考訳（メタデータ） (2022-02-28T18:09:44Z)
• RELAX: Representation Learning Explainability [10.831313203043514]
  本稿では、帰属に基づく表現の説明のための最初のアプローチであるRELAXを提案する。 ReLAXは、入力とマスクアウトされた自身のバージョンの間の表現空間における類似性を測定することで表現を説明する。 我々はRELAXの理論的解釈を提供し、教師なし学習を用いて訓練された特徴抽出器を新規に解析する。
  論文  参考訳（メタデータ） (2021-12-19T14:51:31Z)
• Weakly-Supervised Disentanglement Without Compromises [53.55580957483103]
  インテリジェントエージェントは、環境の変化を観察することで、有用な表現を学べるべきである。 変動の要因の少なくとも1つを共有する非I.d.画像のペアとしてそのような観測をモデル化する。 我々は,どの因子が変化したかのみを知るだけで,非絡み合った表現を学ぶのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-02-07T16:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。