論文の概要: A Unifying Framework for Concept-Based Representational Similarity
- arxiv url: http://arxiv.org/abs/2606.09653v1
- Date: Mon, 08 Jun 2026 15:42:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:07.474347
- Title: A Unifying Framework for Concept-Based Representational Similarity
- Title(参考訳): 概念に基づく表現類似のための統一フレームワーク
- Authors: Grégoire Dhimoïla, Victor Boutin, Agustin Martin Picard, Thomas Fel, Thomas Serre,
- Abstract要約: 概念のアライメントは基本的に多目的であり、そのように定義、測定、最適化されなければならない。
本稿では,2つの軸に沿ったアライメントを分解する統一フレームワークを提案する。
- 参考スコア(独自算出の注目度): 26.502371676259113
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learned representations across models and modalities often exhibit striking structural similarities, suggesting shared underlying concept decompositions. However, concept alignment remains poorly defined: existing approaches optimize different objectives under the same terminology, obscuring what is actually aligned. We propose a unifying framework that decomposes alignment along two axes: what is aligned (representations vs. concepts) and at what level (instance-wise vs. distributional). This induces four corresponding properties -- instance-wise and distributional variants of translation and concept consistency -- and reveals precisely which of these guarantees existing methods provide. We further introduce \InterVenchA, an intervention-based benchmark that separately measures extraction quality, translation quality, and concept consistency. Through theory and experiments, we show that commonly assumed equivalences between alignment objectives fail in practice: optimizing one property does not reliably recover the others, and purely unsupervised objectives fail to recover meaningful instance-level alignment. We then propose the Coupled Sparse Autoencoder (CoSAE), which jointly enforces complementary alignment objectives. Strong alignment emerges only in this regime. Surprisingly, as little as 0.1\% paired data is sufficient to recover instance-level alignment when anchoring distributional objectives. Overall, our results show that concept alignment is fundamentally multi-objective: it must be defined, measured, and optimized as such.
- Abstract(参考訳): モデルとモダリティを横断する学習された表現は、しばしば顕著な構造的類似性を示し、基礎となる概念分解の共有を示唆する。
しかし、概念の整合性は未定義のままであり、既存のアプローチは同じ用語の下で異なる目的を最適化し、実際に整合しているものを無視する。
本稿では,2つの軸に沿ってアライメントを分解する統一フレームワークを提案する。
これにより、インスタンスワイドと分散的な変換と概念整合性の4つの特性が導き出され、既存のメソッドが与える保証のどれかが正確に明らかになる。
さらに、介入ベースのベンチマークである \InterVenchA を導入し、抽出品質、翻訳品質、概念整合性を別々に測定する。
理論と実験を通して、アライメント対象間の一般に仮定される同値性は、ある特性を最適化しても、他の特性を確実に回復することはなく、純粋に教師なし目的は意味のあるインスタンスレベルのアライメントを回復できないことを示す。
次に、相補的アライメント目的を共同で実施するCoSAEを提案する。
強いアライメントは、この体制でのみ現れる。
意外なことに、0.1\%のペアデータでは、分散目的をアンカーするときにインスタンスレベルのアライメントを回復するのに十分です。
全体として,概念のアライメントは基本的に多目的であり,そのように定義し,測定し,最適化する必要がある。
関連論文リスト
- Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。
既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。
動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-25T09:57:46Z) - Rethinking Semantic Collaborative Integration: Why Alignment Is Not Enough [23.86079699614653]
大規模言語モデル(LLM)はレコメンデーションシステムにとって重要な意味的基盤となっている。
我々は、グローバルな低複雑さアライメント仮説を定式化し、それは必要以上に強く、しばしば現実世界のレコメンデーション設定と構造的にミスマッチしていると主張する。
本稿では,意味的・協調的な表現を部分的に共有されるが,基本的には異質な視点として扱う相補的視点を提案する。
論文 参考訳(メタデータ) (2026-04-24T03:47:12Z) - Position: General Alignment Has Hit a Ceiling; Edge Alignment Must Be Taken Seriously [51.03213216886717]
我々は、一般的なアライメントの支配的なパラダイムが、矛盾する値の設定において構造的な天井に達するという立場を取る。
エッジアライメント(Edge Alignment)は,多次元の値構造を保持するシステムにおいて,異なるアプローチである。
論文 参考訳(メタデータ) (2026-02-23T16:51:43Z) - Escaping Plato's Cave: JAM for Aligning Independently Trained Vision and Language Models [30.07172193932125]
本稿では,JAM(Joint Autoencoder Modulator)が独立に訓練された表現のアライメントを誘導することを示す。
本研究は, 共通意味論の構造に関する理論的知見と, 一般論的な一助的基礎を専門的マルチモーダルモデルに変換するための実践的ガイダンスを提供する。
論文 参考訳(メタデータ) (2025-07-01T21:43:50Z) - Unifying Feature and Cost Aggregation with Transformers for Semantic and Visual Correspondence [51.54175067684008]
本稿では,高密度マッチングタスク用に設計されたTransformerベースの積分機能とコスト集約ネットワークを提案する。
まず, 特徴集約とコスト集約が異なる特徴を示し, 双方の集約プロセスの司法的利用から生じる実質的な利益の可能性を明らかにした。
本フレームワークは意味マッチングのための標準ベンチマークで評価され,また幾何マッチングにも適用された。
論文 参考訳(メタデータ) (2024-03-17T07:02:55Z) - Understanding and Constructing Latent Modality Structures in Multi-modal
Representation Learning [53.68371566336254]
優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。
具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
論文 参考訳(メタデータ) (2023-03-10T14:38:49Z) - Mixup-CAM: Weakly-supervised Semantic Segmentation via Uncertainty
Regularization [73.03956876752868]
我々は、ネットワークがオブジェクトの他の部分に注意を払うことを可能にする、原則的でエンドツーエンドのトレーニング可能なフレームワークを提案する。
具体的には、ミックスアップデータ拡張方式を分類ネットワークに導入し、2つの不確実な正規化項を設計し、ミックスアップ戦略をよりよく扱う。
論文 参考訳(メタデータ) (2020-08-03T21:19:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。