論文の概要: Back into Plato's Cave: Examining Cross-modal Representational Convergence at Scale

• arxiv url: http://arxiv.org/abs/2604.18572v1
• Date: Mon, 20 Apr 2026 17:56:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:53.036859
• Title: Back into Plato's Cave: Examining Cross-modal Representational Convergence at Scale
• Title（参考訳）: プラトン洞窟への逆戻り - スケールにおけるクロスモーダル表現の収束性の検討-
• Abstract要約: プラトン表現仮説(Platonic Representation hypothesis)は、異なるモダリティで訓練されたニューラルネットワークが一致し、最終的に同じ現実の表現に向かって収束することを示唆している。 この仮説の実験的証拠は脆弱であり, 評価体制に大きく依存していることが示唆された。
• 参考スコア（独自算出の注目度）: 40.31924374728614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Platonic Representation Hypothesis suggests that neural networks trained on different modalities (e.g., text and images) align and eventually converge toward the same representation of reality. If true, this has significant implications for whether modality choice matters at all. We show that the experimental evidence for this hypothesis is fragile and depends critically on the evaluation regime. Alignment is measured using mutual nearest neighbors on small datasets ($\approx$1K samples) and degrades substantially as the dataset is scaled to millions of samples. The alignment that remains between model representations reflects coarse semantic overlap rather than consistent fine-grained structure. Moreover, the evaluations in Huh et al. are done in a one-to-one image-caption setting, a constraint that breaks down in realistic many-to-many settings and further reduces alignment. We also find that the reported trend of stronger language models increasingly aligning with vision does not appear to hold for newer models. Overall, our findings suggest that the current evidence for cross-modal representational convergence is considerably weaker than subsequent works have taken it to be. Models trained on different modalities may learn equally rich representations of the world, just not the same one.
• Abstract（参考訳）: プラトン表現仮説(Platonic Representation hypothesis)は、異なるモダリティ(例えばテキストや画像)で訓練されたニューラルネットワークが一致し、最終的に同じ現実の表現に向かって収束することを示唆している。 もしそうなら、これはモダリティの選択がまったく重要かどうかに重要な意味を持つ。 この仮説の実験的証拠は脆弱であり, 評価体制に大きく依存していることが示唆された。 アライメントは、小さなデータセット($1Kのサンプル)の隣人同士で測定され、データセットが数百万のサンプルにスケールされるにつれて、大幅に劣化する。 モデル表現の間に残るアライメントは、一貫したきめ細かい構造ではなく、粗いセマンティックな重なりを反映する。 さらに、Huh et alの評価は、1対1のイメージキャプション設定で行われ、現実的な多対多設定でブレークダウンし、アライメントをさらに削減する制約である。 また、より強力な言語モデルとビジョンとの整合性が高まっているという報告の傾向は、新しいモデルには当てはまらないようである。 総じて,現在のクロスモーダルな表現収束の証拠は,その後の研究よりもかなり弱いことが示唆された。 異なるモダリティで訓練されたモデルは、同じではなく、世界の均等に豊かな表現を学ぶことができる。

関連論文リスト

• Mapping and Measuring the Behavioral Evolution of Large Language Models [28.603443859513153]
  ベンチマークのリーダーボードは、言語モデルのパフォーマンスを概説するが、その振る舞いが他のモデルとどのように関係しているか、世代によって異なる。 1万のプロンプトの共有バンクに対する応答を用いて、6つのファミリーから32モデルの出力挙動を特徴付ける。
  論文  参考訳（メタデータ） (2026-08-11T15:07:28Z)
• Can Machines Really See Objects in Images? A Study Based on Syntactic Distance and Visual Self-Referential Instances [53.65561607407989]
  そのような局所的な手がかりが区別の安定な基盤を提供しない場合、モデルが依然として正しく分類できるかどうかを問う。 ResNetとVision Transformersの実験では、一貫した位相遷移現象が明らかになった。 結果は、汎用インテリジェンスは、既存の言語を再利用するのではなく、新しい言語を作成する必要があることを示唆している。
  論文  参考訳（メタデータ） (2026-06-28T14:27:40Z)
• Unveiling the Visual Counting Bottleneck in Vision-Language Models [49.591496870141846]
  この研究は視覚的数え上げを3つの認知段階(視覚的識別、大きさ認識、象徴的マッピング)に分解する。 合成Go基板と線形プローブを用いて、視覚的バックボーンは、外挿系にしっかりと、線形に分離可能な量表現を保っていることを示す。 我々は、崩壊をシンボルマッピングステージに向ける。そこでは、モデルがシンボルトークンに有効な視覚的大きさを投影することに失敗する。
  論文  参考訳（メタデータ） (2026-05-28T16:20:29Z)
• Revisiting the Platonic Representation Hypothesis: An Aristotelian View [3.647057737530591]
  表現的類似度を測定するために使用される既存のメトリクスは、ネットワークスケールで構築されていることを示す。 本稿では,任意の表現類似度尺度を統計的保証付き校正スコアに変換する置換に基づくヌル校正フレームワークを提案する。 本稿では,アリストテレス表現仮説(Aristotelian Representation hypothesis)を提案する。
  論文  参考訳（メタデータ） (2026-02-16T06:01:23Z)
• When Does Closeness in Distribution Imply Representational Similarity? An Identifiability Perspective [9.578534178372829]
  モデル分布間の小さなKullback--Leibler分散は、対応する表現が類似していることを保証するものではないことを証明する。 次に、近接性が表現的類似性を意味する分布距離を定義する。 合成実験において、より広いネットワークは我々の距離に近づき、より類似した表現を持つ分布を学習する。
  論文  参考訳（メタデータ） (2025-06-04T09:44:22Z)
• Bridging Critical Gaps in Convergent Learning: How Representational Alignment Evolves Across Layers, Training, and Distribution Shifts [1.9458156037869137]
  収束学習は、神経システムが同様の内部表現に到達する度合いである。 数十の視覚モデルと数千の層対比較にまたがる収束学習の大規模監査を行う。 発見は、表現の収束に対する理解において重要なギャップを埋め、神経科学とAIに影響を及ぼす。
  論文  参考訳（メタデータ） (2025-02-26T00:04:24Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• The Platonic Representation Hypothesis [35.16414255187554]
  AIモデル、特にディープネットワークにおける表現は収束していると我々は主張する。 ビジョンモデルと言語モデルが大きくなればなるほど、データポイント間の距離はますます似たようなものになる。 我々は、この収束が、プラトンの理想的現実の概念に似た、共有された統計的な現実モデルに向かっていると仮定する。
  論文  参考訳（メタデータ） (2024-05-13T17:58:30Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Perceptual Score: What Data Modalities Does Your Model Perceive? [73.75255606437808]
  モデルが入力特徴の異なる部分集合に依存する度合いを評価する指標である知覚スコアを導入する。 近年,視覚的質問応答に対するマルチモーダルモデルでは,前者よりも視覚的データを知覚しにくい傾向がみられた。 知覚スコアを使用することで、スコアをデータサブセットのコントリビューションに分解することで、モデルのバイアスを分析することもできる。
  論文  参考訳（メタデータ） (2021-10-27T12:19:56Z)
• Finding Geometric Models by Clustering in the Consensus Space [61.65661010039768]
  本稿では,未知数の幾何学的モデル,例えばホモグラフィーを求めるアルゴリズムを提案する。 複数の幾何モデルを用いることで精度が向上するアプリケーションをいくつか提示する。 これには、複数の一般化されたホモグラフからのポーズ推定、高速移動物体の軌道推定が含まれる。
  論文  参考訳（メタデータ） (2021-03-25T14:35:07Z)
• A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation [63.042651834453544]
  モデルとデータの両方に帰納的バイアスを伴わずに,非教師なしの非教師付き表現学習は不可能であることを示す。 異なる手法は、対応する損失によって「強化」された特性を効果的に強制するが、よく見分けられたモデルは監督なしでは特定できないように見える。 以上の結果から,遠絡学習における今後の研究は,帰納的バイアスと(単純に)監督の役割を明確化すべきであることが示唆された。
  論文  参考訳（メタデータ） (2020-10-27T10:17:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。