論文の概要: Does Data Scaling Lead to Visual Compositional Generalization?

• arxiv url: http://arxiv.org/abs/2507.07102v1
• Date: Wed, 09 Jul 2025 17:59:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.720241
• Title: Does Data Scaling Lead to Visual Compositional Generalization?
• Title（参考訳）: データスケーリングはビジュアルコンポジションの一般化につながるか?
• Authors: Arnas Uselis, Andrea Dittadi, Seong Joon Oh,
• Abstract要約: 構成一般化は単なるデータスケールではなく,データの多様性によってもたらされる。 この構造が効率の鍵であることを証明し、ほとんど観測されていない組み合わせから完全な一般化を可能にする。
• 参考スコア（独自算出の注目度）: 21.242714408660508
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compositional understanding is crucial for human intelligence, yet it remains unclear whether contemporary vision models exhibit it. The dominant machine learning paradigm is built on the premise that scaling data and model sizes will improve out-of-distribution performance, including compositional generalization. We test this premise through controlled experiments that systematically vary data scale, concept diversity, and combination coverage. We find that compositional generalization is driven by data diversity, not mere data scale. Increased combinatorial coverage forces models to discover a linearly factored representational structure, where concepts decompose into additive components. We prove this structure is key to efficiency, enabling perfect generalization from few observed combinations. Evaluating pretrained models (DINO, CLIP), we find above-random yet imperfect performance, suggesting partial presence of this structure. Our work motivates stronger emphasis on constructing diverse datasets for compositional generalization, and considering the importance of representational structure that enables efficient compositional learning. Code available at https://github.com/oshapio/visual-compositional-generalization.
• Abstract（参考訳）: 構成的理解は人間の知性にとって不可欠であるが、現代の視覚モデルがそれを示すかどうかは不明である。 機械学習のパラダイムは、データとモデルサイズをスケールすることで、構成的一般化を含むアウト・オブ・ディストリビューションのパフォーマンスが向上する、という前提に基づいて構築されている。 我々は、データスケール、概念の多様性、組み合わせカバレッジを体系的に変化させる制御実験を通じて、この前提をテストする。 構成一般化は単なるデータスケールではなく,データの多様性によってもたらされる。 組合せカバレッジの増加は、概念が加法成分に分解される線形因子の表現構造を見つけるようモデルに強制する。 この構造が効率の鍵であることを証明し、ほとんど観測されていない組み合わせから完全な一般化を可能にする。 事前訓練されたモデル (DINO, CLIP) を評価すると, 過度に不完全な性能を示し, その部分的存在を示唆する。 本研究は,構成一般化のための多様なデータセットの構築と,効率的な構成学習を可能にする表現構造の重要性に重点を置いている。 コードはhttps://github.com/oshapio/visual-compositional- generalizationで公開されている。

関連論文リスト

• The Coverage Principle: A Framework for Understanding Compositional Generalization [31.762330857169914]
  合成タスクのパターンマッチングに主に依存するモデルは、同じコンテキストで使用した場合に同じ結果が得られるフラグメントを置換する以外には、確実に一般化できないことを示す。 我々は,このフレームワークがトランスフォーマーの一般化能力に強い予測力を持つことを実証した。
  論文  参考訳（メタデータ） (2025-05-26T17:55:15Z)
• How Compositional Generalization and Creativity Improve as Diffusion Models are Trained [82.08869888944324]
  構成規則を学習するために生成モデルに必要なサンプルはいくつあるか? ルールを学習するために、データのどのシグナルが利用されるのか? ここで紹介する階層的クラスタリング機構と物理における再正規化群との関係について論じる。
  論文  参考訳（メタデータ） (2025-02-17T18:06:33Z)
• When does compositional structure yield compositional generalization? A kernel theory [0.0]
  固定された構成的表現を持つカーネルモデルにおける合成一般化の理論を示す。 学習データのバイアスから生じる合成一般化における新しい障害モードを同定する。 本研究は, 学習データの統計的構造が構成一般化にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2024-05-26T00:50:11Z)
• What makes Models Compositional? A Theoretical View: With Supplement [60.284698521569936]
  本稿では,構成関数の一般神経-記号的定義とその構成複雑性について述べる。 既存の汎用および特殊目的のシーケンス処理モデルがこの定義にどのように適合しているかを示し、それらを用いて構成複雑性を分析する。
  論文  参考訳（メタデータ） (2024-05-02T20:10:27Z)
• Data Factors for Better Compositional Generalization [60.698130703909804]
  我々は、異なるデータ要素を持つ様々なトレーニングセット上で、Transformerモデルをトレーニングすることで、経験的分析を行う。 データセットの複雑さが増大すると、複数の異なる一般化課題におけるより優れた一般化行動がもたらされることを示す。 難易度の異なるトレーニング例が一般化にどう影響するかを考察する。
  論文  参考訳（メタデータ） (2023-11-08T01:27:34Z)
• Grounded Graph Decoding Improves Compositional Generalization in Question Answering [68.72605660152101]
  質問応答モデルは、長いシーケンスやより複雑なテスト構造のようなトレーニングパターンの新しい構成に一般化するのに苦労する。 構造化された予測をアテンション機構でグラウンド化することで,言語表現の合成一般化を改善する手法であるグラウンドドグラフデコーディングを提案する。 本モデルは,質問応答における合成一般化の挑戦的ベンチマークである構成自由ベース質問(CFQ)データセットにおいて,最先端のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2021-11-05T17:50:14Z)
• Improving Compositional Generalization in Classification Tasks via Structure Annotations [33.90268697120572]
  人間は構成を一般化する能力は大きいが、最先端のニューラルモデルはそれを行うのに苦労している。 まず、自然言語のシーケンス・ツー・シーケンス・データセットを、合成の一般化も必要とする分類データセットに変換する方法について検討する。 第二に、構造的ヒントを提供すること(特にトランスフォーマーモデルの注意マスクとしてパースツリーとエンティティリンクを提供すること)は、構成の一般化に役立つことを示す。
  論文  参考訳（メタデータ） (2021-06-19T06:07:27Z)
• Meta-Learning to Compositionally Generalize [34.656819307701156]
  教師あり学習のメタラーニング拡張版を実装した。 既存のトレーニングデータをサブサンプリングすることでメタ学習のためのタスクのペアを構築する。 COGSおよびSCANデータセットの実験結果から、類似性駆動型メタラーニングにより一般化性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-06-08T11:21:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。