論文の概要: How PARTs assemble into wholes: Learning the relative composition of images

• arxiv url: http://arxiv.org/abs/2506.03682v1
• Date: Wed, 04 Jun 2025 08:12:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.223119
• Title: How PARTs assemble into wholes: Learning the relative composition of images
• Title（参考訳）: パーツを集合体にする方法:画像の相対的構成を学習する
• Authors: Melika Ayoughi, Samira Abnar, Chen Huang, Chris Sandino, Sayeri Lala, Eeshan Gunesh Dhekane, Dan Busbridge, Shuangfei Zhai, Vimal Thilak, Josh Susskind, Pascal Mettes, Paul Groth, Hanlin Goh,
• Abstract要約: 空間認識型プレテキストタスクは、自己教師あり学習において活発に研究されている。 グリッドベースのアプローチは、現実世界のオブジェクト合成の流動性と連続した性質を捉えるには不十分である。 オフグリッドパッチ間の連続的な相対変換を活用する,自己教師型学習アプローチであるPartialを導入する。
• 参考スコア（独自算出の注目度）: 25.06788919709452
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The composition of objects and their parts, along with object-object positional relationships, provides a rich source of information for representation learning. Hence, spatial-aware pretext tasks have been actively explored in self-supervised learning. Existing works commonly start from a grid structure, where the goal of the pretext task involves predicting the absolute position index of patches within a fixed grid. However, grid-based approaches fall short of capturing the fluid and continuous nature of real-world object compositions. We introduce PART, a self-supervised learning approach that leverages continuous relative transformations between off-grid patches to overcome these limitations. By modeling how parts relate to each other in a continuous space, PART learns the relative composition of images-an off-grid structural relative positioning process that generalizes beyond occlusions and deformations. In tasks requiring precise spatial understanding such as object detection and time series prediction, PART outperforms strong grid-based methods like MAE and DropPos, while also maintaining competitive performance on global classification tasks with minimal hyperparameter tuning. By breaking free from grid constraints, PART opens up an exciting new trajectory for universal self-supervised pretraining across diverse datatypes-from natural images to EEG signals-with promising potential in video, medical imaging, and audio.
• Abstract（参考訳）: オブジェクトとその部分の構成は、オブジェクトとオブジェクトの位置関係とともに、表現学習のための豊富な情報源を提供する。 そのため,自己教師型学習において空間認識型プレテキストタスクが積極的に研究されている。 既存の作業は通常グリッド構造から始まり、プレテキストタスクの目標は固定グリッド内のパッチの絶対位置指数を予測することである。 しかし、グリッドベースのアプローチは、現実世界のオブジェクト構成の流体と連続的な性質を捉えるには不十分である。 この制限を克服するために、オフグリッドパッチ間の継続的な相対変換を活用する自己教師型学習アプローチであるPartialを導入する。 連続空間における部品の相互関係をモデル化することにより、パートは、閉塞や変形を超えて一般化する画像とオフグリッド構造的相対的位置決め過程の相対的組成を学習する。 オブジェクト検出や時系列予測のような正確な空間的理解を必要とするタスクでは、PartはMAEやDropPosのような強力なグリッドベースの手法よりも優れ、同時に、極小ハイパーパラメータチューニングによるグローバルな分類タスクの競合性能も維持する。 グリッドの制約から解放することで、Partialは、自然画像から脳波信号まで、ビデオ、医療画像、オーディオといった様々なデータタイプにわたる、普遍的な自己教師型事前訓練のための、エキサイティングな新しい軌道を開く。

関連論文リスト

• IAAO: Interactive Affordance Learning for Articulated Objects in 3D Environments [56.85804719947]
  IAAOは知的エージェントのための明示的な3Dモデルを構築するフレームワークで,対話を通して環境内の明瞭な物体の理解を得る。 マスク特徴とビュー一貫性ラベルを多視点画像から抽出し,まず3次元ガウススティング(3DGS)を用いて各オブジェクト状態の階層的特徴とラベルフィールドを構築する。 次に、3Dガウスプリミティブ上でオブジェクトと部分レベルのクエリを実行し、静的および明瞭な要素を識別し、大域的な変換と局所的な調音パラメータをアベイランスとともに推定する。
  論文  参考訳（メタデータ） (2025-04-09T12:36:48Z)
• Hierarchical Context Alignment with Disentangled Geometric and Temporal Modeling for Semantic Occupancy Prediction [61.484280369655536]
  カメラを用いた3Dセマンティック占領予測(SOP)は、限られた2次元画像観察から複雑な3Dシーンを理解するのに不可欠である。 既存のSOPメソッドは通常、占有表現学習を支援するためにコンテキストの特徴を集約する。 より正確なSOP(Hi-SOP)のための新しい階層型コンテキストアライメントパラダイムを導入する。
  論文  参考訳（メタデータ） (2024-12-11T09:53:10Z)
• Distilling Spectral Graph for Object-Context Aware Open-Vocabulary Semantic Segmentation [47.047267066525265]
  画像にオブジェクトレベルの文脈知識を取り入れた新しいアプローチを導入する。 提案手法は,多種多様なデータセットにまたがる高い一般化性を有する最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-26T06:34:48Z)
• Flex: End-to-End Text-Instructed Visual Navigation from Foundation Model Features [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly lexically) で合成され, 凍結パッチワイド特徴抽出器として, 事前学習された視覚言語モデル (VLM) を用いたフレームワークである。 本研究では,本手法の有効性を,行動クローンによる訓練を実世界のシーンに応用した,四重項フライ・トゥ・ターゲットタスクに適用した。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• EAGLE: Eigen Aggregation Learning for Object-Centric Unsupervised Semantic Segmentation [5.476136494434766]
  意味的類似性行列から派生した固有ベイズを通して意味的および構造的手がかりを提供する手法であるEiCueを紹介する。 オブジェクトレベルの表現を画像内および画像間の整合性で学習する。 COCO-Stuff、Cityscapes、Potsdam-3データセットの実験では、最先端のUSSの結果が示されている。
  論文  参考訳（メタデータ） (2024-03-03T11:24:16Z)
• ZoomNeXt: A Unified Collaborative Pyramid Network for Camouflaged Object Detection [70.11264880907652]
  最近のオブジェクト(COD)は、現実のシナリオでは極めて複雑で難しい、視覚的にブレンドされたオブジェクトを周囲に分割しようと試みている。 本研究では,不明瞭な画像を観察したり,ズームインしたりアウトしたりする際の人間の行動を模倣する,効果的な統合協調ピラミッドネットワークを提案する。 我々のフレームワークは、画像とビデオのCODベンチマークにおいて、既存の最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2023-10-31T06:11:23Z)
• DynaVol: Unsupervised Learning for Dynamic Scenes through Object-Centric Voxelization [67.85434518679382]
  幾何学構造と物体中心学習を統一した3次元シーン生成モデルDynaVolを提案する。 鍵となるアイデアは、シーンの3D特性を捉えるために、オブジェクト中心のボキセル化を実行することである。 ボクセルの機能は標準空間の変形関数を通じて時間とともに進化し、グローバルな表現学習の基礎を形成する。
  論文  参考訳（メタデータ） (2023-04-30T05:29:28Z)
• Modelling Neighbor Relation in Joint Space-Time Graph for Video Correspondence Learning [53.74240452117145]
  本稿では、ラベルなしビデオから信頼できる視覚対応を学習するための自己教師付き手法を提案する。 接続時空間グラフでは,ノードがフレームからサンプリングされたグリッドパッチであり,2種類のエッジによってリンクされる。 学習した表現は、様々な視覚的タスクにおいて最先端の自己監督手法よりも優れています。
  論文  参考訳（メタデータ） (2021-09-28T05:40:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。