論文の概要: Convergent World Representations and Divergent Tasks

• arxiv url: http://arxiv.org/abs/2602.00533v1
• Date: Sat, 31 Jan 2026 05:59:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.241198
• Title: Convergent World Representations and Divergent Tasks
• Title（参考訳）: 収束世界表現と多様化課題
• Authors: Core Francisco Park,
• Abstract要約: 我々は、基礎となる世界、データ生成プロセス、そして結果のモデル表現を明確に分離するフレームワークを開発する。 我々は、異なるタスクが質的に、定量的に異なる世界表現ジオメトリを生み出すことを発見した。 適応性を研究するために、全てのタスクでモデルを事前訓練し、新しい実体(都市)を表現空間に一貫して組み込むことができるかどうかをテストする。
• 参考スコア（独自算出の注目度）: 7.378937711027778
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While neural representations are central to modern deep learning, the conditions governing their geometry and their roles in downstream adaptability remain poorly understood. We develop a framework clearly separating the underlying world, the data generation process and the resulting model representations to study these questions in a controlled setup. 5,075 city coordinates define the world and 7 geometric tasks generate the training data for autoregressive training. We find that different tasks give rise to qualitatively and quantitatively distinct world representation geometries. However, multi-task training drives convergence of world representations: models trained on non-overlapping tasks develop aligned geometric representations, providing controlled evidence for the Multitask Scaling Hypothesis of the Platonic Representation Hypothesis. To study adaptation, we pretrain models on all tasks, then test whether new entities (cities) can be consistently integrated into the representation space via fine-tuning. Surprisingly, we find that despite multi-task pretraining, some tasks, which we call divergent, actively harm the representational integration of new entities and harm generalization. Our results show that training on multiple relational tasks reliably produces convergent world representations, but lurking divergent tasks can catastrophically harm new entity integration via fine-tuning.
• Abstract（参考訳）: ニューラル表現は現代のディープラーニングの中心であるが、その幾何学を規定する条件と下流適応性におけるそれらの役割はいまだに理解されていない。 本研究では,基礎となる世界,データ生成プロセス,結果のモデル表現を明確に分離して,これらの質問を制御された設定で研究するフレームワークを開発する。 5,075個の都市座標が世界を定義し、7つの幾何学的タスクが自己回帰訓練のためのトレーニングデータを生成する。 我々は、異なるタスクが質的に、定量的に異なる世界表現ジオメトリを生み出すことを発見した。 しかし、マルチタスクトレーニングは世界表現の収束を促進する:非重複タスクで訓練されたモデルは整列した幾何学的表現を発達させ、プラトン表現仮説のマルチタスクスケーリング仮説の制御された証拠を与える。 適応性を研究するために、全てのタスクでモデルを事前訓練し、その後、ファインチューニングにより新しい実体(都市)を表現空間に統合できるかどうかをテストする。 驚くべきことに、マルチタスク事前訓練にもかかわらず、発散と呼ばれるタスクは、新しい実体の表現的統合に積極的に影響を与え、一般化を損なう。 以上の結果から,複数の関係タスクのトレーニングは収束した世界表現を確実に生成するが,分散タスクを流すことは,微調整による新たな実体統合を破滅的に損なう可能性が示唆された。

関連論文リスト

• Revisiting Multi-Task Visual Representation Learning [52.93947931352643]
  本稿では,マルチタスク・ビジュアル事前学習フレームワークであるMTVを紹介する。 我々は、高容量の「エキスパート」モデルを利用して、高密度で構造化された擬似ラベルを大規模に合成する。 以上の結果から,MTV が "Best-of-both-worlds" のパフォーマンスを達成できることが示唆された。
  論文  参考訳（メタデータ） (2026-01-20T11:59:19Z)
• Imagine-then-Plan: Agent Learning from Adaptive Lookahead with World Models [13.90532093512575]
  エージェント学習のための統合フレームワークであるImagine-then-Plan(textttITP)を提案する。 最終目標とタスクの進捗をトレードオフすることで、適応的な新しいルックアヘッド機構を導入する。 実験の結果, TexttITP は競争ベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-01-13T19:49:58Z)
• On the Evaluation of Generative Robotic Simulations [35.8253733339539]
  生成シミュレーションに適した総合評価フレームワークを提案する。 単一タスクの品質では、生成されたタスクのリアリズムと生成されたトラジェクトリの完全性を評価する。 タスクレベルの一般化のために、複数の生成されたタスクで訓練されたポリシーの目に見えないタスクに対してゼロショットの一般化能力を評価する。
  論文  参考訳（メタデータ） (2024-10-10T17:49:25Z)
• Disentangling Representations through Multi-task Learning [0.0]
  分類タスクを最適に解決するエージェントにおいて,不整合表現の出現を保証する実験および理論的結果を提供する。 マルチタスクに訓練されたRNNにおいて、これらの予測を実験的に検証し、連続的な誘引子の形で非絡み合った表現を学習する。 私たちは、トランスフォーマーが特に、そのユニークな世界理解能力を説明するような、無関係な表現に向いていることに気付きました。
  論文  参考訳（メタデータ） (2024-07-15T21:32:58Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Investigating the role of model-based learning in exploration and transfer [11.652741003589027]
  本稿では,モデルベースエージェントの文脈における伝達学習について検討する。 モデルベースアプローチは,移動学習におけるモデルフリーベースラインよりも優れていることがわかった。 本研究の結果から,本質的な探索と環境モデルが組み合わさって,自己監督的かつ新たな報酬関数に一般化可能なエージェントの方向性を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2023-02-08T11:49:58Z)
• Inferring Versatile Behavior from Demonstrations by Matching Geometric Descriptors [72.62423312645953]
  人間は直感的にタスクを多目的に解決し、軌道に基づく計画や個々のステップの行動を変化させる。 現在のImitation Learningアルゴリズムは、通常、単調な専門家によるデモンストレーションのみを考慮し、状態アクションベースの設定で行動する。 代わりに、移動プリミティブの混合と分布マッチングの目的を組み合わせることで、専門家の行動と汎用性にマッチする多目的行動を学ぶ。
  論文  参考訳（メタデータ） (2022-10-17T16:42:59Z)
• Uni-Perceiver: Pre-training Unified Architecture for Generic Perception for Zero-shot and Few-shot Tasks [73.63892022944198]
  我々はUni-Perceiverという汎用認識アーキテクチャを提案する。 様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。 その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
  論文  参考訳（メタデータ） (2021-12-02T18:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。