論文の概要: Position: Foundation Models Need Digital Twin Representations

• arxiv url: http://arxiv.org/abs/2505.03798v1
• Date: Thu, 01 May 2025 22:17:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-08 19:07:35.819078
• Title: Position: Foundation Models Need Digital Twin Representations
• Title（参考訳）: 位置: ファンデーションモデルはデジタル双対表現を必要とする
• Authors: Yiqing Shen, Hao Ding, Lalithkumar Seenivasan, Tianmin Shu, Mathias Unberath,
• Abstract要約: 現在の基礎モデル(FM)は、連続した実世界のマルチモーダルデータを個別のトークンに直接分解するトークン表現に依存している。 本稿では,機械学習コミュニティにおいて,FM構築のためのトークン表現の代替として,デジタルツイン(DT)表現を考慮すべきである,と論じる。
• 参考スコア（独自算出の注目度）: 17.86589733662011
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current foundation models (FMs) rely on token representations that directly fragment continuous real-world multimodal data into discrete tokens. They limit FMs to learning real-world knowledge and relationships purely through statistical correlation rather than leveraging explicit domain knowledge. Consequently, current FMs struggle with maintaining semantic coherence across modalities, capturing fine-grained spatial-temporal dynamics, and performing causal reasoning. These limitations cannot be overcome by simply scaling up model size or expanding datasets. This position paper argues that the machine learning community should consider digital twin (DT) representations, which are outcome-driven digital representations that serve as building blocks for creating virtual replicas of physical processes, as an alternative to the token representation for building FMs. Finally, we discuss how DT representations can address these challenges by providing physically grounded representations that explicitly encode domain knowledge and preserve the continuous nature of real-world processes.
• Abstract（参考訳）: 現在の基礎モデル(FM)は、連続した実世界のマルチモーダルデータを個別のトークンに直接分解するトークン表現に依存している。 FMは、明示的なドメイン知識を活用するのではなく、統計的相関を通じて純粋に現実世界の知識と関係を学ぶことに制限される。 その結果、現在のFMは、モダリティ間のセマンティックコヒーレンスを維持し、きめ細かい空間的時間的ダイナミクスを捉え、因果推論を行うのに苦労している。 これらの制限は、単にモデルサイズをスケールアップしたり、データセットを拡張することで克服できない。 このポジションペーパーでは、機械学習コミュニティは、FMを構築するためのトークン表現の代替として、物理プロセスの仮想レプリカを作成するためのビルディングブロックとして機能する結果駆動型デジタル表現であるデジタルツイン(DT)表現を検討するべきであると論じている。 最後に、ドメインの知識を明示的にエンコードし、現実世界のプロセスの継続的な性質を保った物理基底表現を提供することにより、DT表現がこれらの課題にどのように対処できるかについて議論する。

関連論文リスト

• Let Synthetic Data Shine: Domain Reassembly and Soft-Fusion for Single Domain Generalization [68.41367635546183]
  単一ドメインの一般化は、単一のソースからのデータを使用して、さまざまなシナリオで一貫したパフォーマンスでモデルをトレーニングすることを目的としている。 モデル一般化を改善するために合成データを活用した学習フレームワークDRSFを提案する。
  論文  参考訳（メタデータ） (2025-03-17T18:08:03Z)
• Transfer Learning through Enhanced Sufficient Representation: Enriching Source Domain Knowledge with Target Data [2.308168896770315]
  TESR(Enhanced Sufficient Representation)によるトランスファーラーニング(Transfer Learning)と呼ばれる新しいトランスファーラーニング手法を提案する。 私たちのアプローチは、ソースドメインから十分かつ不変な表現を推定することから始まります。 この表現は、ターゲットデータから派生した独立したコンポーネントで拡張され、ターゲットドメインに十分で、その特定の特性に適応できることが保証される。
  論文  参考訳（メタデータ） (2025-02-22T13:18:28Z)
• Exploring Representation-Aligned Latent Space for Better Generation [86.45670422239317]
  生成性能を改善するために,セマンティックな事前情報を統合するReaLSを導入する。 本研究では、ReaLSでトレーニングされたDETとSiTが、FID測定値の15%改善を実現することを示す。 拡張されたセマンティック潜在空間は、セグメンテーションや深さ推定のようなより知覚的な下流タスクを可能にする。
  論文  参考訳（メタデータ） (2025-02-01T07:42:12Z)
• Transformers Use Causal World Models in Maze-Solving Tasks [49.67445252528868]
  我々は迷路解決タスクで訓練されたトランスフォーマーで世界モデルを特定する。 機能を抑圧するよりも、機能をアクティベートする方が簡単であることが分かりました。 位置符号化方式は、モデルの残留ストリーム内でのワールドモデルがどのように構成されているかに影響を与えるように見える。
  論文  参考訳（メタデータ） (2024-12-16T15:21:04Z)
• Latent Communication in Artificial Neural Networks [2.5947832846531886]
  この論文は神経表現の普遍性と再利用性に焦点を当てている。 我々の研究から得られた顕著な観察は、潜在表現における類似性の出現である。
  論文  参考訳（メタデータ） (2024-06-16T17:13:58Z)
• Generalizable Implicit Neural Representation As a Universal Spatiotemporal Traffic Data Learner [46.866240648471894]
  時空間交通データ(STTD)は、マルチスケール交通システムの複雑な動的挙動を測定する。 本稿では,STTDを暗黙的ニューラル表現としてパラメータ化することで,STTD学習問題に対処する新しいパラダイムを提案する。 実世界のシナリオにおける広範な実験を通じて,その有効性を検証し,廊下からネットワークスケールへの応用を示す。
  論文  参考訳（メタデータ） (2024-06-13T02:03:22Z)
• Spatiotemporal Implicit Neural Representation as a Generalized Traffic Data Learner [46.866240648471894]
  時空間交通データ(STTD)は、マルチスケール交通システムの複雑な動的挙動を測定する。 本稿では,STTDを暗黙的ニューラル表現としてパラメータ化することで,STTD学習問題に対処する新しいパラダイムを提案する。 実世界のシナリオにおける広範な実験を通じて,その有効性を検証し,廊下からネットワークスケールへの応用を示す。
  論文  参考訳（メタデータ） (2024-05-06T06:23:06Z)
• Discrete, compositional, and symbolic representations through attractor dynamics [51.20712945239422]
  我々は,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラルシステムモデルを導入する。 我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。 このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIにおける表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
  論文  参考訳（メタデータ） (2023-10-03T05:40:56Z)
• From latent dynamics to meaningful representations [0.5728954513076778]
  純粋に動的に制約された表現学習フレームワークを提案する。 これは力学系における表現学習のより自然な制約であることを示す。 我々は,現実の蛍光DNAフィルムデータセットを含む様々なシステムに対して,我々の枠組みを検証する。
  論文  参考訳（メタデータ） (2022-09-02T09:27:37Z)
• Continuous-Time and Multi-Level Graph Representation Learning for Origin-Destination Demand Prediction [52.0977259978343]
  本稿では,原位置需要予測(CMOD)のための連続時間および多段階動的グラフ表現学習法を提案する。 状態ベクトルは、過去のトランザクション情報を保持し、最近発生したトランザクションに従って継続的に更新される。 北京地下鉄とニューヨークタクシーの2つの実世界のデータセットを用いて実験を行い、そのモデルが最先端のアプローチに対して優れていることを実証した。
  論文  参考訳（メタデータ） (2022-06-30T03:37:50Z)
• Cross-domain Imitation from Observations [50.669343548588294]
  模擬学習は、専門家の行動を利用して訓練エージェントに適切な報酬関数を設計することの難しさを回避しようとする。 本稿では,専門家とエージェントMDPの相違点が存在する場合に,タスクを模倣する方法の問題について検討する。 このようなドメイン間の対応を学習するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-20T21:08:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。