論文の概要: Sparse Representation Learning with Modified q-VAE towards Minimal Realization of World Model

• arxiv url: http://arxiv.org/abs/2208.03936v1
• Date: Mon, 8 Aug 2022 06:47:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 14:25:39.897930
• Title: Sparse Representation Learning with Modified q-VAE towards Minimal Realization of World Model
• Title（参考訳）: 修正q-VAEを用いたスパース表現学習による世界モデルの最小化
• Authors: Taisuke Kobayashi and Ryoma Watanuki
• Abstract要約: 我々はTsallisベースの変分オートエンコーダ(q-VAE)の解析と改善を行った。 提案手法により,スパーシフィケーションの利点を実験的に検証した。
• 参考スコア（独自算出の注目度）: 8.071506311915396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extraction of low-dimensional latent space from high-dimensional observation data is essential to construct a real-time robot controller with a world model on the extracted latent space. However, there is no established method for tuning the dimension size of the latent space automatically, suffering from finding the necessary and sufficient dimension size, i.e. the minimal realization of the world model. In this study, we analyze and improve Tsallis-based variational autoencoder (q-VAE), and reveal that, under an appropriate configuration, it always facilitates making the latent space sparse. Even if the dimension size of the pre-specified latent space is redundant compared to the minimal realization, this sparsification collapses unnecessary dimensions, allowing for easy removal of them. We experimentally verified the benefits of the sparsification by the proposed method that it can easily find the necessary and sufficient six dimensions for a reaching task with a mobile manipulator that requires a six-dimensional state space. Moreover, by planning with such a minimal-realization world model learned in the extracted dimensions, the proposed method was able to exert a more optimal action sequence in real-time, reducing the reaching accomplishment time by around 20 %. The attached video is uploaded on youtube: https://youtu.be/-QjITrnxaRs
• Abstract（参考訳）: 高次元観測データからの低次元潜在空間の抽出は、抽出された潜在空間上の世界モデルを用いたリアルタイムロボットコントローラの構築に不可欠である。 しかし、潜在空間の次元サイズを自動的に調整する方法は確立されておらず、必要かつ十分な次元サイズ、すなわち世界モデルの最小化を見つけるのに苦労している。 本研究では, Tsallis をベースとした変分オートエンコーダ (q-VAE) の解析と改良を行い, 適切な構成で, 遅延空間のスパース化が常に容易であることを明らかにする。 事前指定された潜在空間の次元サイズが最小化よりも冗長であるとしても、このスパース化は不要次元を崩壊させ、容易に取り除くことができる。 提案手法により, 6次元状態空間を必要とする移動マニピュレータを用いて, 到達作業に必要な6次元と必要な6次元を容易に見つけられるようにした。 さらに, 抽出次元で学習した最小化世界モデルを用いて, 提案手法により, より最適な動作シーケンスをリアルタイムで実現し, 到達時間を約20%短縮することができた。 添付されたビデオは youtube にアップロードされる。

関連論文リスト

• TeZO: Empowering the Low-Rankness on the Temporal Dimension in the Zeroth-Order Optimization for Fine-tuning LLMs [58.19080159470868]
  モデルと時間次元の両方にわたって低ランク度をキャプチャする新しい低ランクZO推定器TeZOを提案する。 具体的には、時間次元に沿ったZO摂動を3次元テンソルとして表現し、Canonical Polyadic Decomposition (CPD)を用いて各低ランク2次元行列を抽出する。
  論文  参考訳（メタデータ） (2025-01-31T11:34:03Z)
• Principal component analysis balancing prediction and approximation accuracy for spatial data [2.4849437811455797]
  我々は、下流モデルにおける元のデータに対する近似の近接性と低次元スコアの有用性を定式化する。 最適トレードオフを実現するフレキシブル次元削減アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-03T04:24:48Z)
• SMORE: Simulataneous Map and Object REconstruction [66.66729715211642]
  本稿では,LiDARから大規模都市景観を動的に再現する手法を提案する。 我々は、世界が厳格に動く物体と背景に分解される動的なシーンの構成モデルを総合的に捉え、最適化する。
  論文  参考訳（メタデータ） (2024-06-19T23:53:31Z)
• Maintaining Structural Integrity in Parameter Spaces for Parameter Efficient Fine-tuning [78.39310274926535]
  さまざまな下流タスクに事前訓練された基礎モデルを適応させることは、人工知能において一般的である。 これを軽減するために、事前訓練されたモデルの重みをより資源効率の良い方法で更新するために、いくつかの微調整技術が開発されている。 本稿では,多次元パラメータ空間用に設計された一般化されたパラメータ効率の微調整フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:04:42Z)
• Learning Low-dimensional Latent Dynamics from High-dimensional Observations: Non-asymptotics and Lower Bounds [7.154936191995907]
  我々は,低次元潜在変数を持つ線形時間不変モデル(LTI)の学習に焦点をあてるが,高次元観測は行わない。 我々は,観測者の列空間のような高次元の特徴を復元し,データを低次元に埋め込み,低次元モデルパラメータを学習するアルゴリズムを提案する。 その後、メタデータセットからLTIシステムの学習を容易にするエンド・ツー・エンドのアルゴリズムが提案される。
  論文  参考訳（メタデータ） (2024-05-09T20:30:10Z)
• Learning Low-Rank Latent Spaces with Simple Deterministic Autoencoder: Theoretical and Empirical Insights [1.246305060872372]
  Low-Rank Autoencoder (LoRAE) は低ランク遅延空間を学習する単純なオートエンコーダ拡張である。 我々のモデルは画像生成や下流分類といった様々なタスクを通して優れている。
  論文  参考訳（メタデータ） (2023-10-24T21:24:27Z)
• Data-driven low-dimensional dynamic model of Kolmogorov flow [0.0]
  流れのダイナミクスを捉える低次モデル (ROM) はシミュレーションの計算コストの削減に重要である。 この研究は、フローのダイナミクスと特性を効果的にキャプチャする最小次元モデルのためのデータ駆動フレームワークを示す。 我々はこれをカオス的かつ断続的な行動からなる体制におけるコルモゴロフ流に適用する。
  論文  参考訳（メタデータ） (2022-10-29T23:05:39Z)
• Controlled Gaussian Process Dynamical Models with Application to Robotic Cloth Manipulation [10.04778213256535]
  我々は高次元非線形力学学習のための制御ガウス過程力学モデル(CGPDM)を提案する。 CGPDMは低次元の潜在空間で構成され、外部制御変数が作用できる関連するダイナミクスを持つ。 幅広い動作を一般化し、これまで目に見えない一連の制御動作によって得られた布の動きを確実に予測することができる。
  論文  参考訳（メタデータ） (2021-03-11T11:34:12Z)
• A Local Similarity-Preserving Framework for Nonlinear Dimensionality Reduction with Neural Networks [56.068488417457935]
  本稿では,Vec2vecという新しい局所非線形手法を提案する。 ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。 8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-03-10T23:10:47Z)
• Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning [52.624194343095304]
  我々は、内在次元のレンズを通して微調整を分析することは、経験的および理論的直観をもたらすと論じる。 実験により、一般的な事前学習モデルは本質的な次元が極めて低いことを示す。
  論文  参考訳（メタデータ） (2020-12-22T07:42:30Z)
• Mutual Information Maximization for Robust Plannable Representations [82.83676853746742]
  モデルに基づく強化学習のための情報理論表現学習アルゴリズムMIROを提案する。 提案手法は, 邪魔や散らかったシーンの存在下で, 再建目的よりも頑健であることを示す。
  論文  参考訳（メタデータ） (2020-05-16T21:58:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。