論文の概要: Learning Abstract Representations through Lossy Compression of Multi-Modal Signals

• arxiv url: http://arxiv.org/abs/2101.11376v1
• Date: Wed, 27 Jan 2021 13:19:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-01 23:20:31.960265
• Title: Learning Abstract Representations through Lossy Compression of Multi-Modal Signals
• Title（参考訳）: マルチモーダル信号の損失圧縮による抽象表現の学習
• Authors: Charles Wilmot, Jochen Triesch
• Abstract要約: 2つ以上の入力モダリティを持つマルチモーダル設定における抽象表現の学習について考察する。 複数のモダリティ間で共有される情報のみを識別・保持することで抽象表現を学習するアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 1.9290392443571387
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: A key competence for open-ended learning is the formation of increasingly abstract representations useful for driving complex behavior. Abstract representations ignore specific details and facilitate generalization. Here we consider the learning of abstract representations in a multi-modal setting with two or more input modalities. We treat the problem as a lossy compression problem and show that generic lossy compression of multimodal sensory input naturally extracts abstract representations that tend to strip away modalitiy specific details and preferentially retain information that is shared across the different modalities. Furthermore, we propose an architecture to learn abstract representations by identifying and retaining only the information that is shared across multiple modalities while discarding any modality specific information.
• Abstract（参考訳）: オープンエンド学習の鍵となる能力は、複雑な行動を促進するのに役立つ抽象表現の形成である。 抽象表現は特定の詳細を無視し、一般化を促進する。 ここでは、2つ以上の入力モダリティを持つマルチモーダル設定における抽象表現の学習を検討する。 本稿では,この問題を損失圧縮問題として扱い,マルチモーダル感覚入力の汎用的損失圧縮は,異なるモダリティ間で共有される情報を優先的に保持し,特定のディテールを取り除きやすい抽象表現を自然に抽出することを示す。 さらに,複数のモダリティ間で共有される情報のみを識別・保持し,モダリティ固有の情報を捨てることで抽象表現を学習するアーキテクチャを提案する。

関連論文リスト

• Multimodal Information Bottleneck for Deep Reinforcement Learning with Multiple Sensors [10.454194186065195]
  強化学習はロボット制御タスクにおいて有望な成果を上げてきたが、情報の有効活用に苦慮している。 最近の研究は、複数の感覚入力から関節表現を抽出するために、再構成や相互情報に基づく補助的損失を構築している。 生のマルチモーダル観測について,学習した共同表現で情報を圧縮することが有用である。
  論文  参考訳（メタデータ） (2024-10-23T04:32:37Z)
• Neural Causal Abstractions [63.21695740637627]
  我々は、変数とそのドメインをクラスタリングすることで、因果抽象化の新しいファミリーを開発する。 本稿では,ニューラルネットワークモデルを用いて,そのような抽象化が現実的に学習可能であることを示す。 本実験は、画像データを含む高次元設定に因果推論をスケールする方法を記述し、その理論を支持する。
  論文  参考訳（メタデータ） (2024-01-05T02:00:27Z)
• AbsPyramid: Benchmarking the Abstraction Ability of Language Models with a Unified Entailment Graph [62.685920585838616]
  抽象能力は人間の知性において必須であり、言語モデルでは未探索のままである。 本稿では、抽象知識の221Kテキスト記述を統一したエンテーメントグラフであるAbsPyramidを提案する。
  論文  参考訳（メタデータ） (2023-11-15T18:11:23Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Learning Cross-modality Information Bottleneck Representation for Heterogeneous Person Re-Identification [61.49219876388174]
  Visible-Infrared person re-identification (VI-ReID)は、インテリジェントビデオ監視において重要かつ困難な課題である。 既存の手法は主に共有特徴空間の学習に重点を置いており、可視光と赤外光の相違を減らす。 本稿では,新しい相互情報・モダリティコンセンサスネットワーク,すなわちCMInfoNetを提案し,モダリティ不変な同一性の特徴を抽出する。
  論文  参考訳（メタデータ） (2023-08-29T06:55:42Z)
• Factorized Contrastive Learning: Going Beyond Multi-view Redundancy [116.25342513407173]
  本稿では,マルチビュー冗長性を超えた新しいマルチモーダル表現学習法であるFacterCLを提案する。 大規模な実世界のデータセットでは、FacterCLは共有情報とユニークな情報の両方をキャプチャし、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-06-08T15:17:04Z)
• Multimodal Understanding Through Correlation Maximization and Minimization [23.8764755753415]
  マルチモーダルデータの本質的な性質について,以下の質問をすることで検討する。 汎用マルチモーダルデータのより構造化された潜在表現を学べるか? 数学的にも視覚的にも直感的に、潜在表現が何を捉えているのかを理解できますか?
  論文  参考訳（メタデータ） (2023-05-04T19:53:05Z)
• Multi-view Feature Extraction based on Triple Contrastive Heads [1.4467794332678539]
  三重コントラストヘッドに基づく新しい多視点特徴抽出法を提案する。 提案手法は,マルチビュー特徴抽出に強力な利点をもたらす。
  論文  参考訳（メタデータ） (2023-03-22T14:56:51Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Exploring Multitask Learning for Low-Resource AbstractiveSummarization [0.5801044612920816]
  多くのタスクの組み合わせに対して、マルチタスク設定で訓練されたモデルが抽象的な要約のために訓練されたモデルより優れていることを示す。 また、あるタスクは他のタスクと組み合わせるだけでなく、異なるアーキテクチャやトレーニングコーパスを使用する場合にも、抽象的な要約に一貫した利益が得られます。
  論文  参考訳（メタデータ） (2021-09-17T14:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。