論文の概要: Exploring Action-Centric Representations Through the Lens of Rate-Distortion Theory
- arxiv url: http://arxiv.org/abs/2409.08892v1
- Date: Fri, 13 Sep 2024 15:07:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-16 16:09:45.264583
- Title: Exploring Action-Centric Representations Through the Lens of Rate-Distortion Theory
- Title（参考訳）: 速度歪理論のレンズによる行動中心表現の探索
- Authors: Miguel de Llanza Varona, Christopher L. Buckley, Beren Millidge,
- Abstract要約: アクション中心の表現はデータの効率的な損失圧縮であると主張する。
最適な動作を達成するためにデータの完全な再構築はめったに必要ないと結論付けている。
- 参考スコア（独自算出の注目度）: 7.945169878921404
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Organisms have to keep track of the information in the environment that is relevant for adaptive behaviour. Transmitting information in an economical and efficient way becomes crucial for limited-resourced agents living in high-dimensional environments. The efficient coding hypothesis claims that organisms seek to maximize the information about the sensory input in an efficient manner. Under Bayesian inference, this means that the role of the brain is to efficiently allocate resources in order to make predictions about the hidden states that cause sensory data. However, neither of those frameworks accounts for how that information is exploited downstream, leaving aside the action-oriented role of the perceptual system. Rate-distortion theory, which defines optimal lossy compression under constraints, has gained attention as a formal framework to explore goal-oriented efficient coding. In this work, we explore action-centric representations in the context of rate-distortion theory. We also provide a mathematical definition of abstractions and we argue that, as a summary of the relevant details, they can be used to fix the content of action-centric representations. We model action-centric representations using VAEs and we find that such representations i) are efficient lossy compressions of the data; ii) capture the task-dependent invariances necessary to achieve successful behaviour; and iii) are not in service of reconstructing the data. Thus, we conclude that full reconstruction of the data is rarely needed to achieve optimal behaviour, consistent with a teleological approach to perception.
- Abstract（参考訳）: 組織は適応的な行動に関連する環境の情報を追跡しなければなりません。
経済的かつ効率的な方法で情報を伝達することは、高次元環境に生息する限られた資源のエージェントにとって重要である。
効率的なコーディング仮説は、有機体が感覚入力に関する情報を効率的に最大化しようと試みていると主張している。
ベイズ推定では、脳の役割は感覚データを引き起こす隠された状態について予測するために資源を効率的に割り当てることである。
しかし、どちらのフレームワークも、その情報が下流でどのように利用されるかを説明しておらず、知覚システムのアクション指向の役割は別として残されている。
制約下での最適損失圧縮を定義する速度歪み理論は、ゴール指向の効率的な符号化を探求するための正式な枠組みとして注目されている。
本研究では、速度歪理論の文脈における行動中心表現について考察する。
抽象化の数学的定義も提供し、関連する詳細をまとめると、アクション中心の表現の内容を修正するために使用できると論じる。
我々はVAEを用いて行動中心表現をモデル化し、そのような表現を見いだす。
一 効率のよいデータ圧縮であること。
二 動作を成功させるために必要なタスク依存の不変性をつかむこと。
三 データの再構成をしていないこと。
したがって、認識に対するテレロジカルアプローチと整合して、最適な行動を達成するためにデータの完全な再構築はめったに必要ないと結論付けている。
関連論文リスト
- Transferring disentangled representations: bridging the gap between synthetic and real images [1.0760018917783072]
実データに適用可能な汎用的不整合表現を学習するために,合成データを活用する可能性を検討する。
本稿では,表現中の因子の質を測定するために,新しい解釈可能な介入基準を提案する。
以上の結果から, 合成データから実データへの表現の変換が可能であること, 有効であることが示唆された。
論文 参考訳（メタデータ） (2024-09-26T16:25:48Z) - Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
論文 参考訳（メタデータ） (2023-11-03T03:18:40Z) - Information-Theoretic Odometry Learning [83.36195426897768]
生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。
提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
論文 参考訳（メタデータ） (2022-03-11T02:37:35Z) - Fair Representation Learning using Interpolation Enabled Disentanglement [9.043741281011304]
a) 下流タスクに対する学習された表現の有用性を確保しつつ、公平な不整合表現を同時に学べるか、(b) 提案手法が公正かつ正確であるかどうかに関する理論的知見を提供する。
前者に対応するために,補間可能外乱を用いた公正表現学習法FRIEDを提案する。
論文 参考訳（メタデータ） (2021-07-31T17:32:12Z) - Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。
現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。
本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
論文 参考訳（メタデータ） (2021-06-14T20:48:48Z) - Generative Counterfactuals for Neural Networks via Attribute-Informed
Perturbation [51.29486247405601]
AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。
異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。
実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
論文 参考訳（メタデータ） (2021-01-18T08:37:13Z) - Loss Bounds for Approximate Influence-Based Abstraction [81.13024471616417]
影響に基づく抽象化は、システムの残りの部分が与える「影響」とともに、局所的なサブプロブレムをモデル化することでレバレッジを得ることを目的としている。
本稿では,理論的観点から,そのような手法の性能について考察する。
交叉エントロピーで訓練されたニューラルネットワークは、近似的な影響表現を学習するのに適していることを示す。
論文 参考訳（メタデータ） (2020-11-03T15:33:10Z) - Provably Efficient Causal Reinforcement Learning with Confounded
Observational Data [135.64775986546505]
オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。
提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-22T14:49:33Z) - On the Sensory Commutativity of Action Sequences for Embodied Agents [2.320417845168326]
群論の数学的形式論に基づくエンボディエージェントの知覚について検討する。
本稿では,エージェントの自由度が環境に与える影響を計測する感覚コミュニケーション確率基準を提案する。
本研究では,SCPと行動系列の可換性を用いて環境中の物体を学習する方法を実証的に説明する。
論文 参考訳（メタデータ） (2020-02-13T16:58:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。