論文の概要: Inference via Interpolation: Contrastive Representations Provably Enable Planning and Inference

• arxiv url: http://arxiv.org/abs/2403.04082v2
• Date: Tue, 18 Jun 2024 16:40:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-20 04:05:40.144349
• Title: Inference via Interpolation: Contrastive Representations Provably Enable Planning and Inference
• Title（参考訳）: 補間による推論:コントラスト表現はおそらく計画と推論を可能にする
• Authors: Benjamin Eysenbach, Vivek Myers, Ruslan Salakhutdinov, Sergey Levine,
• Abstract要約: 時系列データを考えると、“今後どうなるか?”や“どうやって来たのか?”といった質問に答えるにはどうすればよいでしょう? これらの質問は、学習された表現の観点から、いかにコンパクトで閉じた形状の解が得られるかを示す。
• 参考スコア（独自算出の注目度）: 110.47649327040392
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given time series data, how can we answer questions like "what will happen in the future?" and "how did we get here?" These sorts of probabilistic inference questions are challenging when observations are high-dimensional. In this paper, we show how these questions can have compact, closed form solutions in terms of learned representations. The key idea is to apply a variant of contrastive learning to time series data. Prior work already shows that the representations learned by contrastive learning encode a probability ratio. By extending prior work to show that the marginal distribution over representations is Gaussian, we can then prove that joint distribution of representations is also Gaussian. Taken together, these results show that representations learned via temporal contrastive learning follow a Gauss-Markov chain, a graphical model where inference (e.g., prediction, planning) over representations corresponds to inverting a low-dimensional matrix. In one special case, inferring intermediate representations will be equivalent to interpolating between the learned representations. We validate our theory using numerical simulations on tasks up to 46-dimensions.
• Abstract（参考訳）: 時系列データを考えると、“今後どうなるか?”や“どうやって来たのか?”といった質問に答えるにはどうすればよいでしょう? このような確率論的推論の問題は、観測が高次元である場合に困難である。 本稿では,これらの質問に対して,学習表現の観点から,コンパクトで閉じた形状の解が得られるかを示す。 鍵となる考え方は、時系列データにコントラスト学習の変種を適用することである。 従来の研究は、対照的な学習によって学習された表現が確率比を符号化していることを示している。 表現上の限界分布がガウス的であることを示すために先行研究を拡張することで、表現の合同分布もガウス的であることを示すことができる。 これらの結果は、時間的コントラスト学習によって学習された表現は、表現に対する推論(例えば、予測、計画)が低次元行列の反転に対応するグラフィカルモデルであるガウス・マルコフ連鎖に従うことを示している。 ある特別な場合、中間表現を推論することは、学習した表現間の補間と等価である。 最大46次元のタスクの数値シミュレーションを用いて,本理論を検証した。

関連論文リスト

• The "Law" of the Unconscious Contrastive Learner: Probabilistic Alignment of Unpaired Modalities [23.188014611990152]
  本稿では, 対比表現の幾何学的解釈と確率論的解釈について述べる。 これらの表現が確率的グラフィカルモデルと同じ推論の多くにどのように答えるかを示す。 分析では、事前学習されたコントラストモデルを用いた設定でのコントラスト表現と、強化学習における言語あいまいさの2つの新しい方法を提案する。
  論文  参考訳（メタデータ） (2025-01-20T08:10:15Z)
• Disentangled Representation Learning with the Gromov-Monge Gap [65.73194652234848]
  乱れのないデータから歪んだ表現を学習することは、機械学習における根本的な課題である。 本稿では,2次最適輸送に基づく非交叉表現学習手法を提案する。 提案手法の有効性を4つの標準ベンチマークで示す。
  論文  参考訳（メタデータ） (2024-07-10T16:51:32Z)
• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Explaining Probabilistic Models with Distributional Values [12.26389108393613]
  研究によると、ゲーム理論的な説明は誤解を招くか、解釈が難しい可能性がある。 SHAPのような現在の方法と説明したいものの間には、しばしば重大なミスマッチがある、と我々は主張する。 本稿では、協調ゲームや値演算子を一般化することで確率モデルに対するそのようなギャップを解消する。
  論文  参考訳（メタデータ） (2024-02-15T13:50:00Z)
• Contrastive Difference Predictive Coding [79.74052624853303]
  本研究では、時系列データの断片を縫合して、将来の事象の予測を学習するために必要なデータの量を減少させるコントラッシブ予測符号化の時間差版を導入する。 目的条件付きRLの非政治アルゴリズムを導出するために,この表現学習手法を適用した。
  論文  参考訳（メタデータ） (2023-10-31T03:16:32Z)
• PAVI: Plate-Amortized Variational Inference [55.975832957404556]
  数百人の被験者のコホート上で何百万もの計測が行われる大集団研究において、推論は困難である。 この大きな濃度は、オフザシェルフ変分推論(VI)を計算的に非現実的である。 本研究では,大集団研究に効率よく取り組む構造VIファミリーを設計する。
  論文  参考訳（メタデータ） (2023-08-30T13:22:20Z)
• Deducing neighborhoods of classes from a fitted model [68.8204255655161]
  本稿では,新しいタイプの解釈可能な機械学習手法を提案する。 量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。 基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
  論文  参考訳（メタデータ） (2020-09-11T16:35:53Z)
• Probabilistic Future Prediction for Video Scene Understanding [11.236856606065514]
  本稿では,ビデオからの確率論的未来予測のための新しいディープラーニングアーキテクチャを提案する。 我々は、未来の意味論、複雑な現実世界の都市シーンの動きを予測し、この表現を使って自動運転車を制御する。
  論文  参考訳（メタデータ） (2020-03-13T17:48:21Z)
• Elements of Sequential Monte Carlo [21.1067925312595]
  統計学と機械学習の主な問題は、確率分布と予測を計算することである。 主な課題は、これらの難解な期待を近似することである。 シーケンシャルモンテカルロ (Sequence Monte Carlo, SMC) は、近似推論のためのランダムサンプリングに基づく手法のクラスである。
  論文  参考訳（メタデータ） (2019-03-12T09:28:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。