論文の概要: Inference via Interpolation: Contrastive Representations Provably Enable Planning and Inference

• arxiv url: http://arxiv.org/abs/2403.04082v3
• Date: Wed, 30 Oct 2024 21:52:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:59:12.813814
• Title: Inference via Interpolation: Contrastive Representations Provably Enable Planning and Inference
• Title（参考訳）: 補間による推論:コントラスト表現はおそらく計画と推論を可能にする
• Authors: Benjamin Eysenbach, Vivek Myers, Ruslan Salakhutdinov, Sergey Levine,
• Abstract要約: 時系列データを考えると、“今後どうなるか?”や“どうやって来たのか?”といった質問に答えるにはどうすればよいでしょう? これらの質問は、学習された表現の観点から、いかにコンパクトで閉じた形状の解が得られるかを示す。
• 参考スコア（独自算出の注目度）: 110.47649327040392
• License:
• Abstract: Given time series data, how can we answer questions like "what will happen in the future?" and "how did we get here?" These sorts of probabilistic inference questions are challenging when observations are high-dimensional. In this paper, we show how these questions can have compact, closed form solutions in terms of learned representations. The key idea is to apply a variant of contrastive learning to time series data. Prior work already shows that the representations learned by contrastive learning encode a probability ratio. By extending prior work to show that the marginal distribution over representations is Gaussian, we can then prove that joint distribution of representations is also Gaussian. Taken together, these results show that representations learned via temporal contrastive learning follow a Gauss-Markov chain, a graphical model where inference (e.g., prediction, planning) over representations corresponds to inverting a low-dimensional matrix. In one special case, inferring intermediate representations will be equivalent to interpolating between the learned representations. We validate our theory using numerical simulations on tasks up to 46-dimensions.
• Abstract（参考訳）: 時系列データを考えると、“今後どうなるか?”や“どうやって来たのか?”といった質問に答えるにはどうすればよいでしょう? このような確率論的推論の問題は、観測が高次元である場合に困難である。 本稿では,これらの質問に対して,学習表現の観点から,コンパクトで閉じた形状の解が得られるかを示す。 鍵となる考え方は、時系列データにコントラスト学習の変種を適用することである。 従来の研究は、対照的な学習によって学習された表現が確率比を符号化していることを示している。 表現上の限界分布がガウス的であることを示すために先行研究を拡張することで、表現の合同分布もガウス的であることを示すことができる。 これらの結果は、時間的コントラスト学習によって学習された表現は、表現に対する推論(例えば、予測、計画)が低次元行列の反転に対応するグラフィカルモデルであるガウス・マルコフ連鎖に従うことを示している。 ある特別な場合、中間表現を推論することは、学習した表現間の補間と等価である。 最大46次元のタスクの数値シミュレーションを用いて,本理論を検証した。

関連論文リスト

• Disentangled Representation Learning with the Gromov-Monge Gap [65.73194652234848]
  乱れのないデータから歪んだ表現を学習することは、機械学習における根本的な課題である。 本稿では,2次最適輸送に基づく非交叉表現学習手法を提案する。 提案手法の有効性を4つの標準ベンチマークで示す。
  論文  参考訳（メタデータ） (2024-07-10T16:51:32Z)
• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Explaining Probabilistic Models with Distributional Values [12.26389108393613]
  研究によると、ゲーム理論的な説明は誤解を招くか、解釈が難しい可能性がある。 SHAPのような現在の方法と説明したいものの間には、しばしば重大なミスマッチがある、と我々は主張する。 本稿では、協調ゲームや値演算子を一般化することで確率モデルに対するそのようなギャップを解消する。
  論文  参考訳（メタデータ） (2024-02-15T13:50:00Z)
• Contrastive Difference Predictive Coding [79.74052624853303]
  本研究では、時系列データの断片を縫合して、将来の事象の予測を学習するために必要なデータの量を減少させるコントラッシブ予測符号化の時間差版を導入する。 目的条件付きRLの非政治アルゴリズムを導出するために,この表現学習手法を適用した。
  論文  参考訳（メタデータ） (2023-10-31T03:16:32Z)
• PAVI: Plate-Amortized Variational Inference [55.975832957404556]
  数百人の被験者のコホート上で何百万もの計測が行われる大集団研究において、推論は困難である。 この大きな濃度は、オフザシェルフ変分推論(VI)を計算的に非現実的である。 本研究では,大集団研究に効率よく取り組む構造VIファミリーを設計する。
  論文  参考訳（メタデータ） (2023-08-30T13:22:20Z)
• On the Dynamics of Inference and Learning [0.0]
  本稿では,このベイズ更新過程を連続力学系として扱う。 クラムラーラオ境界が飽和すると、学習率は単純な1/T$パワーローによって制御されることを示す。
  論文  参考訳（メタデータ） (2022-04-19T18:04:36Z)
• A visual introduction to Gaussian Belief Propagation [22.02770204949673]
  本稿では、任意に構造化された因子グラフのノード間でメッセージを渡すことによって、近似確率推論アルゴリズムの視覚的導入を提案する。 ループ的信念伝播の特別な場合として、GBP更新はローカル情報のみに依存し、メッセージスケジュールとは独立して収束する。 我々の重要な論点は、最近のコンピューティングハードウェアのトレンドを考えると、GBPは将来の機械学習システムのためのスケーラブルな分散確率的推論フレームワークとして機能する適切な計算特性を持っているということです。
  論文  参考訳（メタデータ） (2021-07-05T22:43:27Z)
• Deducing neighborhoods of classes from a fitted model [68.8204255655161]
  本稿では,新しいタイプの解釈可能な機械学習手法を提案する。 量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。 基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
  論文  参考訳（メタデータ） (2020-09-11T16:35:53Z)
• Probabilistic Future Prediction for Video Scene Understanding [11.236856606065514]
  本稿では,ビデオからの確率論的未来予測のための新しいディープラーニングアーキテクチャを提案する。 我々は、未来の意味論、複雑な現実世界の都市シーンの動きを予測し、この表現を使って自動運転車を制御する。
  論文  参考訳（メタデータ） (2020-03-13T17:48:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。