論文の概要: Aligned Contrastive Predictive Coding

• arxiv url: http://arxiv.org/abs/2104.11946v1
• Date: Sat, 24 Apr 2021 13:07:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 14:19:59.296728
• Title: Aligned Contrastive Predictive Coding
• Title（参考訳）: 良性コントラスト予測符号化
• Authors: Jan Chorowski, Grzegorz Ciesielski, Jaros{\l}aw Dzikowski, Adrian {\L}ancucki, Ricard Marxer, Mateusz Opala, Piotr Pusz, Pawe{\l} Rychlikowski, Micha{\l} Stypu{\l}kowski
• Abstract要約: 対照的予測損失を用いて訓練された自己監督モデルが、ゆっくりと変化する潜在表現を抽出する可能性を研究する。 将来の表現ごとに個別の予測を生成するのではなく、モデルはそれらが整列する次の表現よりも短い一連の予測を出力する。
• 参考スコア（独自算出の注目度）: 10.521845940927163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the possibility of forcing a self-supervised model trained using a contrastive predictive loss to extract slowly varying latent representations. Rather than producing individual predictions for each of the future representations, the model emits a sequence of predictions shorter than that of the upcoming representations to which they will be aligned. In this way, the prediction network solves a simpler task of predicting the next symbols, but not their exact timing, while the encoding network is trained to produce piece-wise constant latent codes. We evaluate the model on a speech coding task and demonstrate that the proposed Aligned Contrastive Predictive Coding (ACPC) leads to higher linear phone prediction accuracy and lower ABX error rates, while being slightly faster to train due to the reduced number of prediction heads.
• Abstract（参考訳）: コントラスト予測損失を用いて学習した自己教師付きモデルを用いて,ゆるやかに変化する潜在表現を抽出する可能性について検討する。 将来の表現ごとに個別の予測を生成するのではなく、モデルはそれらが整列する次の表現よりも短い一連の予測を出力する。 このようにして、予測ネットワークは、次のシンボルを予測するよりも、その正確なタイミングではなく、より簡単なタスクを解決し、一方、符号化ネットワークは、断片的に一定の潜在コードを生成するように訓練される。 そこで本研究では,音声符号化タスクにおけるモデルの評価を行い,提案手法を用いたコントラスト予測符号化(acpc)により,線形電話の予測精度が向上し,abx誤り率が低下することを示す。

関連論文リスト

• Reinforced Decoder: Towards Training Recurrent Neural Networks for Time Series Forecasting [1.5213268724320657]
  繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルは、マルチステップの時系列予測に広く応用されている。 これらのモデルは通常、デコーダ入力として以前の予測または実際の観測値を使用して訓練されたデコーダを含む。 本研究は、代替デコーダ入力を生成する補助モデルを導入する強化デコーダと呼ばれる新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-06-14T00:24:29Z)
• TokenUnify: Scalable Autoregressive Visual Pre-training with Mixture Token Prediction [61.295716741720284]
  TokenUnifyは、ランダムトークン予測、次のトークン予測、次のトークン予測を統合する新しい事前学習手法である。 TokenUnifyと共同で,超高解像度の大規模電子顕微鏡画像データセットを構築した。 このデータセットには1億2000万以上の注釈付きボクセルが含まれており、これまでで最大のニューロンセグメンテーションデータセットとなっている。
  論文  参考訳（メタデータ） (2024-05-27T05:45:51Z)
• Conformal online model aggregation [29.43493007296859]
  本稿では,オンライン環境における共形モデルアグリゲーションへの新たなアプローチを提案する。 これは、過去の性能に基づいてモデルの重みが時間とともに適応される投票によって、いくつかのアルゴリズムの予測セットを組み合わせることに基づいている。
  論文  参考訳（メタデータ） (2024-03-22T15:40:06Z)
• Non-autoregressive Sequence-to-Sequence Vision-Language Models [63.77614880533488]
  本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。 このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
  論文  参考訳（メタデータ） (2024-03-04T17:34:59Z)
• Explain, Adapt and Retrain: How to improve the accuracy of a PPM classifier through different explanation styles [4.6281736192809575]
  最近の論文では、結果指向の予測に予測プロセスモニタリングモデルがなぜ間違った予測を提供するのかを説明するための新しいアプローチが紹介されている。 半自動的な方法でミスを犯す予測者を誘導する最も一般的な特徴を特定するために、説明を利用する方法を示す。
  論文  参考訳（メタデータ） (2023-03-27T06:37:55Z)
• Debiased Fine-Tuning for Vision-language Models by Prompt Regularization [50.41984119504716]
  本稿では,Prompt Regularization(ProReg)と呼ばれる下流タスクにおける大規模視覚事前訓練モデルの微調整のための新しいパラダイムを提案する。 ProRegは、事前訓練されたモデルに微調整を正規化するよう促すことで予測を使用する。 本稿では,従来の微調整,ゼロショットプロンプト,プロンプトチューニング,その他の最先端手法と比較して,ProRegの性能が一貫して高いことを示す。
  論文  参考訳（メタデータ） (2023-01-29T11:53:55Z)
• Predictive Inference with Feature Conformal Prediction [80.77443423828315]
  本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。 理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。 提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-10-01T02:57:37Z)
• Zero-Episode Few-Shot Contrastive Predictive Coding: Solving intelligence tests without prior training [0.0]
  我々は、予測潜在変数を見つけ、それを用いて将来の画像の一貫性を評価することは、データ効率の予測を可能にすると論じている。 1次元のマルコフコントラスト予測符号化モデルがシーケンス完了インテリジェンステストを効率よく解くことを示す。
  論文  参考訳（メタデータ） (2022-05-04T07:46:03Z)
• Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
  実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。 わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。 これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
  論文  参考訳（メタデータ） (2022-04-17T15:55:18Z)
• Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
  本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。 我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T12:52:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。