論文の概要: Using Contrastive Learning with Generative Similarity to Learn Spaces that Capture Human Inductive Biases

• arxiv url: http://arxiv.org/abs/2405.19420v2
• Date: Tue, 01 Oct 2024 00:14:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-02 16:33:07.958770
• Title: Using Contrastive Learning with Generative Similarity to Learn Spaces that Capture Human Inductive Biases
• Title（参考訳）: 生成的類似性を持つコントラスト学習を用いたヒト誘導的ビアーゼをキャプチャする空間の学習
• Authors: Raja Marjieh, Sreejan Kumar, Declan Campbell, Liyi Zhang, Gianluca Bencomo, Jake Snell, Thomas L. Griffiths,
• Abstract要約: 人間は、少数の例から学び、感覚データから有用な情報を抽象化するために、強い帰納バイアスに頼る。 本稿では, 2つのデータポイントが同一分布からサンプリングされた場合, 2つのデータポイントが類似していると考えられる生成的類似性の概念を提案する。 生成的類似性は、その正確な形が難解である場合でも、対照的な学習目標を定義するのに有効であることを示す。
• 参考スコア（独自算出の注目度）: 9.63129238638334
• License:
• Abstract: Humans rely on strong inductive biases to learn from few examples and abstract useful information from sensory data. Instilling such biases in machine learning models has been shown to improve their performance on various benchmarks including few-shot learning, robustness, and alignment. However, finding effective training procedures to achieve that goal can be challenging as psychologically-rich training data such as human similarity judgments are expensive to scale, and Bayesian models of human inductive biases are often intractable for complex, realistic domains. Here, we address this challenge by introducing a Bayesian notion of generative similarity whereby two datapoints are considered similar if they are likely to have been sampled from the same distribution. This measure can be applied to complex generative processes, including probabilistic programs. We show that generative similarity can be used to define a contrastive learning objective even when its exact form is intractable, enabling learning of spatial embeddings that express specific inductive biases. We demonstrate the utility of our approach by showing that it can be used to capture human inductive biases for geometric shapes, distinguish different abstract drawing styles that are parameterized by probabilistic programs, and capture abstract high-level categories that enable generalization.
• Abstract（参考訳）: 人間は、少数の例から学び、感覚データから有用な情報を抽象化するために、強い帰納バイアスに頼る。 機械学習モデルにそのようなバイアスを注入することで、数ショットの学習、堅牢性、アライメントなど、さまざまなベンチマークのパフォーマンスが向上することが示されている。 しかし、人間の類似性判断のような心理的に豊かなトレーニングデータがスケールするにはコストがかかるため、目標を達成するための効果的なトレーニング手順を見つけることは困難である。 ここでは,2つのデータポイントが同一分布からサンプリングされた場合の類似性を考えるベイズ的類似性の概念を導入することで,この問題に対処する。 この尺度は確率的プログラムを含む複雑な生成過程に適用できる。 生成的類似性は, 特定の帰納的バイアスを表現する空間埋め込みの学習を可能にするため, 正確な形状を抽出可能な場合でも, 対照的な学習目標を定義するのに有効であることを示す。 本研究では, 幾何学的形状の帰納的バイアスを捉え, 確率的プログラムによってパラメータ化される異なる抽象的描画スタイルを識別し, 一般化を可能にする抽象的高次カテゴリを抽出できることを示す。

関連論文リスト

• Analyzing Generative Models by Manifold Entropic Metrics [8.477943884416023]
  抽出可能な情報理論評価指標を新たに導入する。 EMNISTデータセット上の各種正規化フローアーキテクチャと$beta$-VAEを比較した。 私たちの実験で最も興味深い発見は、トレーニング中に整列および非整合表現に収束する誘導バイアスの観点から、モデルアーキテクチャとトレーニング手順のランク付けです。
  論文  参考訳（メタデータ） (2024-10-25T09:35:00Z)
• Latent Traversals in Generative Models as Potential Flows [113.4232528843775]
  我々は,学習された動的ポテンシャルランドスケープを持つ潜在構造をモデル化することを提案する。 物理、最適輸送、神経科学にインスパイアされたこれらの潜在的景観は、物理的に現実的な偏微分方程式として学習される。 本手法は,最先端のベースラインよりも定性的かつ定量的に歪んだ軌跡を実現する。
  論文  参考訳（メタデータ） (2023-04-25T15:53:45Z)
• Predicting Human Similarity Judgments Using Large Language Models [13.33450619901885]
  本稿では,テキスト記述に基づく類似性判断の効率的な予測手法を提案する。 要求される説明の数は刺激の数とともに直線的にしか増加せず、必要なデータ量が劇的に減少する。 本手法は, 自然画像の6つのデータセットを用いて検証し, 視覚情報に基づく従来の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-09T21:09:25Z)
• Discriminative Attribution from Counterfactuals [64.94009515033984]
  本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。 本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-28T00:53:34Z)
• Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
  人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。 従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。 本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2021-01-21T01:46:36Z)
• Uses and Abuses of the Cross-Entropy Loss: Case Studies in Modern Deep Learning [29.473503894240096]
  我々は、厳密な分類ではなく、単純な表現の値を取るデータにカテゴリ横断エントロピー損失を用いることに焦点をあてる。 このプラクティスは、ラベルの平滑化やアクター/ミリ波強化学習など、ニューラルネットワークアーキテクチャにおいて標準的なものだ。 我々はこれらのモデルに対して確率論的に着想を得た代替案を提案し、より原理的で理論的に魅力的であるアプローチを提供する。
  論文  参考訳（メタデータ） (2020-11-10T16:44:35Z)
• Bias-Awareness for Zero-Shot Learning the Seen and Unseen [47.09887661463657]
  一般化されたゼロショット学習は、目に見えないクラスと見えないクラスの両方からの入力を認識する。 一般化ゼロショット学習のための意味埋め込み空間に入力をマッピングするバイアス対応学習者を提案する。
  論文  参考訳（メタデータ） (2020-08-25T17:38:40Z)
• Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
  本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。 両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。 RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
  論文  参考訳（メタデータ） (2020-07-23T14:00:34Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。