論文の概要: Using Contrastive Learning with Generative Similarity to Learn Spaces that Capture Human Inductive Biases
- arxiv url: http://arxiv.org/abs/2405.19420v2
- Date: Tue, 01 Oct 2024 00:14:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-02 16:33:07.958770
- Title: Using Contrastive Learning with Generative Similarity to Learn Spaces that Capture Human Inductive Biases
- Title（参考訳）: 生成的類似性を持つコントラスト学習を用いたヒト誘導的ビアーゼをキャプチャする空間の学習
- Authors: Raja Marjieh, Sreejan Kumar, Declan Campbell, Liyi Zhang, Gianluca Bencomo, Jake Snell, Thomas L. Griffiths,
- Abstract要約: 人間は、少数の例から学び、感覚データから有用な情報を抽象化するために、強い帰納バイアスに頼る。
本稿では, 2つのデータポイントが同一分布からサンプリングされた場合, 2つのデータポイントが類似していると考えられる生成的類似性の概念を提案する。
生成的類似性は、その正確な形が難解である場合でも、対照的な学習目標を定義するのに有効であることを示す。
- 参考スコア（独自算出の注目度）: 9.63129238638334
- License:
- Abstract: Humans rely on strong inductive biases to learn from few examples and abstract useful information from sensory data. Instilling such biases in machine learning models has been shown to improve their performance on various benchmarks including few-shot learning, robustness, and alignment. However, finding effective training procedures to achieve that goal can be challenging as psychologically-rich training data such as human similarity judgments are expensive to scale, and Bayesian models of human inductive biases are often intractable for complex, realistic domains. Here, we address this challenge by introducing a Bayesian notion of generative similarity whereby two datapoints are considered similar if they are likely to have been sampled from the same distribution. This measure can be applied to complex generative processes, including probabilistic programs. We show that generative similarity can be used to define a contrastive learning objective even when its exact form is intractable, enabling learning of spatial embeddings that express specific inductive biases. We demonstrate the utility of our approach by showing that it can be used to capture human inductive biases for geometric shapes, distinguish different abstract drawing styles that are parameterized by probabilistic programs, and capture abstract high-level categories that enable generalization.
- Abstract（参考訳）: 人間は、少数の例から学び、感覚データから有用な情報を抽象化するために、強い帰納バイアスに頼る。
機械学習モデルにそのようなバイアスを注入することで、数ショットの学習、堅牢性、アライメントなど、さまざまなベンチマークのパフォーマンスが向上することが示されている。
しかし、人間の類似性判断のような心理的に豊かなトレーニングデータがスケールするにはコストがかかるため、目標を達成するための効果的なトレーニング手順を見つけることは困難である。
ここでは,2つのデータポイントが同一分布からサンプリングされた場合の類似性を考えるベイズ的類似性の概念を導入することで,この問題に対処する。
この尺度は確率的プログラムを含む複雑な生成過程に適用できる。
生成的類似性は, 特定の帰納的バイアスを表現する空間埋め込みの学習を可能にするため, 正確な形状を抽出可能な場合でも, 対照的な学習目標を定義するのに有効であることを示す。
本研究では, 幾何学的形状の帰納的バイアスを捉え, 確率的プログラムによってパラメータ化される異なる抽象的描画スタイルを識別し, 一般化を可能にする抽象的高次カテゴリを抽出できることを示す。
関連論文リスト
- Turing Representational Similarity Analysis (RSA): A Flexible Method for Measuring Alignment Between Human and Artificial Intelligence [0.62914438169038]
我々は,AIと人間間のアライメントを定量化するために,ペアの類似度評価を用いたチューリング表現類似度分析(RSA)を開発した。
我々は,テキストと画像のモダリティ間のセマンティックアライメント(セマンティックアライメント)を検証し,Large Language and Vision Language Model(LLM, VLM)の類似性判断が,グループレベルでも個人レベルでも人間の反応とどのように一致しているかを測定した。
論文 参考訳（メタデータ） (2024-11-30T20:24:52Z) - Learning Interpretable Concepts: Unifying Causal Representation Learning and Foundation Models [80.32412260877628]
人間の解釈可能な概念をデータから学習する方法を研究する。
両分野からアイデアをまとめ、多様なデータから概念を確実に回収できることを示す。
論文 参考訳（メタデータ） (2024-02-14T15:23:59Z) - Evaluating alignment between humans and neural network representations in image-based learning tasks [5.657101730705275]
トレーニング済みの860ドルのニューラルネットワークモデルの表現が、人間の学習軌跡にどのようにマッピングされているかテストしました。
トレーニングデータセットのサイズは人間の選択に沿った中核的な決定要因であるのに対し、マルチモーダルデータ(テキストと画像)による対照的なトレーニングは、人間の一般化を予測するために現在公開されているモデルの一般的な特徴であることがわかった。
結論として、事前訓練されたニューラルネットワークは、タスク間で伝達可能な認知の基本的な側面を捉えているように見えるため、認知モデルのための表現を抽出するのに役立つ。
論文 参考訳（メタデータ） (2023-06-15T08:18:29Z) - Predicting Human Similarity Judgments Using Large Language Models [13.33450619901885]
本稿では,テキスト記述に基づく類似性判断の効率的な予測手法を提案する。
要求される説明の数は刺激の数とともに直線的にしか増加せず、必要なデータ量が劇的に減少する。
本手法は, 自然画像の6つのデータセットを用いて検証し, 視覚情報に基づく従来の手法より優れていることを示す。
論文 参考訳（メタデータ） (2022-02-09T21:09:25Z) - On the use of Cortical Magnification and Saccades as Biological Proxies
for Data Augmentation [9.848635287149355]
ほとんどの自己監督的手法は、同じ画像の異なる変換の不変表現を学習するようシステムに促す。
本稿では,これらの強化のリバースエンジニアリングを,生物学的あるいは知覚学的に妥当なものにしようと試みる。
ランダムな収穫は皮質の倍率によって代用でき、画像のササードライクなサンプリングも表現学習に役立てることができる。
論文 参考訳（メタデータ） (2021-12-14T05:38:26Z) - Exploring Alignment of Representations with Human Perception [47.53970721813083]
モデルによって類似した表現にマッピングされた入力は、人間によっても同様に認識されるべきであることを示す。
我々のアプローチは、モデルが人間の知覚に合致する程度を測ります。
アーキテクチャやトレーニングパラダイム,トレーニング損失,データ拡張といったモデルのさまざまな特性が,人間の知覚に整合した表現の学習において重要な役割を担っていることが分かりました。
論文 参考訳（メタデータ） (2021-11-29T17:26:50Z) - Action similarity judgment based on kinematic primitives [48.99831733355487]
運動学に基づく計算モデルが動作類似性を決定する範囲について検討する。
選択されたモデルは、発達ロボティクスにルーツを持ち、学習されたキネマティックプリミティブに基づいて行動分類を行う。
その結果, 動作類似性タスクにおいて, モデルと人的性能の双方が, 運動レベルの特徴に基づく精度が高いことがわかった。
論文 参考訳（メタデータ） (2020-08-30T13:58:47Z) - Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。
両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。
RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
論文 参考訳（メタデータ） (2020-07-23T14:00:34Z) - Human Trajectory Forecasting in Crowds: A Deep Learning Perspective [89.4600982169]
本稿では,既存の深層学習に基づくソーシャルインタラクションのモデル化手法について詳細に分析する。
本稿では、これらの社会的相互作用を効果的に捉えるための知識に基づく2つのデータ駆動手法を提案する。
我々は,人間の軌道予測分野において,重要かつ欠落したコンポーネントであるTrajNet++を大規模に開発する。
論文 参考訳（メタデータ） (2020-07-07T17:19:56Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳（メタデータ） (2020-03-25T11:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。