論文の概要: Using Contrastive Learning with Generative Similarity to Learn Spaces that Capture Human Inductive Biases
- arxiv url: http://arxiv.org/abs/2405.19420v1
- Date: Wed, 29 May 2024 18:01:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-05-31 19:35:56.962308
- Title: Using Contrastive Learning with Generative Similarity to Learn Spaces that Capture Human Inductive Biases
- Title（参考訳）: 生成的類似性を持つコントラスト学習を用いたヒト誘導的ビアーゼをキャプチャする空間の学習
- Authors: Raja Marjieh, Sreejan Kumar, Declan Campbell, Liyi Zhang, Gianluca Bencomo, Jake Snell, Thomas L. Griffiths,
- Abstract要約: 人間は、少数の例から学び、感覚データから有用な情報を抽象化するために、強い帰納バイアスに頼る。
本稿では, 2つのデータポイントが同一分布からサンプリングされた場合, 2つのデータポイントが類似していると考えられる生成的類似性の概念を提案する。
生成的類似性は、その正確な形が難解である場合でも、対照的な学習目標を定義するのに有効であることを示す。
- 参考スコア（独自算出の注目度）: 9.63129238638334
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Humans rely on strong inductive biases to learn from few examples and abstract useful information from sensory data. Instilling such biases in machine learning models has been shown to improve their performance on various benchmarks including few-shot learning, robustness, and alignment. However, finding effective training procedures to achieve that goal can be challenging as psychologically-rich training data such as human similarity judgments are expensive to scale, and Bayesian models of human inductive biases are often intractable for complex, realistic domains. Here, we address this challenge by introducing a Bayesian notion of generative similarity whereby two datapoints are considered similar if they are likely to have been sampled from the same distribution. This measure can be applied to complex generative processes, including probabilistic programs. We show that generative similarity can be used to define a contrastive learning objective even when its exact form is intractable, enabling learning of spatial embeddings that express specific inductive biases. We demonstrate the utility of our approach by showing how it can be used to capture human inductive biases for geometric shapes, and to better distinguish different abstract drawing styles that are parameterized by probabilistic programs.
- Abstract（参考訳）: 人間は、少数の例から学び、感覚データから有用な情報を抽象化するために、強い帰納バイアスに頼る。
機械学習モデルにそのようなバイアスを注入することで、数ショットの学習、堅牢性、アライメントなど、さまざまなベンチマークのパフォーマンスが向上することが示されている。
しかし、人間の類似性判断のような心理的に豊かなトレーニングデータがスケールするにはコストがかかるため、目標を達成するための効果的なトレーニング手順を見つけることは困難である。
ここでは,2つのデータポイントが同一分布からサンプリングされた場合の類似性を考えるベイズ的類似性の概念を導入することで,この問題に対処する。
この尺度は確率的プログラムを含む複雑な生成過程に適用できる。
生成的類似性は, 特定の帰納的バイアスを表現する空間埋め込みの学習を可能にするため, 正確な形状を抽出可能な場合でも, 対照的な学習目標を定義するのに有効であることを示す。
本研究では, 幾何学的形状の帰納的バイアスを捕捉し, 確率的プログラムによってパラメータ化される抽象的描画スタイルをよりよく識別するために, 提案手法の有用性を実証する。
関連論文リスト
- Turing Representational Similarity Analysis (RSA): A Flexible Method for Measuring Alignment Between Human and Artificial Intelligence [0.62914438169038]
我々は,AIと人間間のアライメントを定量化するために,ペアの類似度評価を用いたチューリング表現類似度分析(RSA)を開発した。
我々は,テキストと画像のモダリティ間のセマンティックアライメント(セマンティックアライメント)を検証し,Large Language and Vision Language Model(LLM, VLM)の類似性判断が,グループレベルでも個人レベルでも人間の反応とどのように一致しているかを測定した。
論文 参考訳（メタデータ） (2024-11-30T20:24:52Z) - Analyzing Generative Models by Manifold Entropic Metrics [8.477943884416023]
抽出可能な情報理論評価指標を新たに導入する。
EMNISTデータセット上の各種正規化フローアーキテクチャと$beta$-VAEを比較した。
私たちの実験で最も興味深い発見は、トレーニング中に整列および非整合表現に収束する誘導バイアスの観点から、モデルアーキテクチャとトレーニング手順のランク付けです。
論文 参考訳（メタデータ） (2024-10-25T09:35:00Z) - Learning Interpretable Concepts: Unifying Causal Representation Learning and Foundation Models [80.32412260877628]
人間の解釈可能な概念をデータから学習する方法を研究する。
両分野からアイデアをまとめ、多様なデータから概念を確実に回収できることを示す。
論文 参考訳（メタデータ） (2024-02-14T15:23:59Z) - Evaluating alignment between humans and neural network representations in image-based learning tasks [5.657101730705275]
トレーニング済みの860ドルのニューラルネットワークモデルの表現が、人間の学習軌跡にどのようにマッピングされているかテストしました。
トレーニングデータセットのサイズは人間の選択に沿った中核的な決定要因であるのに対し、マルチモーダルデータ(テキストと画像)による対照的なトレーニングは、人間の一般化を予測するために現在公開されているモデルの一般的な特徴であることがわかった。
結論として、事前訓練されたニューラルネットワークは、タスク間で伝達可能な認知の基本的な側面を捉えているように見えるため、認知モデルのための表現を抽出するのに役立つ。
論文 参考訳（メタデータ） (2023-06-15T08:18:29Z) - Latent Traversals in Generative Models as Potential Flows [113.4232528843775]
我々は,学習された動的ポテンシャルランドスケープを持つ潜在構造をモデル化することを提案する。
物理、最適輸送、神経科学にインスパイアされたこれらの潜在的景観は、物理的に現実的な偏微分方程式として学習される。
本手法は,最先端のベースラインよりも定性的かつ定量的に歪んだ軌跡を実現する。
論文 参考訳（メタデータ） (2023-04-25T15:53:45Z) - Predicting Human Similarity Judgments Using Large Language Models [13.33450619901885]
本稿では,テキスト記述に基づく類似性判断の効率的な予測手法を提案する。
要求される説明の数は刺激の数とともに直線的にしか増加せず、必要なデータ量が劇的に減少する。
本手法は, 自然画像の6つのデータセットを用いて検証し, 視覚情報に基づく従来の手法より優れていることを示す。
論文 参考訳（メタデータ） (2022-02-09T21:09:25Z) - On the use of Cortical Magnification and Saccades as Biological Proxies
for Data Augmentation [9.848635287149355]
ほとんどの自己監督的手法は、同じ画像の異なる変換の不変表現を学習するようシステムに促す。
本稿では,これらの強化のリバースエンジニアリングを,生物学的あるいは知覚学的に妥当なものにしようと試みる。
ランダムな収穫は皮質の倍率によって代用でき、画像のササードライクなサンプリングも表現学習に役立てることができる。
論文 参考訳（メタデータ） (2021-12-14T05:38:26Z) - Exploring Alignment of Representations with Human Perception [47.53970721813083]
モデルによって類似した表現にマッピングされた入力は、人間によっても同様に認識されるべきであることを示す。
我々のアプローチは、モデルが人間の知覚に合致する程度を測ります。
アーキテクチャやトレーニングパラダイム,トレーニング損失,データ拡張といったモデルのさまざまな特性が,人間の知覚に整合した表現の学習において重要な役割を担っていることが分かりました。
論文 参考訳（メタデータ） (2021-11-29T17:26:50Z) - Discriminative Attribution from Counterfactuals [64.94009515033984]
本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。
本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
論文 参考訳（メタデータ） (2021-09-28T00:53:34Z) - Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。
従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。
本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
論文 参考訳（メタデータ） (2021-01-21T01:46:36Z) - Uses and Abuses of the Cross-Entropy Loss: Case Studies in Modern Deep
Learning [29.473503894240096]
我々は、厳密な分類ではなく、単純な表現の値を取るデータにカテゴリ横断エントロピー損失を用いることに焦点をあてる。
このプラクティスは、ラベルの平滑化やアクター/ミリ波強化学習など、ニューラルネットワークアーキテクチャにおいて標準的なものだ。
我々はこれらのモデルに対して確率論的に着想を得た代替案を提案し、より原理的で理論的に魅力的であるアプローチを提供する。
論文 参考訳（メタデータ） (2020-11-10T16:44:35Z) - Action similarity judgment based on kinematic primitives [48.99831733355487]
運動学に基づく計算モデルが動作類似性を決定する範囲について検討する。
選択されたモデルは、発達ロボティクスにルーツを持ち、学習されたキネマティックプリミティブに基づいて行動分類を行う。
その結果, 動作類似性タスクにおいて, モデルと人的性能の双方が, 運動レベルの特徴に基づく精度が高いことがわかった。
論文 参考訳（メタデータ） (2020-08-30T13:58:47Z) - Bias-Awareness for Zero-Shot Learning the Seen and Unseen [47.09887661463657]
一般化されたゼロショット学習は、目に見えないクラスと見えないクラスの両方からの入力を認識する。
一般化ゼロショット学習のための意味埋め込み空間に入力をマッピングするバイアス対応学習者を提案する。
論文 参考訳（メタデータ） (2020-08-25T17:38:40Z) - Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。
両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。
RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
論文 参考訳（メタデータ） (2020-07-23T14:00:34Z) - Human Trajectory Forecasting in Crowds: A Deep Learning Perspective [89.4600982169]
本稿では,既存の深層学習に基づくソーシャルインタラクションのモデル化手法について詳細に分析する。
本稿では、これらの社会的相互作用を効果的に捉えるための知識に基づく2つのデータ駆動手法を提案する。
我々は,人間の軌道予測分野において,重要かつ欠落したコンポーネントであるTrajNet++を大規模に開発する。
論文 参考訳（メタデータ） (2020-07-07T17:19:56Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳（メタデータ） (2020-03-25T11:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。