論文の概要: Learning Human-Aligned Representations with Contrastive Learning and Generative Similarity

• arxiv url: http://arxiv.org/abs/2405.19420v3
• Date: Fri, 31 Jan 2025 16:19:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 13:59:27.630003
• Title: Learning Human-Aligned Representations with Contrastive Learning and Generative Similarity
• Title（参考訳）: コントラスト学習と生成的類似性を用いたヒューマンアライン表現の学習
• Authors: Raja Marjieh, Sreejan Kumar, Declan Campbell, Liyi Zhang, Gianluca Bencomo, Jake Snell, Thomas L. Griffiths,
• Abstract要約: 人間は、少数の例から学び、感覚データから有用な情報を抽象化するために効果的な表現に頼る。 ベイズ的類似性の概念を用いて、2つのデータポイントが同じ分布からサンプリングされた場合、類似していると考えられる。 本研究では, 形状規則性の人間的表現, ユークリッド幾何学的概念, 自然画像のセマンティック階層の抽出に有効であることを示す。
• 参考スコア（独自算出の注目度）: 9.63129238638334
• License:
• Abstract: Humans rely on effective representations to learn from few examples and abstract useful information from sensory data. Inducing such representations in machine learning models has been shown to improve their performance on various benchmarks such as few-shot learning and robustness. However, finding effective training procedures to achieve that goal can be challenging as psychologically rich training data such as human similarity judgments are expensive to scale, and Bayesian models of human inductive biases are often intractable for complex, realistic domains. Here, we address this challenge by leveraging a Bayesian notion of generative similarity whereby two data points are considered similar if they are likely to have been sampled from the same distribution. This measure can be applied to complex generative processes, including probabilistic programs. We incorporate generative similarity into a contrastive learning objective to enable learning of embeddings that express human cognitive representations. We demonstrate the utility of our approach by showing that it can be used to capture human-like representations of shape regularity, abstract Euclidean geometric concepts, and semantic hierarchies for natural images.
• Abstract（参考訳）: 人間は、少数の例から学び、感覚データから有用な情報を抽象化するために効果的な表現に頼る。 このような表現を機械学習モデルに導入することで、少数ショット学習やロバストネスなど、さまざまなベンチマークのパフォーマンスが向上することが示されている。 しかし、人間の類似性判断のような心理的に豊かなトレーニングデータがスケールするにはコストがかかるため、目標を達成するための効果的なトレーニング手順を見つけることは困難である。 ここでは、2つのデータポイントが同一分布からサンプリングされた場合、類似していると考えられるベイズ的類似性の概念を活用することで、この問題に対処する。 この尺度は確率的プログラムを含む複雑な生成過程に適用できる。 生成的類似性は、人間の認知表現を表現する埋め込みの学習を可能にするために、対照的な学習目的に組み込む。 本研究では, 形状規則性の人間的表現, ユークリッド幾何学的概念, 自然画像のセマンティック階層の抽出に有効であることを示す。

関連論文リスト

• Turing Representational Similarity Analysis (RSA): A Flexible Method for Measuring Alignment Between Human and Artificial Intelligence [0.62914438169038]
  我々は,AIと人間間のアライメントを定量化するために,ペアの類似度評価を用いたチューリング表現類似度分析(RSA)を開発した。 我々は,テキストと画像のモダリティ間のセマンティックアライメント(セマンティックアライメント)を検証し,Large Language and Vision Language Model(LLM, VLM)の類似性判断が,グループレベルでも個人レベルでも人間の反応とどのように一致しているかを測定した。
  論文  参考訳（メタデータ） (2024-11-30T20:24:52Z)
• Learning Interpretable Concepts: Unifying Causal Representation Learning and Foundation Models [80.32412260877628]
  人間の解釈可能な概念をデータから学習する方法を研究する。 両分野からアイデアをまとめ、多様なデータから概念を確実に回収できることを示す。
  論文  参考訳（メタデータ） (2024-02-14T15:23:59Z)
• Evaluating alignment between humans and neural network representations in image-based learning tasks [5.657101730705275]
  トレーニング済みの860ドルのニューラルネットワークモデルの表現が、人間の学習軌跡にどのようにマッピングされているかテストしました。 トレーニングデータセットのサイズは人間の選択に沿った中核的な決定要因であるのに対し、マルチモーダルデータ(テキストと画像)による対照的なトレーニングは、人間の一般化を予測するために現在公開されているモデルの一般的な特徴であることがわかった。 結論として、事前訓練されたニューラルネットワークは、タスク間で伝達可能な認知の基本的な側面を捉えているように見えるため、認知モデルのための表現を抽出するのに役立つ。
  論文  参考訳（メタデータ） (2023-06-15T08:18:29Z)
• Predicting Human Similarity Judgments Using Large Language Models [13.33450619901885]
  本稿では,テキスト記述に基づく類似性判断の効率的な予測手法を提案する。 要求される説明の数は刺激の数とともに直線的にしか増加せず、必要なデータ量が劇的に減少する。 本手法は, 自然画像の6つのデータセットを用いて検証し, 視覚情報に基づく従来の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-09T21:09:25Z)
• On the use of Cortical Magnification and Saccades as Biological Proxies for Data Augmentation [9.848635287149355]
  ほとんどの自己監督的手法は、同じ画像の異なる変換の不変表現を学習するようシステムに促す。 本稿では,これらの強化のリバースエンジニアリングを,生物学的あるいは知覚学的に妥当なものにしようと試みる。 ランダムな収穫は皮質の倍率によって代用でき、画像のササードライクなサンプリングも表現学習に役立てることができる。
  論文  参考訳（メタデータ） (2021-12-14T05:38:26Z)
• Exploring Alignment of Representations with Human Perception [47.53970721813083]
  モデルによって類似した表現にマッピングされた入力は、人間によっても同様に認識されるべきであることを示す。 我々のアプローチは、モデルが人間の知覚に合致する程度を測ります。 アーキテクチャやトレーニングパラダイム,トレーニング損失,データ拡張といったモデルのさまざまな特性が,人間の知覚に整合した表現の学習において重要な役割を担っていることが分かりました。
  論文  参考訳（メタデータ） (2021-11-29T17:26:50Z)
• Action similarity judgment based on kinematic primitives [48.99831733355487]
  運動学に基づく計算モデルが動作類似性を決定する範囲について検討する。 選択されたモデルは、発達ロボティクスにルーツを持ち、学習されたキネマティックプリミティブに基づいて行動分類を行う。 その結果, 動作類似性タスクにおいて, モデルと人的性能の双方が, 運動レベルの特徴に基づく精度が高いことがわかった。
  論文  参考訳（メタデータ） (2020-08-30T13:58:47Z)
• Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
  本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。 両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。 RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
  論文  参考訳（メタデータ） (2020-07-23T14:00:34Z)
• Human Trajectory Forecasting in Crowds: A Deep Learning Perspective [89.4600982169]
  本稿では,既存の深層学習に基づくソーシャルインタラクションのモデル化手法について詳細に分析する。 本稿では、これらの社会的相互作用を効果的に捉えるための知識に基づく2つのデータ駆動手法を提案する。 我々は,人間の軌道予測分野において,重要かつ欠落したコンポーネントであるTrajNet++を大規模に開発する。
  論文  参考訳（メタデータ） (2020-07-07T17:19:56Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。