論文の概要: A Nurse is Blue and Elephant is Rugby: Cross Domain Alignment in Large Language Models Reveal Human-like Patterns
- arxiv url: http://arxiv.org/abs/2405.14863v1
- Date: Thu, 23 May 2024 17:59:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 13:17:34.785907
- Title: A Nurse is Blue and Elephant is Rugby: Cross Domain Alignment in Large Language Models Reveal Human-like Patterns
- Title（参考訳）: A Nurse is Blue and Elephant is Rugby: Cross Domain Alignment in Large Language Models Reveal Human-like Patterns
- Authors: Asaf Yehudai, Taelin Karidi, Gabriel Stanovsky, Ariel Goldstein, Omri Abend,
- Abstract要約: クロスドメインアライメント(クロスドメインアライメント)とは、あるドメインから別のドメインへ概念をマッピングするタスクを指す。
この一見特異なタスクは、人々が具体的で抽象的な概念をどのように表現するかを調査するために設計されている。
我々は、このタスクを認知科学から適応させ、大規模言語モデルの概念化と推論能力を評価する。
- 参考スコア（独自算出の注目度）: 26.002770816065652
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-domain alignment refers to the task of mapping a concept from one domain to another. For example, ``If a \textit{doctor} were a \textit{color}, what color would it be?''. This seemingly peculiar task is designed to investigate how people represent concrete and abstract concepts through their mappings between categories and their reasoning processes over those mappings. In this paper, we adapt this task from cognitive science to evaluate the conceptualization and reasoning abilities of large language models (LLMs) through a behavioral study. We examine several LLMs by prompting them with a cross-domain mapping task and analyzing their responses at both the population and individual levels. Additionally, we assess the models' ability to reason about their predictions by analyzing and categorizing their explanations for these mappings. The results reveal several similarities between humans' and models' mappings and explanations, suggesting that models represent concepts similarly to humans. This similarity is evident not only in the model representation but also in their behavior. Furthermore, the models mostly provide valid explanations and deploy reasoning paths that are similar to those of humans.
- Abstract（参考訳）: クロスドメインアライメント(クロスドメインアライメント)とは、あるドメインから別のドメインへ概念をマッピングするタスクを指す。
例えば、 `` a \textit{doctor} が \textit{color} であれば、それは何色か?
この一見特異なタスクは、カテゴリ間のマッピングとそれらのマッピングに対する推論プロセスを通じて、人々が具体的および抽象的な概念をどのように表現するかを調査するために設計されている。
本稿では,この課題を認知科学から応用して,大規模言語モデル(LLM)の概念化と推論能力を評価する。
クロスドメインマッピングタスクを起動し,その応答を個体群と個体群の両方で分析することにより,複数のLSMを検証した。
さらに、これらのマッピングに対するモデルの説明を分析し、分類することで、モデルが予測を推論する能力を評価する。
結果は、人間のマッピングとモデルのマッピングと説明の間にいくつかの類似点を明らかにし、モデルが人間に似た概念を表現することを示唆している。
この類似性は、モデル表現だけでなく、その振る舞いにも明らかである。
さらに、モデルは主に有効な説明を提供し、人間に類似した推論経路を配置する。
関連論文リスト
- Robust and Interpretable Medical Image Classifiers via Concept
Bottleneck Models [49.95603725998561]
本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。
具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
論文 参考訳（メタデータ） (2023-10-04T21:57:09Z) - Fixing confirmation bias in feature attribution methods via semantic
match [4.733072355085082]
モデル上の仮説が特徴属性によって確認されるかどうかを検証するためには,構造的アプローチが必要である,と我々は主張する。
これは、人間の概念と(サブシンボリックな)説明の「セマンティックマッチ」と呼ばれるものです。
論文 参考訳（メタデータ） (2023-07-03T09:50:08Z) - Interpretable Alzheimer's Disease Classification Via a Contrastive
Diffusion Autoencoder [2.32264126110326]
コントラスト損失と拡散オートエンコーダのバックボーンを組み合わせて意味論的に意味のある潜在空間を生成する。
2次元MRI画像のデータセット上で,ブラックボックスアプローチに匹敵する分類精度を実現する。
この研究は、医用画像における正確かつ解釈可能な深層学習の発展に寄与している。
論文 参考訳（メタデータ） (2023-06-05T16:38:48Z) - Probing Graph Representations [77.7361299039905]
グラフ表現でキャプチャされた意味のある情報の量を定量化するために、探索フレームワークを使用します。
本研究は, グラフモデルにおける帰納的バイアスを理解するための探索の可能性を示すものである。
グラフベースモデルを評価する上で有用な診断ツールとして,探索を提唱する。
論文 参考訳（メタデータ） (2023-03-07T14:58:18Z) - PTR: A Benchmark for Part-based Conceptual, Relational, and Physical
Reasoning [135.2892665079159]
PTRと呼ばれる大規模診断用視覚推論データセットを新たに導入する。
PTRは70kのRGBD合成画像と地上の真実のオブジェクトと部分レベルのアノテーションを含んでいる。
このデータセット上で、いくつかの最先端の視覚的推論モデルを調べ、それらがまだ多くの驚くべき誤りを犯していることを観察する。
論文 参考訳（メタデータ） (2021-12-09T18:59:34Z) - Exploring Alignment of Representations with Human Perception [47.53970721813083]
モデルによって類似した表現にマッピングされた入力は、人間によっても同様に認識されるべきであることを示す。
我々のアプローチは、モデルが人間の知覚に合致する程度を測ります。
アーキテクチャやトレーニングパラダイム,トレーニング損失,データ拡張といったモデルのさまざまな特性が,人間の知覚に整合した表現の学習において重要な役割を担っていることが分かりました。
論文 参考訳（メタデータ） (2021-11-29T17:26:50Z) - Contrastive Explanations for Model Interpretability [77.92370750072831]
分類モデルの対照的説明を生成する手法を提案する。
本手法は潜在空間へのモデル表現の投影に基づいている。
本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
論文 参考訳（メタデータ） (2021-03-02T00:36:45Z) - Abstracting Deep Neural Networks into Concept Graphs for Concept Level
Interpretability [0.39635467316436124]
我々は,学習した概念のグラフィカルな表現を構築することで,医療領域における画像処理タスクを実行する訓練されたモデルの振る舞いを理解することを試みる。
本稿では,脳腫瘍の分節化と基底画像の分類という2つの生体医学的問題に対する提案手法の適用について述べる。
論文 参考訳（メタデータ） (2020-08-14T16:34:32Z) - Towards Visually Explaining Similarity Models [29.704524987493766]
本稿では,画像類似度予測のための勾配に基づく視覚的注意を生成する手法を提案する。
学習した機能の埋め込みにのみ依存することにより、我々のアプローチがCNNベースの類似性アーキテクチャのあらゆる種類に適用可能であることを示す。
得られたアテンションマップは、単に解釈可能性だけでなく、新たなトレーニング可能な制約でモデル学習プロセス自体に注入可能であることを示す。
論文 参考訳（メタデータ） (2020-08-13T17:47:41Z) - Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。
両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。
RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
論文 参考訳（メタデータ） (2020-07-23T14:00:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。