論文の概要: Turing Representational Similarity Analysis (RSA): A Flexible Method for Measuring Alignment Between Human and Artificial Intelligence

• arxiv url: http://arxiv.org/abs/2412.00577v1
• Date: Sat, 30 Nov 2024 20:24:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:46:38.755856
• Title: Turing Representational Similarity Analysis (RSA): A Flexible Method for Measuring Alignment Between Human and Artificial Intelligence
• Title（参考訳）: チューリング表現類似性分析(RSA):人間と人工知能のアライメント測定のための柔軟な方法
• Authors: Mattson Ogg, Ritwik Bose, Jamie Scharf, Christopher Ratto, Michael Wolmetz,
• Abstract要約: 我々は,AIと人間間のアライメントを定量化するために,ペアの類似度評価を用いたチューリング表現類似度分析(RSA)を開発した。 我々は,テキストと画像のモダリティ間のセマンティックアライメント(セマンティックアライメント)を検証し,Large Language and Vision Language Model(LLM, VLM)の類似性判断が,グループレベルでも個人レベルでも人間の反応とどのように一致しているかを測定した。
• 参考スコア（独自算出の注目度）: 0.62914438169038
• License:
• Abstract: As we consider entrusting Large Language Models (LLMs) with key societal and decision-making roles, measuring their alignment with human cognition becomes critical. This requires methods that can assess how these systems represent information and facilitate comparisons to human understanding across diverse tasks. To meet this need, we developed Turing Representational Similarity Analysis (RSA), a method that uses pairwise similarity ratings to quantify alignment between AIs and humans. We tested this approach on semantic alignment across text and image modalities, measuring how different Large Language and Vision Language Model (LLM and VLM) similarity judgments aligned with human responses at both group and individual levels. GPT-4o showed the strongest alignment with human performance among the models we tested, particularly when leveraging its text processing capabilities rather than image processing, regardless of the input modality. However, no model we studied adequately captured the inter-individual variability observed among human participants. This method helped uncover certain hyperparameters and prompts that could steer model behavior to have more or less human-like qualities at an inter-individual or group level. Turing RSA enables the efficient and flexible quantification of human-AI alignment and complements existing accuracy-based benchmark tasks. We demonstrate its utility across multiple modalities (words, sentences, images) for understanding how LLMs encode knowledge and for examining representational alignment with human cognition.
• Abstract（参考訳）: 大規模言語モデル(LLM)に重要な社会的・意思決定的役割を委譲することを考えると、人間の認知との整合性を測定することが重要である。 これは、これらのシステムが情報をどのように表現するかを評価し、多様なタスクにおける人間の理解との比較を容易にする方法を必要とする。 このニーズを満たすために、AIと人間のアライメントを定量化するために、ペアの類似度評価を用いたチューリング表現類似度分析(RSA)を開発した。 我々は,テキストと画像のモダリティ間のセマンティックアライメント(セマンティックアライメント)を検証し,Large Language and Vision Language Model(LLM, VLM)の類似性判断が,グループレベルでも個人レベルでも人間の反応とどのように一致しているかを測定した。 GPT-4oは、入力のモダリティに関わらず、特に画像処理よりもテキスト処理機能を活用する場合、テストしたモデルの中で、人間のパフォーマンスと最強の整合性を示した。 しかし, 被験者間で観察された個人間変動を適切に捉えたモデルは存在しなかった。 この手法は、特定のハイパーパラメータを明らかにするのに役立ち、モデル行動が個人間またはグループレベルで、多かれ少なかれ人間のような性質を持つように仕向けることを可能にする。 チューリングRSAは、人間のAIアライメントの効率的で柔軟な定量化を可能にし、既存の精度ベースのベンチマークタスクを補完する。 我々は、LLMが知識をエンコードし、人間の認知と表現的アライメントを調べる方法を理解するために、複数のモダリティ(単語、文、画像)にまたがるその有用性を実証する。

関連論文リスト

• HLB: Benchmarking LLMs' Humanlikeness in Language Use [2.438748974410787]
  20大言語モデル(LLM)を評価する総合的人間類似度ベンチマーク(HLB)を提案する。 実験では2000人以上の被験者から回答を収集し,LSMの成果と比較した。 以上の結果から,LLMが様々な言語レベルにおいてヒトの反応をいかにうまく再現するかの微妙な相違が明らかとなった。
  論文  参考訳（メタデータ） (2024-09-24T09:02:28Z)
• PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
  社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。 モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
  論文  参考訳（メタデータ） (2024-07-17T08:13:22Z)
• You Only Learn One Query: Learning Unified Human Query for Single-Stage Multi-Person Multi-Task Human-Centric Perception [37.667147915777534]
  人間中心の知覚は、コンピュータビジョンの長年の問題である。 本稿では,一段階多人数マルチタスク人間中心認識(HCP)のための統合多目的フレームワーク(HQNet)を提案する。 Human Queryは、個人のための複雑なインスタンスレベルの機能をキャプチャし、複雑なマルチパーソンシナリオを分離する。
  論文  参考訳（メタデータ） (2023-12-09T10:36:43Z)
• Detecting Any Human-Object Interaction Relationship: Universal HOI Detector with Spatial Prompt Learning on Foundation Models [55.20626448358655]
  本研究では,ビジョン・ランゲージ(VL)基礎モデルと大規模言語モデル(LLM)を用いて,オープンワールド環境におけるユニバーサルインタラクション認識について検討する。 我々の設計にはHO Prompt-guided Decoder (HOPD) が含まれており、基礎モデルにおける高次関係表現と画像内の様々なHOペアとの結合を容易にする。 オープンカテゴリの対話認識では,対話文と解釈文の2つのタイプがサポートされている。
  論文  参考訳（メタデータ） (2023-11-07T08:27:32Z)
• Multimodality and Attention Increase Alignment in Natural Language Prediction Between Humans and Computational Models [0.8139163264824348]
  人間は、次の単語の処理を容易にするために、視覚的手がかりのような健全なマルチモーダル機能を使用することが知られている。 マルチモーダル計算モデルは、視覚的注意機構を使用して視覚的および言語的データを統合して、次の単語の確率を割り当てることができる。 本研究では,人間からの予測可能性の推定値が,マルチモーダルモデルと非モーダルモデルとのスコアとより密に一致していることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:30:07Z)
• BOSS: A Benchmark for Human Belief Prediction in Object-context Scenarios [14.23697277904244]
  本稿では,人間と自律システム間の協調を促進させる手法を検討するために,心の理論(ToM)とオブジェクトコンテキスト関係(Object-Context Relations)の複合知識を利用する。 本稿では、人工知能(AI)システムによる、オブジェクトコンテキストシナリオにおける人間の信念状態の予測能力を評価するための、新しい、かつ挑戦的なマルチモーダルビデオデータセットを提案する。
  論文  参考訳（メタデータ） (2022-06-21T18:29:17Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)
• Dynamic Human Evaluation for Relative Model Comparisons [8.843915018287476]
  本研究では,相対的な比較設定で生成した出力を評価する際に,人間のアノテーションの必要個数を動的に測定する手法を提案する。 シミュレーションとクラウドソーシングのケーススタディにおいて,より優れたモデルを決定するための複数のラベル付け戦略と手法を評価するために,人間評価のエージェントベースフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-15T11:32:13Z)
• Differentiable Multi-Granularity Human Representation Learning for Instance-Aware Human Semantic Parsing [131.97475877877608]
  カテゴリーレベルの人間のセマンティックセグメンテーションとマルチパーソンポーズ推定を共同およびエンドツーエンドで学習するために,新たなボトムアップ方式を提案する。 さまざまな人間の粒度にわたって構造情報を利用する、コンパクトで効率的で強力なフレームワークです。 3つのインスタンス認識型ヒューマンデータセットの実験は、我々のモデルがより効率的な推論で他のボトムアップの代替案よりも優れていることを示している。
  論文  参考訳（メタデータ） (2021-03-08T06:55:00Z)
• DRG: Dual Relation Graph for Human-Object Interaction Detection [65.50707710054141]
  人-物間相互作用(HOI)検出の課題に対処する。 既存の方法は、人間と物体の対の相互作用を独立に認識するか、複雑な外観に基づく共同推論を行う。 本稿では,抽象的空間意味表現を活用して,各対象対を記述し,二重関係グラフを用いてシーンの文脈情報を集約する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:40Z)
• Joint Inference of States, Robot Knowledge, and Human (False-)Beliefs [90.20235972293801]
  本稿では,人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)の認知能力が,ロボットとの相互作用にどのように影響するかを理解するために,対象状態,ロボット知識,人間(時間的)の認知能力の表現にグラフィカルモデルを採用することを提案する。 推論アルゴリズムは、複数のビューにまたがる全てのロボットから個別のpgを融合し、単一のビューから発生したエラーを克服するより効果的な推論能力を得る。
  論文  参考訳（メタデータ） (2020-04-25T23:02:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。