論文の概要: Leveraging a Cognitive Model to Measure Subjective Similarity of Human and GPT-4 Written Content

• arxiv url: http://arxiv.org/abs/2409.00269v2
• Date: Thu, 10 Oct 2024 14:51:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 03:46:25.005374
• Title: Leveraging a Cognitive Model to Measure Subjective Similarity of Human and GPT-4 Written Content
• Title（参考訳）: 認知モデルを用いた人間とGPT-4の主観的類似度の測定
• Authors: Tyler Malloy, Maria José Ferreira, Fei Fang, Cleotilde Gonzalez,
• Abstract要約: GPT-4のような大規模言語モデル(LLM)によって形成されたトークン埋め込みを用いて、2つの文書間のコサイン類似性を計算することができる。 この類似度尺度は、個人のバイアスと制約を、意思決定の認知メカニズムに根ざした方法で考慮するという点で有益である。 このデータセットは、認知モデルを利用して、教育環境での人間の被験者の主観的類似度を測定する利点を示すために使用される。
• 参考スコア（独自算出の注目度）: 26.409490082213445
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Cosine similarity between two documents can be computed using token embeddings formed by Large Language Models (LLMs) such as GPT-4, and used to categorize those documents across a range of uses. However, these similarities are ultimately dependent on the corpora used to train these LLMs, and may not reflect subjective similarity of individuals or how their biases and constraints impact similarity metrics. This lack of cognitively-aware personalization of similarity metrics can be particularly problematic in educational and recommendation settings where there is a limited number of individual judgements of category or preference, and biases can be particularly relevant. To address this, we rely on an integration of an Instance-Based Learning (IBL) cognitive model with LLM embeddings to develop the Instance-Based Individualized Similarity (IBIS) metric. This similarity metric is beneficial in that it takes into account individual biases and constraints in a manner that is grounded in the cognitive mechanisms of decision making. To evaluate the IBIS metric, we also introduce a dataset of human categorizations of emails as being either dangerous (phishing) or safe (ham). This dataset is used to demonstrate the benefits of leveraging a cognitive model to measure the subjective similarity of human participants in an educational setting.
• Abstract（参考訳）: 2つの文書間のコサイン類似性は、GPT-4のような大規模言語モデル(LLM)によって形成されたトークン埋め込みを用いて計算でき、それらの文書を様々な用途で分類するのに使われる。 しかしながら、これらの類似性は最終的にこれらのLCMを訓練するために使用されるコーパスに依存しており、個人の主観的類似性や、それらのバイアスや制約が類似性指標にどのように影響するかを反映していない可能性がある。 類似度指標の認知的なパーソナライズが欠如していることは、カテゴリーや好みの個人的判断が限られている教育やレコメンデーションの設定において特に問題となり、バイアスは特に関係がある。 これを解決するために、インスタンスベース学習(IBL)認知モデルとLLM埋め込みを統合して、インスタンスベース個別類似度(IBIS)メトリクスを開発する。 この類似度尺度は、個人のバイアスと制約を、意思決定の認知メカニズムに根ざした方法で考慮するという点で有益である。 IBIS測定値を評価するために,メールの人的分類のデータセットを危険(フィッシング)か安全(ハム)のいずれかとして導入する。 このデータセットは、認知モデルを利用して、教育環境での人間の被験者の主観的類似度を測定する利点を示すために使用される。

関連論文リスト

• Causal Fair Metric: Bridging Causality, Individual Fairness, and Adversarial Robustness [7.246701762489971]
  モデル内の脆弱性の特定や、類似した個人を公平に扱うことを目的とした個々の公正性に使用される対向的摂動は、どちらも同等の入力データインスタンスを生成するためのメトリクスに依存している。 このような共同メトリクスを定義する以前の試みは、データや構造因果モデルに関する一般的な仮定を欠くことが多く、反事実的近接を反映できなかった。 本稿では, 因果的属性と保護された因果的摂動を含む因果的構造に基づいて定式化された因果的公正度について紹介する。
  論文  参考訳（メタデータ） (2023-10-30T09:53:42Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning [75.46664770669949]
  本稿では,関係認識型コントラスト型自己教師型学習(ReCo)をインスタンス関係に統合するために提案する。 当社のReCoは、常に顕著なパフォーマンス改善を実現しています。
  論文  参考訳（メタデータ） (2022-11-02T03:25:28Z)
• Learning Personalized Item-to-Item Recommendation Metric via Implicit Feedback [24.37151414523712]
  本稿では,暗黙のフィードバックによるメトリクス学習の新しい視点から,レコメンデーションシステムにおける項目間推薦問題について検討する。 本研究では,アイテムの内部コンテンツとユーザによるインタラクションの両方をキャプチャする,パーソナライズ可能なディープメトリックモデルを開発し,検討する。
  論文  参考訳（メタデータ） (2022-03-18T18:08:57Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)
• Refining Self-Supervised Learning in Imaging: Beyond Linear Metric [25.96406219707398]
  本稿では,ジャカード類似度尺度を測度に基づく計量として活用する,新しい統計的視点を紹介する。 具体的には、提案した計量は、いわゆる潜在表現から得られた2つの適応射影間の依存度として解釈できる。 我々の知る限りでは、この事実上非線形に融合した情報は、Jaccardの類似性に埋め込まれており、将来有望な結果を伴う自己超越学習に新しいものである。
  論文  参考訳（メタデータ） (2022-02-25T19:25:05Z)
• Measuring Disparate Outcomes of Content Recommendation Algorithms with Distributional Inequality Metrics [5.74271110290378]
  我々は,経済学,分布不平等指標,およびTwitterのアルゴリズム・タイムラインにおけるコンテンツ露出の差異を測定する能力から,一連の指標を評価した。 これらのメトリクスを用いて、ユーザ間の歪んだ結果に強く寄与するコンテンツ提案アルゴリズムを特定できることを示す。
  論文  参考訳（メタデータ） (2022-02-03T14:41:39Z)
• Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
  適応的階層的類似度メトリック学習法を提案する。 ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。 提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-10-29T02:12:18Z)
• Deep Relational Metric Learning [84.95793654872399]
  本稿では,画像クラスタリングと検索のためのディープリレーショナルメトリック学習フレームワークを提案する。 我々は、クラス間分布とクラス内分布の両方をモデル化するために、異なる側面から画像を特徴付ける特徴のアンサンブルを学ぶ。 広く使われているCUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、我々のフレームワークが既存の深層学習方法を改善し、非常に競争力のある結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-08-23T09:31:18Z)
• Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
  本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。 両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。 RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
  論文  参考訳（メタデータ） (2020-07-23T14:00:34Z)
• Learning similarity measures from data [1.4766350834632755]
  類似度尺度を定義することは、いくつかの機械学習手法の要件である。 データセットは通常、CBRや機械学習システムの構築の一部として収集される。 本研究の目的は,機械学習を用いて類似度を効果的に学習する方法を検討することである。
  論文  参考訳（メタデータ） (2020-01-15T13:29:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。