論文の概要: Semantic features of object concepts generated with GPT-3

• arxiv url: http://arxiv.org/abs/2202.03753v1
• Date: Tue, 8 Feb 2022 09:51:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-10 00:05:02.844145
• Title: Semantic features of object concepts generated with GPT-3
• Title（参考訳）: GPT-3によるオブジェクト概念の意味的特徴
• Authors: Hannes Hansen, Martin N. Hebart
• Abstract要約: 我々は1,854個のオブジェクトのセマンティックな特徴を生成するためにGPT-3モデルを探索した。 自動生成機能と既存のヒューマン特徴ノルムを比較した。 生成された特徴ノルムは、類似性、関連性、およびカテゴリメンバーシップを予測するために人間のノルムと競合した。
• 参考スコア（独自算出の注目度）: 1.14219428942199
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic features have been playing a central role in investigating the nature of our conceptual representations. Yet the enormous time and effort required to empirically sample and norm features from human raters has restricted their use to a limited set of manually curated concepts. Given recent promising developments with transformer-based language models, here we asked whether it was possible to use such models to automatically generate meaningful lists of properties for arbitrary object concepts and whether these models would produce features similar to those found in humans. To this end, we probed a GPT-3 model to generate semantic features for 1,854 objects and compared automatically-generated features to existing human feature norms. GPT-3 generated many more features than humans, yet showed a similar distribution in the types of generated features. Generated feature norms rivaled human norms in predicting similarity, relatedness, and category membership, while variance partitioning demonstrated that these predictions were driven by similar variance in humans and GPT-3. Together, these results highlight the potential of large language models to capture important facets of human knowledge and yield a new approach for automatically generating interpretable feature sets, thus drastically expanding the potential use of semantic features in psychological and linguistic studies.
• Abstract（参考訳）: セマンティックな特徴は概念表現の性質を研究する上で中心的な役割を果たしてきた。 しかし、人間のレーティングから特徴を実証的にサンプリングし、標準として使うのに必要な膨大な時間と労力は、手作業による限定的な概念に制限されている。 近年のトランスフォーマーベース言語モデルによる有望な発展を考えると,そのようなモデルを用いて任意の対象概念に対して意味のあるプロパティのリストを自動生成できるのか,また,そのようなモデルが人間に類似した特徴を生み出すのかを問う。 そこで我々は,GPT-3モデルを用いて1,854個のオブジェクトのセマンティックな特徴を生成し,自動生成した特徴と既存の特徴ノルムを比較した。 GPT-3は人間よりも多くの特徴を生み出したが、生成した特徴の種類には同様の分布を示した。 特徴ノルムの生成は, 類似性, 関連性, カテゴリメンバシップの予測においてヒトのノルムに匹敵するが, ばらつき分割は, これらの予測がヒトとGPT-3の類似の分散によって引き起こされることを示した。 これらの結果は、人間の知識の重要な側面を捉え、解釈可能な特徴集合を自動生成するための新しいアプローチを得るための大きな言語モデルの可能性を強調し、心理的および言語研究における意味的特徴の潜在的利用を劇的に拡大する。

関連論文リスト

• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• L3GO: Language Agents with Chain-of-3D-Thoughts for Generating Unconventional Objects [53.4874127399702]
  本稿では,3Dメッシュ生成を推論可能な3Dメッシュ生成手法であるL3GO(チェーン・オブ・3D思想)を用いた言語エージェントを提案する。 我々は,新しいベンチマークである Unconventionally Feasible Objects (UFO) と,Blender上に構築されたSimpleBlenv を開発した。 提案手法は,ShapeNet上での3Dメッシュ生成のための標準GPT-4および他の言語エージェントを上回る。
  論文  参考訳（メタデータ） (2024-02-14T09:51:05Z)
• InterpretCC: Intrinsic User-Centric Interpretability through Global Mixture of Experts [31.738009841932374]
  ニューラルネットワークの解釈性は、3つの重要な要件間のトレードオフである。 本稿では,人間中心の解釈可能性を保証する,解釈可能なニューラルネットワークのファミリであるInterpretCCを提案する。
  論文  参考訳（メタデータ） (2024-02-05T11:55:50Z)
• Semantic Feature Verification in FLAN-T5 [0.0]
  機械検証された規範は、人間の規範だけで表現されるもの以上の概念構造の側面を捉えていることを示す。 その結果,LLMは従来の意味的特徴ノルムの検証方法を大幅に強化する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-12T03:37:57Z)
• A simple probabilistic neural network for machine understanding [0.0]
  本稿では,機械理解のためのモデルとして,確率的ニューラルネットワークと内部表現の固定化について論じる。 内部表現は、それが最大関係の原理と、どのように異なる特徴が組み合わされるかについての最大無知を満たすことを要求して導出する。 このアーキテクチャを持つ学習機械は、パラメータやデータの変化に対する表現の連続性など、多くの興味深い特性を享受している、と我々は主張する。
  論文  参考訳（メタデータ） (2022-10-24T13:00:15Z)
• Out of One, Many: Using Language Models to Simulate Human Samples [3.278541277919869]
  このようなツール(GPT-3言語モデル)の「アルゴリズムバイアス」は、粒度と人口統計学的に相関していることを示す。 我々は、実際の人間の参加者から何千もの社会デマトグラフィーのバックストリーにモデルを条件付けることで「シリコンサンプル」を作成します。
  論文  参考訳（メタデータ） (2022-09-14T19:53:32Z)
• Elaboration-Generating Commonsense Question Answering at Scale [77.96137534751445]
  一般的な感覚を必要とする質問応答では、言語モデル(例えばGPT-3)が背景知識を表すテキストを生成するために使われてきた。 より小さな言語モデルを微調整して有用な中間コンテキストを生成します。 私たちのフレームワークは、2つの言語モデルの更新 – 開発中のジェネレータと応答予測器 – を交互に行います。
  論文  参考訳（メタデータ） (2022-09-02T18:32:09Z)
• Diversity vs. Recognizability: Human-like generalization in one-shot generative models [5.964436882344729]
  サンプル認識可能性と多様性の2つの軸に沿った1ショット生成モデルを評価するための新しい枠組みを提案する。 まず、GANのようなモデルとVAEのようなモデルが多様性認識性空間の反対側にあることを示す。 対照的に、非絡み合いは、認識可能性の最大化に使用できるパラボラ曲線に沿ってモデルを輸送する。
  論文  参考訳（メタデータ） (2022-05-20T13:17:08Z)
• Artificial Text Detection via Examining the Topology of Attention Maps [58.46367297712477]
  トポロジカルデータ分析(TDA)に基づく3種類の解釈可能なトポロジカル特徴を提案する。 BERTモデルから派生した特徴が3つの共通データセットにおいて、カウントベースとニューラルベースベースラインを最大10%上回っていることを実証的に示す。 特徴の探索解析は表面に対する感度と構文的性質を明らかにしている。
  論文  参考訳（メタデータ） (2021-09-10T12:13:45Z)
• THUNDR: Transformer-based 3D HUmaN Reconstruction with Markers [67.8628917474705]
  THUNDRは、人の3Dポーズと形状を再構築するトランスフォーマーベースのディープニューラルネットワーク手法である。 完全教師付きモデルと自己教師型モデルの両方に対して,Human3.6Mと3DPWの最先端結果を示す。 野生で収集された難易度の高い人間のポーズに対して, 非常に堅固な3次元再構成性能を観察した。
  論文  参考訳（メタデータ） (2021-06-17T09:09:24Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。