論文の概要: Is a Peeled Apple Still Red? Evaluating LLMs' Ability for Conceptual Combination with Property Type

• arxiv url: http://arxiv.org/abs/2502.06086v1
• Date: Mon, 10 Feb 2025 00:52:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:32:52.167775
• Title: Is a Peeled Apple Still Red? Evaluating LLMs' Ability for Conceptual Combination with Property Type
• Title（参考訳）: ピールしたアップルはまだ赤か? LLMとプロパティタイプを併用する能力の評価
• Authors: Seokwon Song, Taehyun Lee, Jaewoo Ahn, Jae Hyuk Sung, Gunhee Kim,
• Abstract要約: CCPT(Conceptual Combination with Property Type dataset)を導入する。 CCPTは12.3Kの注釈付き三つ子、名詞句、プロパティ、プロパティタイプから構成される。 CCPTを用いて,LLMを総合的に評価するための3種類のタスクを確立する。
• 参考スコア（独自算出の注目度）: 32.81518639050559
• License:
• Abstract: Conceptual combination is a cognitive process that merges basic concepts, enabling the creation of complex expressions. During this process, the properties of combination (e.g., the whiteness of a peeled apple) can be inherited from basic concepts, newly emerge, or be canceled. However, previous studies have evaluated a limited set of properties and have not examined the generative process. To address this gap, we introduce the Conceptual Combination with Property Type dataset (CCPT), which consists of 12.3K annotated triplets of noun phrases, properties, and property types. Using CCPT, we establish three types of tasks to evaluate LLMs for conceptual combination thoroughly. Our key findings are threefold: (1) Our automatic metric grading property emergence and cancellation closely corresponds with human judgments. (2) LLMs, including OpenAI's o1, struggle to generate noun phrases which possess given emergent properties. (3) Our proposed method, inspired by cognitive psychology model that explains how relationships between concepts are formed, improves performances in all generative tasks. The dataset and experimental code are available at https://github.com/seokwon99/CCPT.git.
• Abstract（参考訳）: 概念結合は、基本的な概念を統合する認知過程であり、複雑な表現の作成を可能にする。 この過程で、組み合わせの性質(例えば、皮を剥いたリンゴの白さ)を基本概念から継承したり、新たに出現させたり、キャンセルしたりすることができる。 しかし、これまでの研究では、限られた特性のセットを評価しており、生成過程を検証していない。 このギャップに対処するために、名詞句、プロパティ、プロパティタイプからなる12.3Kの注釈付き三つ子からなるConceptual Combination with Property Type dataset (CCPT)を導入する。 CCPTを用いて,LLMを総合的に評価するための3種類のタスクを確立する。 1) 自動計量階調特性の出現とキャンセルは人的判断と密接に一致している。 2) OpenAI の o1 を含む LLM は,創発性を持つ名詞句の生成に苦慮している。 提案手法は,概念間の関係がどう形成されるかを説明する認知心理学モデルに着想を得たものであり,全ての生成課題におけるパフォーマンスを向上させる。 データセットと試験コードはhttps://github.com/seokwon99/CCPT.gitで公開されている。

関連論文リスト

• TRESTLE: A Model of Concept Formation in Structured Domains [4.399333421690168]
  本稿では、構造化ドメインにおける確率論的概念形成の漸進的な説明であるTRESTLEを提案する。 教師なし学習タスクと教師なしクラスタリングタスクにおいて,TRESTLEの性能を評価する。
  論文  参考訳（メタデータ） (2024-10-14T15:00:43Z)
• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• Attention Based Simple Primitives for Open World Compositional Zero-Shot Learning [12.558701595138928]
  合成ゼロショット学習(CZSL)は属性とオブジェクトペアからなる未知の合成を予測することを目的としている。 この研究では、私たちのテストスペースが属性とオブジェクトの潜在的な組み合わせをすべて包含するオープンワールド構成ゼロショット学習(OW-CZSL)を探求しています。 提案手法では, 属性とオブジェクト間の自己認識機構を利用して, 目に見えるものから見えないものまで, より優れた一般化を実現する。
  論文  参考訳（メタデータ） (2024-07-18T17:11:29Z)
• Explaining Explainability: Understanding Concept Activation Vectors [35.37586279472797]
  最近の解釈可能性法では、概念に基づく説明を用いて、ディープラーニングモデルの内部表現を、人間が慣れ親しんだ言語に翻訳する。 これは、ニューラルネットワークの表現空間にどの概念が存在するかを理解する必要がある。 本研究では,概念活性化ベクトル(Concept Activation Vectors, CAV)の3つの特性について検討する。 本研究では,これらの特性の存在を検出するためのツールを導入し,それらが引き起こした説明にどのように影響するかを把握し,その影響を最小限に抑えるための推奨事項を提供する。
  論文  参考訳（メタデータ） (2024-04-04T17:46:20Z)
• COMPS: Conceptual Minimal Pair Sentences for testing Property Knowledge and Inheritance in Pre-trained Language Models [8.08493736237816]
  そこで本論文では,PLM(pre-trained language model)とPLM(pre-trained language model)を共同でテストする,最小対文の集合であるComposについて述べる。 COMPS 上の 22 個の異なる PLM の解析は、それらが自明に異なるとき、その性質に基づいて容易に概念を区別できることを明らかにする。 PLMはプロパティ継承と大きく整合した動作を示すことができるが、注意をそらす情報の存在下では失敗する。
  論文  参考訳（メタデータ） (2022-10-05T00:04:18Z)
• Discovering Human-Object Interaction Concepts via Self-Compositional Learning [93.38239238988719]
  本稿では,HOI概念発見(HOI Concept Discovery)と呼ばれる包括的HOI理解のための,新しい課題を紹介する。 HOI概念発見のための自己構成学習フレームワーク(SCL)を考案する。 提案手法の有効性を実証するために,いくつかの一般的なHOIデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-03-27T10:31:55Z)
• Translational Concept Embedding for Generalized Compositional Zero-shot Learning [73.60639796305415]
  一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。 本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-12-20T21:27:51Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。