論文の概要: Cabbage Sweeter than Cake? Analysing the Potential of Large Language Models for Learning Conceptual Spaces

• arxiv url: http://arxiv.org/abs/2310.05481v1
• Date: Mon, 9 Oct 2023 07:41:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 06:58:16.675694
• Title: Cabbage Sweeter than Cake? Analysing the Potential of Large Language Models for Learning Conceptual Spaces
• Title（参考訳）: キャベツはケーキより甘い? 概念空間学習のための大規模言語モデルの可能性分析
• Authors: Usashi Chatterjee, Amit Gajbhiye, Steven Schockaert
• Abstract要約: 概念空間を学習するための大規模言語モデルの可能性を探る。 実験の結果,LLMは意味のある表現の学習に利用できることがわかった。 また、BERTファミリーの微調整モデルでは、最大のGPT-3モデルにマッチしたり、性能を上回ります。
• 参考スコア（独自算出の注目度）: 18.312837741635207
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The theory of Conceptual Spaces is an influential cognitive-linguistic framework for representing the meaning of concepts. Conceptual spaces are constructed from a set of quality dimensions, which essentially correspond to primitive perceptual features (e.g. hue or size). These quality dimensions are usually learned from human judgements, which means that applications of conceptual spaces tend to be limited to narrow domains (e.g. modelling colour or taste). Encouraged by recent findings about the ability of Large Language Models (LLMs) to learn perceptually grounded representations, we explore the potential of such models for learning conceptual spaces. Our experiments show that LLMs can indeed be used for learning meaningful representations to some extent. However, we also find that fine-tuned models of the BERT family are able to match or even outperform the largest GPT-3 model, despite being 2 to 3 orders of magnitude smaller.
• Abstract（参考訳）: 概念空間の理論は概念の意味を表現するための影響力のある認知言語的枠組みである。 概念空間は、本質的に原始的な知覚的特徴(例えば色や大きさ)に対応する品質次元の集合から構成される。 これらの品質次元は通常、人間の判断から学習されるため、概念空間の応用は狭い領域(例えば色や味のモデル化)に限られる傾向がある。 近年,Large Language Models (LLMs) の知覚的基底表現学習能力に関する知見を取り入れ,概念空間学習におけるそのようなモデルの可能性を探る。 実験の結果,LLMは意味のある表現をある程度学習するのに有効であることがわかった。 しかし、BERTファミリーの微調整モデルは、桁違いに小さいにもかかわらず、最大のGPT-3モデルに匹敵したり、性能を上回ったりできることも判明した。

関連論文リスト

• Does Spatial Cognition Emerge in Frontier Models? [56.47912101304053]
  本研究では,フロンティアモデルにおける空間認知を体系的に評価するベンチマークSPACEを提案する。 その結果、現代のフロンティアモデルは動物の空間知能に劣っていることが示唆された。
  論文  参考訳（メタデータ） (2024-10-09T01:41:49Z)
• Ranking Entities along Conceptual Space Dimensions with LLMs: An Analysis of Fine-Tuning Strategies [16.056028563680584]
  我々は特に、与えられた概念空間次元に応じてエンティティをランク付けするタスクに焦点をあてる。 得られたモデルのランク付け能力が知覚的・主観的特徴に移行するかどうかを解析する。
  論文  参考訳（メタデータ） (2024-02-23T14:17:01Z)
• Can Large Language Models Follow Concept Annotation Guidelines? A Case Study on Scientific and Financial Domains [19.814974042343028]
  文ラベリングタスクのコンテキスト内概念ガイドラインに従うための命令調整型言語モデルの能力について検討する。 以上の結果から,概念定義はタスク性能に一貫して寄与するが,実際のコンテキスト下での作業能力に制限があるのは大規模モデルのみであることが示唆された。
  論文  参考訳（メタデータ） (2023-11-15T05:11:26Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Do Large GPT Models Discover Moral Dimensions in Language Representations? A Topological Study Of Sentence Embeddings [0.7416846035207727]
  本稿では,Chat-GPTの基礎言語モデル「脳」における神経活動のトポロジ的構造を考察し,公平性の概念を表す指標として分析する。 まず、社会文学にインスパイアされた公正度尺度を計算し、正当性、必要性、責任など、人間の公正度評価に典型的な影響を及ぼす要因を特定する。 その結果, GPT-3.5に基づく文の埋め込みは, 公平かつ不公平な道徳判断に対応する2つのサブ多様体に分解できることがわかった。
  論文  参考訳（メタデータ） (2023-09-17T23:38:39Z)
• Concept2Box: Joint Geometric Embeddings for Learning Two-View Knowledge Graphs [77.10299848546717]
  Concept2Boxは、KGの2つのビューを共同で埋め込む新しいアプローチである。 ボックス埋め込みは、それら間の重複や解離のような階層構造と複雑な関係を学習する。 本稿では,新しいベクトル-ボックス間距離測定法を提案し,両者の埋め込みを共同で学習する。
  論文  参考訳（メタデータ） (2023-07-04T21:37:39Z)
• Does Deep Learning Learn to Abstract? A Systematic Probing Framework [69.2366890742283]
  抽象化はディープラーニングモデルにとって望ましい機能であり、具体的なインスタンスから抽象概念を誘導し、学習コンテキストを超えて柔軟に適用することを意味する。 本稿では,伝達可能性の観点から,ディープラーニングモデルの抽象化能力を検討するための体系的探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-23T12:50:02Z)
• Specializing Smaller Language Models towards Multi-Step Reasoning [56.78474185485288]
  GPT-3.5 (ge$ 175B) から T5 変種 (le$ 11B) までを蒸留できることを示す。 対象タスクに対するモデルの能力を専門化するモデル特殊化を提案する。
  論文  参考訳（メタデータ） (2023-01-30T08:51:19Z)
• On the Transformation of Latent Space in Fine-Tuned NLP Models [21.364053591693175]
  微調整NLPモデルにおける潜伏空間の進化について検討する。 階層的クラスタリングを用いて表現空間における潜在概念を発見する。 3つのモデルと3つの下流タスクで事前訓練されたモデルと微調整されたモデルを比較した。
  論文  参考訳（メタデータ） (2022-10-23T10:59:19Z)
• Discovering Latent Concepts Learned in BERT [21.760620298330235]
  事前学習されたBERTモデルに潜伏概念が存在するかを検討する。 また、174のコンセプトラベルと1Mのアノテーション付きインスタンスからなる新しいBERT ConceptNetデータセット(BCN)もリリースした。
  論文  参考訳（メタデータ） (2022-05-15T09:45:34Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。