論文の概要: Characterizing the Role of Similarity in the Property Inferences of Language Models

• arxiv url: http://arxiv.org/abs/2410.22590v1
• Date: Tue, 29 Oct 2024 23:05:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:28:18.548692
• Title: Characterizing the Role of Similarity in the Property Inferences of Language Models
• Title（参考訳）: 言語モデルの特性推定における類似性の役割の特徴
• Authors: Juan Diego Rodriguez, Aaron Mueller, Kanishka Misra,
• Abstract要約: 本研究では, 行動・因果的表現解析実験を用いて, LMの資産継承について検討する。 分類学と分類学的類似性は、LMsの資産相続行動において相互に排他的ではない。 本研究は,言語モデルの概念的構造に関する知見を提供し,人体に対する新たな心理言語学的実験を提案する。
• 参考スコア（独自算出の注目度）: 18.343082712114715
• License:
• Abstract: Property inheritance -- a phenomenon where novel properties are projected from higher level categories (e.g., birds) to lower level ones (e.g., sparrows) -- provides a unique window into how humans organize and deploy conceptual knowledge. It is debated whether this ability arises due to explicitly stored taxonomic knowledge vs. simple computations of similarity between mental representations. How are these mechanistic hypotheses manifested in contemporary language models? In this work, we investigate how LMs perform property inheritance with behavioral and causal representational analysis experiments. We find that taxonomy and categorical similarities are not mutually exclusive in LMs' property inheritance behavior. That is, LMs are more likely to project novel properties from one category to the other when they are taxonomically related and at the same time, highly similar. Our findings provide insight into the conceptual structure of language models and may suggest new psycholinguistic experiments for human subjects.
• Abstract（参考訳）: プロパティ継承(Property inherited) - 概念的知識の組織化と展開方法に特有の窓を提供する。 この能力は、明示的に記憶された分類学的知識と、精神的な表現の類似性の単純な計算によって生じるかが議論されている。 これらの力学仮説は現代言語モデルにどのように表れているか? 本研究では, 行動・因果的表現解析実験を用いて, LMが特性継承を行う方法について検討する。 分類学と分類学的類似性は、LMsの資産相続行動において相互に排他的ではない。 つまり、LMは分類学的に関連があり、同時に非常に類似している場合、あるカテゴリから別のカテゴリへ新しい性質を投影する傾向にある。 本研究は,言語モデルの概念的構造に関する知見を提供し,人体に対する新たな心理言語学的実験を提案する。

関連論文リスト

• Toward Understanding In-context vs. In-weight Learning [50.24035812301655]
  本研究は,文脈内学習の出現と消失を引き起こす簡易な分布特性を同定する。 そして、この研究を完全な大規模言語モデルに拡張し、自然言語プロンプトの様々なコレクションの微調整が、文脈内および重み付き学習の振る舞いをいかに引き出すかを示す。
  論文  参考訳（メタデータ） (2024-10-30T14:09:00Z)
• A Complexity-Based Theory of Compositionality [53.025566128892066]
  AIでは、構成表現は配布外一般化の強力な形式を可能にすることができる。 ここでは、構成性に関する直観を考慮し、拡張する構成性の公式な定義を提案する。 この定義は概念的には単純で量的であり、アルゴリズム情報理論に基礎を置いており、あらゆる表現に適用できる。
  論文  参考訳（メタデータ） (2024-10-18T18:37:27Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Holmes: A Benchmark to Assess the Linguistic Competence of Language Models [59.627729608055006]
  言語モデル(LM)の言語能力を評価するための新しいベンチマークであるHolmesを紹介する。 我々は、計算に基づく探索を用いて、異なる言語現象に関するLMの内部表現を調べる。 その結果,近年,他の認知能力からLMの言語能力を引き離す声が上がっている。
  論文  参考訳（メタデータ） (2024-04-29T17:58:36Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Are Representations Built from the Ground Up? An Empirical Examination of Local Composition in Language Models [91.3755431537592]
  構成的・非構成的句を表現することは言語理解にとって重要である。 まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。 意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
  論文  参考訳（メタデータ） (2022-10-07T14:21:30Z)
• COMPS: Conceptual Minimal Pair Sentences for testing Property Knowledge and Inheritance in Pre-trained Language Models [8.08493736237816]
  そこで本論文では,PLM(pre-trained language model)とPLM(pre-trained language model)を共同でテストする,最小対文の集合であるComposについて述べる。 COMPS 上の 22 個の異なる PLM の解析は、それらが自明に異なるとき、その性質に基づいて容易に概念を区別できることを明らかにする。 PLMはプロパティ継承と大きく整合した動作を示すことができるが、注意をそらす情報の存在下では失敗する。
  論文  参考訳（メタデータ） (2022-10-05T00:04:18Z)
• A Property Induction Framework for Neural Language Models [8.08493736237816]
  本稿では,ニューラルネットワーク言語モデル(LM)を用いて特性誘導を行うフレームワークを提案する。 LMは,カテゴリメンバシップに基づいて,新規プロパティを一般化する帰納的嗜好を示す。
  論文  参考訳（メタデータ） (2022-05-13T22:05:49Z)
• Schr\"odinger's Tree -- On Syntax and Neural Language Models [10.296219074343785]
  言語モデルは、NLPのワークホースとして登場し、ますます流動的な生成能力を示している。 我々は、多くの次元にまたがる明瞭さの欠如を観察し、研究者が形成する仮説に影響を及ぼす。 本稿では,構文研究における様々な研究課題の意義について概説する。
  論文  参考訳（メタデータ） (2021-10-17T18:25:23Z)
• Do language models learn typicality judgments from text? [6.252236971703546]
  認知科学における一般的な現象である典型性に関する予測言語モデル(LM)を評価する。 最初の試験は、分類学的分類群を項目に割り当てる際、典型性がLMを調節するかどうかを目標とする。 第2の試験は、アイテムに関する新しい情報をそのカテゴリに拡張する際に、LMの確率の典型性に対する感受性を調査する。
  論文  参考訳（メタデータ） (2021-05-06T21:56:40Z)
• Similarity Analysis of Contextual Word Representation Models [39.12749165544309]
  我々は、深層モデルにおける情報の局所化のレベルを測定するために、既存の新しい類似度尺度を用いている。 この分析により、同じ家族内のモデルが、予想されるように互いに類似していることが明らかになった。 驚くべきことに、異なるアーキテクチャは比較的類似した表現を持っているが、個々のニューロンが異なる。
  論文  参考訳（メタデータ） (2020-05-03T19:48:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。