論文の概要: Relational Schemata in BERT Are Inducible, Not Emergent: A Study of Performance vs. Competence in Language Models

• arxiv url: http://arxiv.org/abs/2506.11485v1
• Date: Fri, 13 Jun 2025 06:20:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.672584
• Title: Relational Schemata in BERT Are Inducible, Not Emergent: A Study of Performance vs. Competence in Language Models
• Title（参考訳）: BERTのリレーショナルスキーマは創発的ではない--言語モデルにおける性能対コンピテンスに関する研究
• Authors: Cole Gawin,
• Abstract要約: BERTは, 概念対の内部表現を分類学的, メレオジカル, 機能的関係にわたって調べることで, 抽象的関係スキーマを符号化するかどうかを考察する。 その結果,事前学習したBERTは,潜在関係信号の分類精度が向上することがわかった。 これらの結果は, モデルが適切な学習を通じて, 基底的関係抽象化のための帰納的バイアスを得ることができるにもかかわらず, 行動性能が必ずしも概念的理解を構造化するものではないことを示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While large language models like BERT demonstrate strong empirical performance on semantic tasks, whether this reflects true conceptual competence or surface-level statistical association remains unclear. I investigate whether BERT encodes abstract relational schemata by examining internal representations of concept pairs across taxonomic, mereological, and functional relations. I compare BERT's relational classification performance with representational structure in [CLS] token embeddings. Results reveal that pretrained BERT enables high classification accuracy, indicating latent relational signals. However, concept pairs organize by relation type in high-dimensional embedding space only after fine-tuning on supervised relation classification tasks. This indicates relational schemata are not emergent from pretraining alone but can be induced via task scaffolding. These findings demonstrate that behavioral performance does not necessarily imply structured conceptual understanding, though models can acquire inductive biases for grounded relational abstraction through appropriate training.
• Abstract（参考訳）: BERTのような大規模言語モデルは意味的タスクに強い経験的性能を示すが、それが真の概念的能力や表面的な統計的関連性を反映しているかどうかは不明だ。 BERTは, 概念対の内部表現を分類学, メレオロジー, 機能的関係にわたって調べることで, 抽象的関係スキーマを符号化するかどうかを考察する。 BERTのリレーショナル分類性能と[CLS]トークンの埋め込みにおける表現構造を比較した。 その結果、事前学習されたBERTは、潜時関係信号を示す高い分類精度を実現することが判明した。 しかし、概念ペアは、教師付き関係分類タスクを微調整した後のみ、高次元埋め込み空間における関係型によって構成される。 これは、リレーショナルスキーマは事前トレーニングだけでは発生しないが、タスクの足場を通じて誘導できることを示している。 これらの結果は, モデルが適切な学習を通じて, 基底的関係抽象化のための帰納的バイアスを得ることができるにもかかわらず, 行動性能が必ずしも概念的理解を構造化するものではないことを示唆している。

関連論文リスト

• Relational reasoning and inductive bias in transformers trained on a transitive inference task [2.493955263354982]
  トランスフォーマーに基づくモデルは、顕著な推論能力を示してきたが、関係推論のメカニズムはいまだに理解されていない。 本研究では,トランスフォーマーが古典的リレーショナル推論タスクをどのように実行するかを検討する。 In-weights Learning (IWL) とIn-context Learning (ICL) の2つの異なる学習形態における推移的推論挙動を比較する。 これらの結果は、基礎構造を持つタスクの事前学習が、文脈内関係推論を足場とした表現の開発を促進することを示唆している。
  論文  参考訳（メタデータ） (2025-06-04T10:15:05Z)
• Pre-training and Diagnosing Knowledge Base Completion Models [58.07183284468881]
  我々は,事実の集合から他の集合への知識伝達へのアプローチを,エンティティや関係マッチングを必要とせずに導入し,分析する。 主な貢献は、構造化されていないテキストから収集された事実の大規模事前学習を利用する方法である。 得られた事前学習モデルをよりよく理解するために,オープン知識ベースコンプリートのための事前学習モデルの解析のための新しいデータセットを導入する。
  論文  参考訳（メタデータ） (2024-01-27T15:20:43Z)
• Multiple Relations Classification using Imbalanced Predictions Adaptation [0.0]
  関係分類タスクは、対象物と対象物のペアに適切な意味関係を割り当てる。 現在の関係分類モデルは、1つの文で複数の関係を識別する追加の手順を用いる。 本稿では,これらの課題に対処する複数の関係分類モデルを提案する。
  論文  参考訳（メタデータ） (2023-09-24T18:36:22Z)
• Learning Complete Topology-Aware Correlations Between Relations for Inductive Link Prediction [121.65152276851619]
  関係性間の意味的相関は本質的にエッジレベルとエンティティ非依存であることを示す。 本研究では,関係関係のトポロジ・アウェア・コレレーションをモデル化するための新しいサブグラフベース手法,TACOを提案する。 RCNのポテンシャルをさらに活用するために, 完全コモンニアインダストリアルサブグラフを提案する。
  論文  参考訳（メタデータ） (2023-09-20T08:11:58Z)
• Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task [70.29624135819884]
  目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。 名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
  論文  参考訳（メタデータ） (2022-04-14T11:33:15Z)
• High-order Semantic Role Labeling [86.29371274587146]
  本稿では,ニューラルセマンティックロールラベリングモデルのための高階グラフ構造を提案する。 これにより、モデルは孤立述語-引数対だけでなく、述語-引数対間の相互作用も明示的に考慮することができる。 CoNLL-2009ベンチマークの7つの言語に対する実験結果から、高次構造学習技術は強力なSRLモデルに有益であることが示された。
  論文  参考訳（メタデータ） (2020-10-09T15:33:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。