論文の概要: Evaluating Adjective-Noun Compositionality in LLMs: Functional vs Representational Perspectives

• arxiv url: http://arxiv.org/abs/2603.09994v1
• Date: Sat, 14 Feb 2026 22:43:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-15 16:38:22.539862
• Title: Evaluating Adjective-Noun Compositionality in LLMs: Functional vs Representational Perspectives
• Title（参考訳）: LLMにおける形容詞-名詞構成性の評価:機能的・表現的視点
• Authors: Ruchira Dhar, Qiwei Peng, Anders Søgaard,
• Abstract要約: 大規模言語モデル(LLM)はどのように構成タスクに対処するのか? 本研究では,LLMにおける形容詞-名詞構成性について,プロンプトに基づく機能評価と内部モデル状態の表現的解析という2つの相補的な設定を用いて評価する。
• 参考スコア（独自算出の注目度）: 34.2401259846238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compositionality is considered central to language abilities. As performant language systems, how do large language models (LLMs) do on compositional tasks? We evaluate adjective-noun compositionality in LLMs using two complementary setups: prompt-based functional assessment and a representational analysis of internal model states. Our results reveal a striking divergence between task performance and internal states. While LLMs reliably develop compositional representations, they fail to translate consistently into functional task success across model variants. Consequently, we highlight the importance of contrastive evaluation for obtaining a more complete understanding of model capabilities.
• Abstract（参考訳）: 構成性は言語能力の中心であると考えられている。 パフォーマンス言語システムとして、大規模言語モデル(LLM)はどのように構成課題に対処するのか? 本研究では,LLMにおける形容詞-名詞構成性について,プロンプトに基づく機能評価と内部モデル状態の表現的解析という2つの相補的な設定を用いて評価する。 その結果,タスク性能と内部状態の相違が顕著であった。 LLMは構成表現を確実に開発するが、モデル変種間の機能的なタスク成功に一貫して翻訳することができない。 その結果、モデル能力のより完全な理解を得る上で、コントラスト評価の重要性を強調した。

関連論文リスト

• On the Entity-Level Alignment in Crosslingual Consistency [62.33186691736433]
  SubSubとSubInjは、主題の英語翻訳を言語間のプロンプトに統合し、実際のリコール精度と一貫性を大きく向上させた。 これらの介入はモデルの内部ピボット言語処理を通じて概念空間における実体表現のアライメントを強化する。
  論文  参考訳（メタデータ） (2025-10-11T16:26:50Z)
• A Survey on Sparse Autoencoders: Interpreting the Internal Mechanisms of Large Language Models [50.34089812436633]
  大規模言語モデル(LLM)は自然言語処理を変換しているが、その内部メカニズムはほとんど不透明である。 機械的解釈性は、LLMの内部動作を理解する手段として、研究コミュニティから大きな注目を集めている。 スパースオートエンコーダ(SAE)は、LLM内の複雑な重畳された機能をより解釈可能なコンポーネントに分解する能力のために、将来性のある方法として登場した。
  論文  参考訳（メタデータ） (2025-03-07T17:38:00Z)
• Large Language Models as Neurolinguistic Subjects: Discrepancy between Performance and Competence [49.60849499134362]
  本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。 ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。 その結果,(1)心理言語学的・神経言語学的手法では,言語能力と能力が異なっていること,(2)直接確率測定では言語能力が正確に評価されないこと,(3)指導のチューニングでは能力が大きく変化しないが,性能は向上しないことがわかった。
  論文  参考訳（メタデータ） (2024-11-12T04:16:44Z)
• From Words to Worlds: Compositionality for Cognitive Architectures [45.254578970023196]
  大規模言語モデル(LLM)は非常に高性能なコネクショナリストシステムであるが、より構成性が高いか? 以下に紹介するタスクを含む,4つのLLMファミリーと3つのタスクカテゴリにまたがる経験的分析について述べる。
  論文  参考訳（メタデータ） (2024-07-18T11:42:13Z)
• Can Large Language Models Understand Context? [17.196362853457412]
  本稿では,生成モデルの評価に適合する既存のデータセットを適応させることにより,文脈理解ベンチマークを提案する。 実験結果から, 事前学習された高密度モデルでは, 最先端の微調整モデルと比較して, よりニュアンスな文脈特徴の理解に苦慮していることが明らかとなった。 LLM圧縮は研究と実世界のアプリケーションの両方において重要度が高くなっているため、文脈学習環境下での量子化モデルの文脈理解を評価する。
  論文  参考訳（メタデータ） (2024-02-01T18:55:29Z)
• Understanding the Inner Workings of Language Models Through Representation Dissimilarity [5.987278280211877]
  表現差分測度は、2つのモデルの内部表現が異なる範囲を測定する関数である。 この結果から,言語モデルの内部動作に光を当てる手段としては,異種度対策が有望なツールセットであることが示唆された。
  論文  参考訳（メタデータ） (2023-10-23T14:46:20Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Emergent Linguistic Structures in Neural Networks are Fragile [20.692540987792732]
  大規模言語モデル (LLM) は自然言語処理タスクにおいて高い性能を示すと報告されている。 言語表現の一貫性と堅牢性を評価するための枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T15:43:57Z)
• Compositional Generalization in Grounded Language Learning via Induced Model Sparsity [81.38804205212425]
  グリッド環境における単純な言語条件のナビゲーション問題について考察する。 本研究では,オブジェクトの指示文と属性のスパース相関を助長するエージェントを設計し,それらを組み合わせて目的を導出する。 我々のエージェントは、少数のデモンストレーションから学習した場合でも、新しいプロパティの組み合わせを含む目標に対して高いレベルのパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2022-07-06T08:46:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。