論文の概要: From Associations to Activations: Comparing Behavioral and Hidden-State Semantic Geometry in LLMs

• arxiv url: http://arxiv.org/abs/2602.00628v1
• Date: Sat, 31 Jan 2026 09:50:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.299184
• Title: From Associations to Activations: Comparing Behavioral and Hidden-State Semantic Geometry in LLMs
• Title（参考訳）: 学会から活動へ: LLMにおける行動と隠れ状態のセマンティック幾何学の比較
• Authors: Louis Schiekiera, Max Zimmer, Christophe Roux, Sebastian Pokutta, Fritz Günther,
• Abstract要約: 5000ワードの語彙を共有して、類似性に基づく強制選択と自由結合という2つの実験パラダイムを実行します。 我々は,行動幾何学を階層的に隠蔽状態の類似性と比較し,FastText,BERT,およびクロスモデルコンセンサスに対するベンチマークを行う。 強制選択行動は、自由結合よりも隠れ状態幾何学とほぼ一致していることがわかった。
• 参考スコア（独自算出の注目度）: 21.17068496160462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the extent to which an LLM's hidden-state geometry can be recovered from its behavior in psycholinguistic experiments. Across eight instruction-tuned transformer models, we run two experimental paradigms -- similarity-based forced choice and free association -- over a shared 5,000-word vocabulary, collecting 17.5M+ trials to build behavior-based similarity matrices. Using representational similarity analysis, we compare behavioral geometries to layerwise hidden-state similarity and benchmark against FastText, BERT, and cross-model consensus. We find that forced-choice behavior aligns substantially more with hidden-state geometry than free association. In a held-out-words regression, behavioral similarity (especially forced choice) predicts unseen hidden-state similarities beyond lexical baselines and cross-model consensus, indicating that behavior-only measurements retain recoverable information about internal semantic geometry. Finally, we discuss implications for the ability of behavioral tasks to uncover hidden cognitive states.
• Abstract（参考訳）: 本研究では, LLMの隠れ状態幾何が, 心理言語学的実験においてその挙動からどの程度回復できるかを考察する。 8つの命令調整型トランスフォーマーモデル全体で、2つの実験パラダイム(類似性に基づく強制選択と自由結合)を5000ワードの語彙で共有し、振る舞いに基づく類似性行列を構築するために17.5M以上の試行を収集する。 表現的類似性分析を用いて、動作のジオメトリを階層的に隠蔽状態の類似度と比較し、FastText、BERT、およびクロスモデルコンセンサスに対するベンチマークを行う。 強制選択行動は、自由結合よりも隠れ状態幾何学とほぼ一致していることがわかった。 保留された単語の回帰において、行動的類似性(特に強制選択)は、語彙的ベースラインやモデル間のコンセンサスを超えて見えない隠れ状態の類似性を予測し、行動のみの測定が内部意味幾何学に関する回復可能な情報を保持することを示す。 最後に、隠れた認知状態を明らかにする行動タスクの能力がもたらす影響について論じる。

関連論文リスト

• Rethinking Word Similarity: Semantic Similarity through Classification Confusion [31.12253159483973]
  本稿では,特徴に基づく分類の混乱という観点から意味的類似性を再編成する,類似性の新たな尺度,Word Confusionを提案する。 提案手法は,複数のデータセットにまたがる人間の類似性判定におけるコサイン類似性に匹敵するものである。 フランスの「革命」という言葉の18世紀における変化に関する仮説を検証するために、我々のモデルが動的特徴を活用できることを実証する。
  論文  参考訳（メタデータ） (2025-02-08T21:55:38Z)
• Evaluating Representational Similarity Measures from the Lens of Functional Correspondence [3.1883014716361635]
  神経科学と人工知能(AI)はどちらも、高次元のニューラルネットワークの解釈という課題に直面している。 表象比較が広く使われているにもかかわらず、重要な疑問が残る: どの指標がこれらの比較に最も適しているのか?
  論文  参考訳（メタデータ） (2024-11-21T23:53:58Z)
• ContraSim -- A Similarity Measure Based on Contrastive Learning [28.949004915740776]
  コントラスト学習に基づく新しい類似度尺度であるContraSimを開発した。 ContraSimは、類似した例と異なる例の両方を用いてパラメータ化された尺度を学習する。 いずれの場合も、ContraSimは以前の類似度測定よりもはるかに精度が高い。
  論文  参考訳（メタデータ） (2023-03-29T19:43:26Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning [75.46664770669949]
  本稿では,関係認識型コントラスト型自己教師型学習(ReCo)をインスタンス関係に統合するために提案する。 当社のReCoは、常に顕著なパフォーマンス改善を実現しています。
  論文  参考訳（メタデータ） (2022-11-02T03:25:28Z)
• Attributable Visual Similarity Learning [90.69718495533144]
  本稿では、画像間のより正確で説明可能な類似度測定のための帰属的視覚類似度学習(AVSL)フレームワークを提案する。 人間の意味的類似性認知に動機づけられた2つの画像とグラフとの類似性を表現するために,一般化された類似性学習パラダイムを提案する。 CUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、既存の深い類似性学習方法よりも大幅に改善されたことを示している。
  論文  参考訳（メタデータ） (2022-03-28T17:35:31Z)
• Duality-Induced Regularizer for Semantic Matching Knowledge Graph Embeddings [70.390286614242]
  本稿では, 類似のセマンティクスを持つエンティティの埋め込みを効果的に促進する新しい正規化器(duality-induced RegulArizer (DURA))を提案する。 実験により、DURAは、最先端のセマンティックマッチングモデルの性能を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2022-03-24T09:24:39Z)
• Patterns of Lexical Ambiguity in Contextualised Language Models [9.747449805791092]
  本稿では,単語感覚の類似度と共述度を拡張した,人間による注釈付きデータセットを提案する。 どちらの人間の判断も、多文解釈の類似性は意味の同一性とホモニミーの連続性にあることを示している。 我々のデータセットは、語彙的曖昧性の複雑さの大部分を捉えており、文脈的埋め込みのための現実的なテストベッドを提供することができる。
  論文  参考訳（メタデータ） (2021-09-27T13:11:44Z)
• Learning from Aggregate Observations [82.44304647051243]
  本研究では,一組のインスタンスに監視信号が与えられる集合観察から学習する問題について検討する。 本稿では,多種多様な集合観測に適合する一般的な確率的枠組みを提案する。 単純な極大解は様々な微分可能なモデルに適用できる。
  論文  参考訳（メタデータ） (2020-04-14T06:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。