論文の概要: Metaphor Tracer: A Theory-Informed Analysis of Hidden States

• arxiv url: http://arxiv.org/abs/2607.28434v1
• Date: Thu, 30 Jul 2026 16:12:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.652876
• Title: Metaphor Tracer: A Theory-Informed Analysis of Hidden States
• Title（参考訳）: メタファートレーサ:隠れ状態の理論インフォームド解析
• Authors: Marc Heimann, Roxana Assadi Moghaddam, Olga Brovkina, Mark Pettifor, Lutz Goetzmann,
• Abstract要約: 1つのフォワードパスからトレーニングなしで、2つのプロパティですべてのトークン位置をスコア付けします。 aggregator*は、位置がテキスト全体を安定した構成に集約するかどうかを測定する。 differentiator* は、他のトークンがモデルが読み込むように、そのサブ空間に過渡的に変換されるかどうかを判断する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: What do a language model's hidden states say about the organization of a single text? From one forward pass, without training, we score every token position on two properties. The *aggregator* measures whether the position consolidates the whole text into a stable configuration. The *differentiator*, whether other tokens are transiently carried into its subspace as the model reads: metaphor in its root sense, transport. Constants were frozen on one discovery text; every other is confirmatory. The aggregator is not, in the classic sense, an information measure, nor a measure of salience. Across three unrelated models, as a signifier repeats, its surprisal and its attention drain while its aggregator score holds: the channel marks a token's place in the text. That this tracks a reading rests on independent ground truth: an engineered register the aggregator follows across its boundaries (6/6 cells), and a psychoanalyst's marking of clinical transcripts, fixed before the instrument existed, in 34/36 cells, with a graded increment above lexical controls and dissociations no type-level measure reproduces. A transfer test gives the result its shape: the model whose token structure travels with lexical type reads the singular discourse worst, and in a matched base/instruct pair tuning raises fidelity without moving type-transfer. Structural value is a property of a token's place in *this* text, not of its vector alone: a relational rather than essentialist reading of hidden states, operationalizing theory that predated the instrument.
• Abstract（参考訳）: 言語モデルの隠れた状態は、単一のテキストの編成について何と言うのか? 1つのフォワードパスからトレーニングなしで、2つのプロパティですべてのトークン位置をスコア付けします。 aggregator*は、位置がテキスト全体を安定した構成に集約するかどうかを測定する。 differentiator* は、他のトークンがモデルが読み込むように、そのサブ空間に過渡的に変換されるかどうかを判断する。 定数は1つの発見テキストで凍結された。 アグリゲーターは、古典的な意味では、情報測度でも、サリエンス測度でもない。 3つの無関係なモデルにまたがって、記号が繰り返すと、その副産物とその注意が減少し、アグリゲータスコアが保持される: チャネルはテキスト内のトークンの場所を示す。 工学的に登録された登録者は、その境界線(6/6細胞)を通り、精神分析士による臨床転写産物のマークが34/36細胞に固定され、語彙制御以上の段階的な増加と解離は再生されない。 トークン構造が語彙型で進行するモデルでは特異な談話が最悪であり、一致したベース/インストラクトペアチューニングでは、タイプ転送を移動せずに忠実性を高める。 構造的価値は*this*テキストにおけるトークンの場所の特性であり、ベクトルのみのものではなく、隠れた状態の本質的な読解ではなく関係性であり、楽器に先行する操作理論である。

関連論文リスト

• The Information Shadow: Measuring Structural Limits on What Language Models Can Learn [0.0]
  情報シャドー: テキスト学習者がスケールに関係なく取得できない現象。 Type Iでは、Language Compression Residualsは、信号が失われるテキストライクなエンコーディングしか見ないテキスト学習者と、信号を直接見るフルシグナル学習者を比較する。 II型では、非現実的識別テストは2つの非互換なルールと完全に一致したデータでモデルを訓練する。
  論文  参考訳（メタデータ） (2026-07-17T06:04:07Z)
• Legible-by-Construction: Attention and End-to-End Transformers [0.2663471820643486]
  トランスのフィードフォワード層は明示的なファジィ集合演算から再構築することができる。 隠れたユニットは言語モデルの品質を犠牲にすることなく、名前付き論理演算子として読み上げられた。 125Mパラメータの5つの特別なアテンション設計において、44から62%の値チャネルが正当性を持つ。
  論文  参考訳（メタデータ） (2026-07-05T14:08:59Z)
• Can Machines Really See Objects in Images? A Study Based on Syntactic Distance and Visual Self-Referential Instances [53.65561607407989]
  そのような局所的な手がかりが区別の安定な基盤を提供しない場合、モデルが依然として正しく分類できるかどうかを問う。 ResNetとVision Transformersの実験では、一貫した位相遷移現象が明らかになった。 結果は、汎用インテリジェンスは、既存の言語を再利用するのではなく、新しい言語を作成する必要があることを示唆している。
  論文  参考訳（メタデータ） (2026-06-28T14:27:40Z)
• Structure Before Collapse: Transient semantic geometry in next-token prediction [33.942301586178914]
  Neural Collapseは、バランスの取れたワンホット分類が、モデル表現を互いに等しく遠くにプッシュする、と予測する。 次世代の予測言語モデルは、主にワンホットラベルでトレーニングされる。 トレーニングの初期に意味幾何学が出現し,共有属性によるクラスタ表現が現れる。
  論文  参考訳（メタデータ） (2026-06-25T08:33:34Z)
• Not All Synthetic Data Is Yours to Learn From [68.13136636413601]
  弱い自己学習は、事前訓練モデルにすでに存在する能力を増幅できることを示す。 我々はこれを、プロンプトフリーな無条件自己学習の最小設定で研究する。
  論文  参考訳（メタデータ） (2026-05-29T10:34:11Z)
• A Geometric Profile of Semantic Information in Text: Frame-Conditional Uniqueness and a Trade-Off Triangle for Scalar Summaries [0.0]
  テキストの文の埋め込み構造から意味的内容を測定するフレームワークを開発する。 推奨のランク正規化構成は、28の順序チェックのうち25をポイント推定としてパスする。 別個の変動結果は、幅座標を行列点過程の対数行列式に接続する。
  論文  参考訳（メタデータ） (2026-05-27T04:37:26Z)
• Is Inference Mediated by Distinct Semantic Structures in LLMs? A Mechanistic Interpretation [34.50304918655722]
  トランスフォーマー表現はラベルレベルの情報を運ぶことが知られているが、それらのラベルを生成するセマンティック操作をエンコードしているかどうかは不明である。 一つの意味変換によって異なる制御された前提-仮説ペアを用いて、自然言語推論においてこれを考察する。
  論文  参考訳（メタデータ） (2026-05-25T07:21:07Z)
• Lexinvariant Language Models [84.2829117441298]
  離散語彙記号から連続ベクトルへの写像であるトークン埋め込みは、任意の言語モデル(LM)の中心にある 我々は、語彙記号に不変であり、したがって実際に固定トークン埋め込みを必要としないテクスチトレキシン変種モデルについて研究する。 十分長い文脈を条件として,レキシン変項LMは標準言語モデルに匹敵する難易度が得られることを示す。
  論文  参考訳（メタデータ） (2023-05-24T19:10:46Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Neural Deepfake Detection with Factual Structure of Text [78.30080218908849]
  テキストのディープフェイク検出のためのグラフベースモデルを提案する。 我々のアプローチは、ある文書の事実構造をエンティティグラフとして表現する。 本モデルでは,機械生成テキストと人文テキストの事実構造の違いを識別することができる。
  論文  参考訳（メタデータ） (2020-10-15T02:35:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。