論文の概要: Context Is King: How In-Context Specification Shapes the Geometry of Concepts

• arxiv url: http://arxiv.org/abs/2607.24425v1
• Date: Mon, 27 Jul 2026 13:36:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.443142
• Title: Context Is King: How In-Context Specification Shapes the Geometry of Concepts
• Title（参考訳）: コンテキストはキング: コンテキスト内仕様が概念の幾何学をどう形作るか
• Abstract要約: モデルが実際に使用する構造は、コンテキスト内仕様によって設定されます。 宣言的な規則は、幾何学がエンコードする関係だけでなく、トポロジーの型も修正する。 仕様が事前の強い事前訓練と矛盾する場合、コンテキストセット幾何が有能なモデルでそれを支配する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models place structured concepts on geometrically faithful manifolds: weekdays lie on a circle, months on another, usually taken to be a fixed world-model the network stores and looks up. We show that context is king: the structure a model actually uses is set by the in-context specification. A declarative rule fixes not only which relations the geometry encodes but its topology type: the same tokens form a cycle or a branching tree on command, built even on arbitrary, meaning-free tokens with no prior to inherit, which a relabeled stored shape cannot do. When the specification conflicts with a strong pretrained prior, the context-set geometry dominates it in capable models, read from the same activations (representational similarity 0.6--0.9 to the imposed structure versus near-zero to the prior), across the priors we test and both families we study (Gemma, Qwen). Activation patching shows the map is causally used, not a probe correlate: swapping one entity's activation for another's makes the model answer with the other entity's successor under the imposed order. A rough map forms readily, present even in small and base models; what scale gates is using it cleanly: clean dominance and the causal crossover emerge only in the larger models (up to Gemma-31B and Qwen-27B) and weaken or reverse below, so a mechanism present in a large model can be absent in a smaller one of the same family. Whether the model builds this geometry anew or reconfigures a stored one we leave open; operationally, the geometry it uses is the one the context specifies.
• Abstract（参考訳）: 大きな言語モデルは幾何学的に忠実な多様体上に構造化された概念を配置する:平日は円の上に置かれ、通常固定された世界モデルとして取り込まれ、ネットワークは保存され、見上げられる。 モデルが実際に使用する構造は、コンテキスト内仕様によって設定されます。 宣言的なルールは、幾何がエンコードされるかだけでなく、そのトポロジタイプも修正する:同じトークンは、任意の意味のないトークンの上に構築されても、任意の意味のないトークンの上に構築される、同じトークンがサイクルまたはコマンド上の分岐木を形成する。 仕様が強い事前訓練された前と矛盾する場合、文脈集合の幾何学が有能なモデルにおいてそれを支配し、同じアクティベーションから読み取る(表現的類似度 0.6--0.9 は、与えられた構造と前とほぼゼロとの類似性 0.6--0.9 )。 あるエンティティのアクティベーションを別のエンティティに切り替えることによって、強制された命令の下で他のエンティティの後継モデルに応答する。 クリーンな支配と因果交叉は、より大きなモデル(Gemma-31B と Qwen-27B まで)にのみ出現し、下から弱めあるいは逆転するので、大きなモデルに存在するメカニズムは、同じファミリーのより小さなモデルでは欠くことができる。 モデルがこのジオメトリを新たに構築するか、あるいはオープンにしておくストアドジオメトリを再設定するかに関わらず、運用上、それが使用するジオメトリは、コンテキストが指定したものです。

関連論文リスト

• GEB-Bench: Abstract Structures Told in Many Voices [15.628659207220077]
  我々は、GEB-Benchという、ユニットが抽象的な構造的モチーフであるベンチマーク、-自己参照、奇妙なループ、Mobiusのツイスト、---ゴデル、エッシャー、バッハの精神を例に紹介する。 それぞれのモチーフはいくつかの声で語られる: 構成が構造である自然のシーン、語られる民話は機械的にチェック可能な形状の装置、数学的定理、プログラムの骨格である。
  論文  参考訳（メタデータ） (2026-08-04T18:05:41Z)
• Rewriting or Reweighting? A Geometric Account in Language Models [44.66056836026845]
  ポストトレーニングは言語モデルの振る舞いを大きく変えることができる。 本研究は, 機械的に異なる2つの障害, 復号器病理としての繰り返しと, 選好関連アライメント障害としての梅毒症について検討した。 本稿では,スパースな挙動関連座標を選択することによって,行動特異的な幾何学を分離する挙動多様体解析を紹介する。
  論文  参考訳（メタデータ） (2026-08-03T07:46:28Z)
• Structure Before Collapse: Transient semantic geometry in next-token prediction [33.942301586178914]
  Neural Collapseは、バランスの取れたワンホット分類が、モデル表現を互いに等しく遠くにプッシュする、と予測する。 次世代の予測言語モデルは、主にワンホットラベルでトレーニングされる。 トレーニングの初期に意味幾何学が出現し,共有属性によるクラスタ表現が現れる。
  論文  参考訳（メタデータ） (2026-06-25T08:33:34Z)
• Are Common Substructures Transferable? Riemannian Graph Foundation Model with Neural Vector Bundles [53.65187206795911]
  我々はニューラルベクトルバンドルと呼ばれるグラフ固有の幾何学学習フレームワークを開発した。 GAUGEは,ベクトルバンドルを構築し,幾何学的に整合した局所座標を平坦化する,事前学習可能なニューラルネットワークアーキテクチャである。 ゼロショットリンク予測やグラフ同型を含む課題タスクにおいて,その優れた表現性を実証的に検証する。
  論文  参考訳（メタデータ） (2026-06-02T07:35:42Z)
• Scale Determines Whether Language Models Organize Representation Geometry for Prediction [0.0]
  言語モデルでは、表現が符号化したものはその表現空間の幾何学によって決定される。 層間距離構造が非埋め込み行列$W_U$の読み出し部分空間と整合するかどうかをテストする計量であるSubspace PGAを導入する。
  論文  参考訳（メタデータ） (2026-05-16T17:01:17Z)
• A geometric relation of the error introduced by sampling a language model's output distribution to its internal state [0.0]
  GPTスタイルの言語モデルは、予測確率分布が複数のトークンに分散する生成点における単一トークンの変化に敏感である。 このことから,トークン空間の幾何学はモデルが内部的に問題を表現する方法を直接反映していることが示唆された。
  論文  参考訳（メタデータ） (2026-05-06T13:28:16Z)
• Controllable Context Sensitivity and the Knob Behind It [53.70327066130381]
  予測を行う場合、言語モデルは、そのコンテキストとそれ以前の知識にどれだけ依存しているかをトレードオフする必要があります。 我々は,この感性を制御するノブを探索し,言語モデルが文脈から応答するか,それ以前の知識から応答するかを判断する。
  論文  参考訳（メタデータ） (2024-11-11T22:22:21Z)
• Zero-Shot 3D Shape Correspondence [67.18775201037732]
  本稿では,3次元形状間の対応性を計算するためのゼロショット手法を提案する。 我々は、最近の基礎モデルの言語と視覚における例外的な推論能力を活用している。 提案手法は, 強い非等尺形状の間において, ゼロショット方式で高確率な結果をもたらす。
  論文  参考訳（メタデータ） (2023-06-05T21:14:23Z)
• Roof-GAN: Learning to Generate Roof Geometry and Relations for Residential Houses [37.6686237027665]
  Roof-GANは、住宅用屋根構造の構造的幾何を屋根原始体の集合として生成する、新しい生成的敵ネットワークである。 ジェネレータは、グラフとして構造化された屋根モデルを生成し、1)各ノードの画像としてのプリミティブジオメトリ、2)各エッジのプリミティブコリナー/コプラナー関係、および3)各ノードのベクトル形式のプリミティブジオメトリからなる。 判別器は、プリミティブな幾何学、プリミティブな関係、および完全にエンドツーエンドのアーキテクチャにおけるプリミティブなベクトル幾何学を評価するために訓練される。
  論文  参考訳（メタデータ） (2020-12-17T00:47:57Z)
• DSG-Net: Learning Disentangled Structure and Geometry for 3D Shape Generation [98.96086261213578]
  DSG-Netは3次元形状の非交叉構造と幾何学的メッシュ表現を学習するディープニューラルネットワークである。 これは、幾何(構造)を不変に保ちながら構造(幾何学)のような不整合制御を持つ新しい形状生成アプリケーションの範囲をサポートする。 本手法は,制御可能な生成アプリケーションだけでなく,高品質な合成形状を生成できる。
  論文  参考訳（メタデータ） (2020-08-12T17:06:51Z)
• Deep Geometric Texture Synthesis [83.9404865744028]
  幾何学的テクスチャを合成するための新しい枠組みを提案する。 単一の参照3Dモデルの局所的な近傍からテクスチャ統計を学習する。 我々のネットワークはメッシュ頂点を任意の方向に変位させ、幾何学的テクスチャの合成を可能にする。
  論文  参考訳（メタデータ） (2020-06-30T19:36:38Z)
• CoSE: Compositional Stroke Embeddings [52.529172734044664]
  本稿では、ストロークベースの描画タスクのような複雑な自由形式構造に対する生成モデルを提案する。 我々のアプローチは、自動補完図のようなインタラクティブなユースケースに適している。
  論文  参考訳（メタデータ） (2020-06-17T15:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。