論文の概要: Sky sphere representation in language models

• arxiv url: http://arxiv.org/abs/2607.27092v1
• Date: Wed, 29 Jul 2026 16:19:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.739487
• Title: Sky sphere representation in language models
• Title（参考訳）: 言語モデルにおけるスカイスフィア表現
• Abstract要約: 我々は,100Bの大きさの言語モデルが,その残留ストリームからデオード可能な夜空マップの表現を持つか否かを解析する。 「ほとんどのオープンソースモデルはそのような表現をしており、夜空のこの物体に近づいたものなど、疑問を投げかけるプロンプトにおいて、最上位のコンポーネントに表面化することも多い。」
• 参考スコア（独自算出の注目度）: 45.88028371034407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We analyze whether language models of size ~100B have a representation of the night sky map that is decodable from their residual stream. We find that most of the considered open-source models do have such a representation, and it often even surfaces to the top principal components on prompts that ask questions like ``what is close to this object in the night sky''. In all but one model this representation showed significant scores in LOO testing, containing up to 65-85% of variance ($R^2$-score) and having median angular error down to $12^\circ-21^\circ$. We verify that our representation is not a simple leak from a correlated flat representation. To our knowledge, this representation is the first example of a curved high-dimensional irreducible feature manifold. Codes used in the paper are published at https://github.com/l3erdnik/Decodable-sky
• Abstract（参考訳）: 約100Bの大きさの言語モデルが、その残留ストリームからデオード可能な夜空マップの表現を持つかどうかを解析する。 検討されているオープンソースモデルのほとんどはそのような表現を持ち、'夜空のこのオブジェクトに何が近いのか'といった質問に対して、上位のプリンシパルコンポーネントに表面化することが少なくありません。 1つのモデルを除く全てのモデルにおいて、この表現はLOO試験において有意なスコアを示し、65-85%の分散(R^2$-score)を含み、中央値の角誤差を12^\circ-21^\circ$に下げた。 我々は、我々の表現が相関フラット表現からの単純なリークではないことを検証した。 我々の知る限り、この表現は曲線付き高次元既約特徴多様体の最初の例である。 論文で使用されるコードはhttps://github.com/l3erdnik/Decodable-skyで公開されている。

関連論文リスト

• Neurosymbolic Discovery of Algebraic Graph Constructions [22.962110170304594]
  この生データのみを提供する場合、短い代数的記述を自動的に発見できるかどうかを問う。 本研究では,汎用的な大規模言語モデル上で,微調整や目標ごとの訓練を行わないエージェントを提案する。 提案手法は高対称性グラフ100のベンチマークで検証する。
  論文  参考訳（メタデータ） (2026-08-08T13:07:51Z)
• SIR: Structured Image Representations for Explainable Robot Learning [5.015076806206676]
  本研究では,ロボットポリシー学習の中間表現として,シーングラフ(SG)を利用した構造化画像表現(SIR)を導入する。 モジュールは、このグラフをエンドツーエンドに分割し、アクション生成モデルに渡されるタスク関連サブグラフを作成することを学習する。 RoboCasaの評価によると、スパースグラフのポリシーは画像ベースのベースラインを平均19.5%、成功率14.81%で上回っている。
  論文  参考訳（メタデータ） (2026-06-29T10:37:21Z)
• Can Machines Really See Objects in Images? A Study Based on Syntactic Distance and Visual Self-Referential Instances [53.65561607407989]
  そのような局所的な手がかりが区別の安定な基盤を提供しない場合、モデルが依然として正しく分類できるかどうかを問う。 ResNetとVision Transformersの実験では、一貫した位相遷移現象が明らかになった。 結果は、汎用インテリジェンスは、既存の言語を再利用するのではなく、新しい言語を作成する必要があることを示唆している。
  論文  参考訳（メタデータ） (2026-06-28T14:27:40Z)
• What matters for Representation Alignment: Global Information or Spatial Structure? [64.67092609921816]
  表現アライメント(REPA)は、強い事前訓練された視覚エンコーダから中間拡散特徴への表現を蒸留することにより、生成訓練を導く。 本稿では,対象表現のどの側面が生成に重要であるか,そのテクスト・グロバル・リビジョン・セマンティック・情報について検討する。 我々はREPAの標準射影層を単純な畳み込み層に置き換え、外部表現のための空間正規化層を導入する。
  論文  参考訳（メタデータ） (2025-12-11T16:39:53Z)
• What Are You Token About? Dense Retrieval as Distributions Over the Vocabulary [68.77983831618685]
  本稿では,2つのエンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。 得られたプロジェクションは、リッチな意味情報を含み、それらの間の接続を描画し、スパース検索を行う。
  論文  参考訳（メタデータ） (2022-12-20T16:03:25Z)
• One-Shot Neural Fields for 3D Object Understanding [112.32255680399399]
  ロボット工学のための統一的でコンパクトなシーン表現を提案する。 シーン内の各オブジェクトは、幾何学と外観をキャプチャする潜在コードによって描写される。 この表現は、新しいビューレンダリングや3D再構成、安定した把握予測といった様々なタスクのためにデコードできる。
  論文  参考訳（メタデータ） (2022-10-21T17:33:14Z)
• I2I: Image to Icosahedral Projection for $\mathrm{SO}(3)$ Object Reasoning from Single-View Images [3.823356975862006]
  2次元画像に基づく3次元オブジェクトの推論は、物体を異なる方向から見ることによって、外観が大きく変化するため困難である。 我々は、入力画像をイコサヘドロンに投影することで$mathrmSO(3)$の理由から、イコサヘドラル群畳み込みに基づく新しいモデルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-07-18T20:24:11Z)
• RelationNet++: Bridging Visual Representations for Object Detection via Transformer Decoder [33.516628423999975]
  本稿では,1つの表現形式上に構築された典型的なオブジェクト検出器に他の表現をブリッジするアテンションベースのデコーダモジュールを提案する。 我々は、強力なバックボーンを持つ最先端のフレームワークを、約2.0$ APで改善し、COCOテストデーブで52.7ドルに達した。
  論文  参考訳（メタデータ） (2020-10-29T17:59:45Z)
• Empirical Upper Bound, Error Diagnosis and Invariance Analysis of Modern Object Detectors [47.64219291655723]
  我々は、最先端のオブジェクト検出ベンチマークを2つ採用し、4つの大規模データセット上で15モデル以上を分析します。 モデルが空の領域に多くのボックスを生成し、そのコンテキストが大きな領域よりも小さなオブジェクトを検出するのに重要であることが分かりました。
  論文  参考訳（メタデータ） (2020-04-05T06:19:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。