論文の概要: Gathered, Not Admitted: How Attention Brings a Latent Variable into Verbalizable Form
- arxiv url: http://arxiv.org/abs/2608.15022v1
- Date: Sat, 15 Aug 2026 04:12:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.16418
- Title: Gathered, Not Admitted: How Attention Brings a Latent Variable into Verbalizable Form
- Title（参考訳）: Gathered, not admitted: 潜在変数を分散可能な形式にする方法
- Abstract要約: ヤコビアンレンズを使ったオープンウェイトモデルでテストしたところ、5つの腕が同じコンテキストを共有しているベンチマークでは、それを予測するゲートは見つからなかった。
クエリされた位置で後で読みやすい形式を生成するのは、奥行きの窓の中で注意を介する集まりである。
- 参考スコア（独自算出の注目度）: 0.03038255798961237
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models hold latent quantities in a form they can report on, and more of a quantity is present in that form when the task requires reusing it flexibly. What causes a representation to enter that form is open, and the word workspace invites an admission story: a gate that decides what gets in. Testing it on open-weight models with Jacobian lenses, over a benchmark whose five arms share an identical context, we find no gate where it predicts one. Demand raises a concept's lens visibility beyond what applying an operator to a supplied value produces: +0.050 [+0.045, +0.057] in percentile rank on our primary checkpoint, positive on all four we measure, though that arm answers at ceiling and the accuracymatched contrast is stronger under that readout. At the same time one shared linear map decodes the variable from every arm, the control included, at 6.4-9.0x its selection-corrected floor. What produces the later readable form at the queried position is attention-mediated gathering inside a mid-depth window: separating patch depth from readout depth puts transport there at least 17x above anywhere shallower under non-saturating readouts, with no tested MLP output contributing positively inside it. Under the saturating percentile rank the same grid does not localise the window, which is a fact about that measure. An arm that needs the variable for nothing concentrates sevenfold less, so the window is demand-specific. That window has two measured edges, a survival failure below and destruction above, and it falls at the same fractional depth in a 64-layer hybrid and a 62-layer dense model from another family. We localise where the variable is installed and read, not the route from the passage, which transports nothing. But the readout is not a calibrated measure of use: three components move it to within 12% of one another and differ 7.4x in what they do to the answer.
- Abstract（参考訳）: 言語モデルは、彼らが報告できる形で遅延量を保持し、タスクが柔軟に再利用する必要があるときに、その形式により多くの量が存在する。
この形式に表現が入る原因はオープンであり、ワークスペースという単語は、入ってくるものを決定するゲートという、入場物語を招待する。
ヤコビアンレンズを使ったオープンウェイトモデルでテストしたところ、5つの腕が同じコンテキストを共有しているベンチマークでは、それを予測するゲートは見つからなかった。
プライマリチェックポイント上のパーセンタイルランク+0.050[+0.045, +0.057]は、私たちが測定する4つのすべてに対して正である。
同時に、共有線形写像は各アームから変数をデコードし、制御は6.4-9.0倍の精度で選択補正フロアを含む。
リードアウト深度からパッチ深度を分離すると、非飽和のリードアウトの下では少なくとも17倍の速度で輸送されるが、テスト済みのMLP出力はその内部に肯定的な寄与をもたらす。
飽和パーセンタイルのランクの下では、同じグリッドがウィンドウをローカライズしない。
変数を何も必要としないアームは7倍も小さくなります。
この窓には2つのエッジがあり、下の生存失敗と上の破壊があり、64層ハイブリッドと62層密度モデルで同じ分断深さに落ちている。
変数がインストールされ、読み込まれる場所をローカライズします。
3つのコンポーネントがそれらを互いに12%の範囲内に移動し、答えに対して行う7.4倍の違いがある。
関連論文リスト
- Can Scene Text Recognition Read Rare Compositions? [1.7844382164707184]
6つの標準ベンチマークにおいて、シーンテキスト認識は89-97%正確であると報告され、その問題が飽和として広く扱われている。
私たちは代替の読書を提示する。
同じテスト画像が、基準コーパスに対して、接地的単語の規則性と文字n-gramの新規性によって共同で成層されると、結果の5x5グリッドのレアワードxレアトリグラムコーナーでの精度は、q3/q3センタより10〜18pt下方に低下する。
論文 参考訳（メタデータ） (2026-09-01T07:16:42Z) - Prompt-Model Interaction Reaches the Fixed Points: A deterministic, task-free structural readout -- and the factorizations of it that failed [0.0]
ショートウィンドウ argmax map x_t+1 = argmax_x p(x | x_t-1, x_t) の固定点構造は96 から始まる。
6つのモデルのうち4つは、ウィンドウ16で完全に失われている。
第一に、相互作用は全等級でこの読み出しに達する:条件付けの9つのトークンは、そのほとんどにわたって固定点分数を動かす。
論文 参考訳（メタデータ） (2026-08-21T17:25:18Z) - Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか?
アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
論文 参考訳（メタデータ） (2026-08-11T16:18:34Z) - Off-Axis, On Purpose: Where a Transformer Computes Concepts and Why it Does So [0.2663471820643486]
変圧器の解答は1つの軸に存在し、その非埋め込み方向は読み取る。
12層のモデルが2つのフェーズで計算する。
アーリーエグジットのトレーニングのように、すべてのレイヤをリードアウトにプッシュすることは、パープレキシティ、LAMBADA、BLiMPのベースラインと一致します。
論文 参考訳（メタデータ） (2026-08-10T21:35:48Z) - When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning [73.56343820592399]
本稿では,視覚的タスクセマンティックス(VTS, Visualized Task Semantics)について紹介する。
6つのMLLMと4つのベンチマークで、24のモデルとタスクのペアの精度は平均17.8ポイント低下した。
本稿では,質問領域を型付きセマンティクスと整合させ,そのクリーンな表現をマスクビューから復元するプロンプト領域グラウンドを提案する。
論文 参考訳（メタデータ） (2026-08-05T11:46:15Z) - Floor, Ceiling, and the Fusion Gap: How Much of Crowd Reading Attention Can Machines Predict? [1.8620637029128544]
ベンチマークスコアは、自明なメソッドが何を達成し、最良のメソッドが何を達成できるかを知らなければ何の意味も持たない。
読者の群集が、それぞれの目的、無給、無命令、盲目などのために、120のWebドキュメントでマークされている文を予測します。
論文 参考訳（メタデータ） (2026-08-03T05:09:49Z) - Decodable Is Not Grounded: A Vision-Ablation Arbiter for VLM Spatial Reasoning [48.438568700670835]
モデルから潜在的知識を読み出す標準的な方法は、視覚言語モデルがイメージに根ざしたものを体系的に上書きすることができる。
本研究では,空間的推論において,一直線因果制御によって露呈した探究と操舵の両方に誤差が見えないことを示す。
論文 参考訳（メタデータ） (2026-06-30T07:33:18Z) - The Model as One Rater Among Several: Measuring Political Positions in Data-Sparse Regions with a Language-Model Panel [0.0]
パネルと、空白とゼロのスコアを区別する適用性ルールと、アクターが何をするかを区別するレンズシステムについて説明する。
私は、まだ欠落している人間のバリデーションを含め、このメソッドができないことを平気で考え、楽器とデータをフルにリリースします。
論文 参考訳（メタデータ） (2026-06-22T08:48:50Z) - Draw2Think: Harnessing Geometry Reasoning through Constraint Engine Interaction [59.47026381165585]
視覚言語モデルは精度を上げて幾何学的問題を解くが、その中間状態は潜伏し、検証できないままである。
我々は,GeoGebra制約エンジンとのエージェント相互作用に潜時空間推論から幾何推論を再キャストするフレームワークDraw2Thinkを提案する。
論文 参考訳（メタデータ） (2026-05-20T05:46:14Z) - Measuring Maximum Activations in Open Large Language Models [60.3514350516308]
集中度, MoE, 視覚言語, 中間訓練, 命令調整型変異にまたがる8つのオープンファミリーから27個のチェックポイントで, グローバルおよび階層的に最大値を測定した。
最大アクティベーションサイズは、単純なサイズの副産物ではなく、ファミリー、アーキテクチャ、トレーニングステージに結びついているモデル特性である、と結論付けます。
論文 参考訳（メタデータ） (2026-05-15T03:31:51Z) - LENS: Multi-level Evaluation of Multimodal Reasoning with Large Language Models [59.0256377330646]
Lensは3.4Kの現代画像と8つのタスクと12の日次シナリオをカバーする60K以上の人間による質問のベンチマークである。
このデータセットは本質的に、基本的な知覚から構成的推論に至るまで、画像不変のプロンプトを処理するためのMLLMの評価をサポートする。
我々は,Qwen2.5-VL-72B,InternVL3-78B,GPT-4oおよび2つの推論モデルQVQ-72B-previewとKim-VLなどの15以上のフロンティアMLLMを評価する。
論文 参考訳（メタデータ） (2025-05-21T15:06:59Z) - Barlow constrained optimization for Visual Question Answering [105.3372546782068]
本稿では,バーロウ理論(COB)を用いたVQAモデルの新たな正規化,制約付き最適化を提案する。
我々のモデルは、解答と画像+クエストを、本質的に同じ意味情報である2つの異なる視点として考える、解答埋め込み空間と結合空間を整合させる。
最先端のGEモデルに基づく場合、VQAの精度はVQA-CP v2データセットとVQA v2データセットでそれぞれ1.4%向上する。
論文 参考訳（メタデータ） (2022-03-07T21:27:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。