論文の概要: Finding Usable Weight Mechanisms with Tiled SVD
- arxiv url: http://arxiv.org/abs/2608.06969v1
- Date: Fri, 07 Aug 2026 08:44:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.421193
- Title: Finding Usable Weight Mechanisms with Tiled SVD
- Title（参考訳）: Tiled SVD を用いた使用可能な重み機構の探索
- Abstract要約: アイデンティティは、ネットワークではなく、学習した辞書に住んでいます。
カラム型SVDによる直線的位置からの抽出機構のマウントを提案する。
タイルローカルリフトよりもフルライトエナジーリフトで事前登録したスイートでマウントを評価した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The dominant approach to mechanistic interpretability trains proxy dictionaries such as sparse autoencoders and labels features from max-activating text. The best such atlases identify con- cepts, but that identity lives in the learned dictionary rather than in the network weights them- selves. We propose extracting mechanism mounts directly from linear sites by column-tiled SVD: each mount is a triple (v,u,σ) read as trigger, write, and strength. Identity is the weight rule. We evaluate mounts with a pre-registered suite judged on full-write energy lift rather than tile-local lift. On Gemma-2-2B with WikiText-2 (16,384-token subsample), all seven linear maps are scored: residual writes (mlp.down, attn.o) receive full A/B/C with steer after post-sublayer RMSNorm and pass 52/52 site-layers; other maps receive A/B only (mlp.gate/attn.q/attn.k/effective mlp.up/attn.v 26/26 each). Aggregate: 182/182 GO. We release library code, the corpus builder, the experiment entrypoint, and unit tests.
- Abstract（参考訳）: 機械的解釈可能性に対する支配的なアプローチは、スパースオートエンコーダやラベルなどの辞書を最大アクティベートテキストからプロキシする。
最高のアトラシはコンセプションを識別するが、そのアイデンティティはネットワークの重みではなく、学習した辞書に存在している。
本稿では,各マウントはトリガ,書き込み,強度として読み出されるトリプル(v,u,σ)である。
アイデンティティは重み付けルールです。
タイルローカルリフトよりもフルライトエナジーリフトで事前登録したスイートでマウントを評価した。
Gemma-2-2B with WikiText-2 (16,384-token subsample) では、7つのリニアマップがスコア付けされている: 残余の書き込み (mlp.down, attn.o) は RMSNorm の後、完全な A/B/C を受け取り、52/52 のサイト層を通過し、他のマップは A/B のみを受け取る (mlp.gate/attn.q/attn.k/ Effective mlp.up/attn.v 26/26)。
人口:182/182人。
ライブラリコード、コーパスビルダー、実験エントリポイント、ユニットテストをリリースします。
関連論文リスト
- VOIM: Training-Free Open-Vocabulary 3D Instance Mapping for RGB-D and Monocular SLAM [3.3470015550759737]
Voxel-Grounded Online Instance Managerは、オープン語彙の3DインスタンスマップをRGB-Dまたは単眼RGBから構築する。
オンラインシステムは通常、オブジェクトインスタンスをセグメント化し、最初の検出時にラベル付けする。
VOIMは代わりにラベルとインスタンスの決定を否定するが、修正されていない既成の知覚によるソフトな証拠がボクセルごとに蓄積される。
論文 参考訳（メタデータ） (2026-09-01T06:07:25Z) - Hidden relationships in a document-derived property graph: top-k chunk embeddings and inverse-distance weighting over a dynamically evolving ontology [0.0]
テキストから知識グラフを抽出する大規模言語モデルは、明示的に記述された事実のみをキャプチャし、しばしば意味論的に関連付けられたエンティティを文書間で切断する。
本稿では, エンジンニュートラル2次パスについて, 抽出された事実を変更せずに, これらの潜伏関係を発見できることを示す。
768次元および240次元の埋め込みは、3072次元のベースラインに対して92%と72%のエッジ忠実度を維持しつつ、25倍高速なトップk定式化を実現している。
論文 参考訳（メタデータ） (2026-08-31T21:18:14Z) - Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。
SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。
また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
論文 参考訳（メタデータ） (2026-08-25T13:59:34Z) - Metaphor Tracer: A Theory-Informed Analysis of Hidden States [0.0]
1つのフォワードパスからトレーニングなしで、2つのプロパティですべてのトークン位置をスコア付けします。
aggregator*は、位置がテキスト全体を安定した構成に集約するかどうかを測定する。
differentiator* は、他のトークンがモデルが読み込むように、そのサブ空間に過渡的に変換されるかどうかを判断する。
論文 参考訳（メタデータ） (2026-07-30T16:12:13Z) - BM25 Wins at Scale: A Scaling Study of Retrieval-Augmented Generation Paradigms [22.217909582731505]
Retrieval-augmented Generation (RAG) は語彙と密度の検索、グラフベースのインデックス、エージェント検索にまたがる。
約450倍の大きさの28層を厳密に営巣するコーパスサイズの変化について検討した。
公式な正確性、構築とクエリトークン、レイテンシを測定します。
論文 参考訳（メタデータ） (2026-07-29T05:46:11Z) - A Geometric Profile of Semantic Information in Text: Frame-Conditional Uniqueness and a Trade-Off Triangle for Scalar Summaries [0.0]
テキストの文の埋め込み構造から意味的内容を測定するフレームワークを開発する。
推奨のランク正規化構成は、28の順序チェックのうち25をポイント推定としてパスする。
別個の変動結果は、幅座標を行列点過程の対数行列式に接続する。
論文 参考訳（メタデータ） (2026-05-27T04:37:26Z) - TFGN: Task-Free, Replay-Free Continual Pre-Training Without Catastrophic Forgetting at LLM Scale [0.0]
本稿ではトランスフォーマー言語モデルのためのアーキテクチャオーバーレイであるTFGNを紹介する。
TFGNは入力条件付きパラメータ効率の更新を生成し、残りのトランスは変更しない。
我々の知る限り、TFGNはLLMスケールでの破滅的な忘れを同時に閉じる最初のアーキテクチャである。
論文 参考訳（メタデータ） (2026-05-14T16:46:26Z) - VoxDet: Rethinking 3D Semantic Occupancy Prediction as Dense Object Detection [67.09867723723934]
3Dのセマンティック占有予測は,周囲環境の3D形状とセマンティックスを再構築することを目的としている。
密接なボクセルラベルでは、以前の研究は通常、これを密接なセグメンテーションタスクとして定式化し、それぞれのボクセルを独立に分類する。
本稿では,Voxelレベルの占有率予測を高密度オブジェクト検出として再構成する,インスタンス中心のフレームワークであるVoxDetを提案する。
論文 参考訳（メタデータ） (2025-06-05T04:31:55Z) - STAT: Shrinking Transformers After Training [72.0726371426711]
微調整なしで変圧器モデルを作成するための簡単なアルゴリズムSTATを提案する。
STATは、次の層の重みを補正して精度を保ちながら、注意頭とニューロンの両方をネットワークから排除する。
われわれのアルゴリズムは、BERTを圧縮するのに数分を要し、単一のGPUを用いて7Bパラメータを持つモデルを圧縮するのに3時間もかからない。
論文 参考訳（メタデータ） (2024-05-29T22:59:11Z) - Navya3DSeg -- Navya 3D Semantic Segmentation Dataset & split generation
for autonomous vehicles [63.20765930558542]
3Dセマンティックデータは、障害物検出やエゴ-車両の局所化といった中核的な認識タスクに有用である。
そこで我々は,大規模生産段階の運用領域に対応する多様なラベル空間を持つ新しいデータセットであるNavala 3D(Navya3DSeg)を提案する。
ラベルのない23のラベル付きシーケンスと25の補足シーケンスが含まれており、ポイントクラウド上の自己教師付きおよび半教師付きセマンティックセマンティックセグメンテーションベンチマークを探索するために設計された。
論文 参考訳（メタデータ） (2023-02-16T13:41:19Z) - AutoAssign: Differentiable Label Assignment for Dense Object Detection [94.24431503373884]
Auto COCOは、物体検出のためのアンカーフリー検出器である。
外観認識は、完全に微分可能な重み付け機構によって実現される。
我々の最良のモデルでは52.1%のAPが達成され、既存の1段検出器よりも優れている。
論文 参考訳（メタデータ） (2020-07-07T14:32:21Z) - Weakly-Supervised Salient Object Detection via Scribble Annotations [54.40518383782725]
本稿では,スクリブルラベルからサリエンシを学習するための弱教師付きサリエント物体検出モデルを提案する。
そこで本研究では,予測されたサリエンシマップの構造アライメントを測定するために,新しい尺度であるサリエンシ構造尺度を提案する。
我々の手法は、既存の弱教師付き/非教師付き手法よりも優れているだけでなく、いくつかの完全教師付き最先端モデルと同等である。
論文 参考訳（メタデータ） (2020-03-17T12:59:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。