論文の概要: Fast Multi-dimensional Refusal Subspaces via RFM-AGOP

• arxiv url: http://arxiv.org/abs/2607.02396v1
• Date: Thu, 02 Jul 2026 16:31:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.92044
• Title: Fast Multi-dimensional Refusal Subspaces via RFM-AGOP
• Title（参考訳）: RFM-AGOPによる高速多次元リファレンス部分空間
• Abstract要約: Recursive Feature Machineは、複数次元のサブスペースを数秒で識別できる。 様々な方法によって発見された部分空間間の関係をよりよく理解するために、さらなる研究が計画されている。 もし確認できれば、RAMは大規模言語モデルにおける既存の部分空間抽出手法の安価でスケーラブルな補完となる可能性がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Steering and monitoring activations in Large Language Models (LLMs) are increasingly used for both safety and interpretability. Early work assumed behaviours are encoded along single linear directions, but recent findings suggest complex behaviours, such as the refusal to answer harmful queries, live in multi-dimensional subspaces. However, existing methods for extracting these subspaces are computationally expensive, which becomes prohibitive on reasoning models who produce long reasoning traces. By adapting the Recursive Feature Machine (RFM) algorithm -- which can be computed efficiently -- with a probe-informed initialization, we are able to identify the multi-dimensional refusal subspace in seconds, on reasoning (Qwen 3) and non-reasoning (Qwen 2.5) models. While RFM allows for faster subspace identification, it also showed better performances on the ablation task than its alternatives. More work is planned to better understand the relations between subspaces found by different methods. If confirmed, RFM could be a cheap and scalable complement to existing subspace-extraction methods in LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)におけるステアリングとモニタリングのアクティベーションは、安全性と解釈可能性の両方にますます利用されている。 初期の作業では、振る舞いは単一の線形方向に沿ってコード化されていたが、近年の発見は、有害なクエリへの応答を拒否するなどの複雑な振る舞いが、多次元のサブスペースに存在していることを示唆している。 しかし、これらの部分空間を抽出する既存の手法は計算に高価であり、長い推論トレースを生成する推論モデルでは禁止される。 プローブインフォームド初期化によって効率よく計算できる再帰的特徴マシン(RFM)アルゴリズムを適用することにより、推論(Qwen3)と非推論(Qwen 2.5)モデルに基づいて、多次元の拒絶部分空間を数秒で特定できる。 RFMはサブスペース識別を高速化するが、アブレーションタスクの性能も代替よりも向上した。 様々な方法によって発見された部分空間間の関係をよりよく理解するために、さらなる研究が計画されている。 もし確認できれば、RAMはLLMの既存の部分空間抽出法を安価かつスケーラブルに補完できる可能性がある。

関連論文リスト

• A2RBench: An Automatic Paradigm for Formally Verifiable Abstract Reasoning Benchmark Generation [59.98516959731531]
  抽象推論能力は、抽象ルールを抽出し適用するためのLLMの知性と能力を反映する。 既存のベンチマークは、高価な手作業のアノテーション、そのスケールの制限、あるいは真の推論ではなく暗記のリスク測定に頼っている。 我々はA2RBenchという名の自動パイプラインを導入し、生成、拡張、評価、分析を行う。
  論文  参考訳（メタデータ） (2026-05-17T06:14:20Z)
• Hierarchical Dual-Subspace Decoupling for Continual Learning in Vision-Language Models [63.169731309799324]
  クラスインクリメンタルラーニングは、学習前の情報を保存しながら、新たな知識を継続的に獲得することを目的としており、破滅的な忘れを軽減している。 視覚言語モデルにおける連続学習のための階層型デュアルサブスペースデカップリングフレームワークであるHDSDを提案する。 具体的には、パラメータ空間を一般およびタスク固有の部分空間に明示的に分解する軽量な特徴変調モジュール(FMM)を導入する。
  論文  参考訳（メタデータ） (2026-05-08T09:42:05Z)
• Unifying Search and Recommendation in LLMs via Gradient Multi-Subspace Tuning [33.69176756907003]
  Gradient Multi-Subspace Tuning (GEMS)は、検索とレコメンデーションタスクを統合する新しいフレームワークである。 GEMSは検索タスクとレコメンデーションタスクの両方において、最先端のベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-01-14T14:03:07Z)
• Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
  本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。 提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。 トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-07-28T11:52:56Z)
• Optimizing Question Semantic Space for Dynamic Retrieval-Augmented Multi-hop Question Answering [28.09833765246606]
  Q-DREAMは,(1)質問分解モジュール (QDM) と(2)質問依存モジュール (SDOM) の3つの主要なモジュールから構成される。 様々なベンチマーク実験の結果、Q-DREAMは既存のRAGメソッドよりも大幅に優れており、ドメイン内およびドメイン外の両方で最先端の性能を実現している。
  論文  参考訳（メタデータ） (2025-05-31T09:57:07Z)
• MPAD: A New Dimension-Reduction Method for Preserving Nearest Neighbors in High-Dimensional Vector Search [1.1701842638497677]
  次元減少(DR)は、探索に不可欠な近傍構造を歪ませる傾向のため、ほとんど適用されない。 提案するMPAD: Maximum Pairwise Absolute differenceは、NNの近似関係を明示的に保存する教師なしDR法である。 複数の領域にまたがる実験により、MPADは近隣構造を保存する上で標準DR法よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-04-23T00:59:00Z)
• Tractable Offline Learning of Regular Decision Processes [50.11277112628193]
  この研究は、正則決定過程(RDP)と呼ばれる非マルコフ環境のクラスにおけるオフライン強化学習(RL)を研究する。 インスは、未来の観測と過去の相互作用からの報酬の未知の依存を実験的に捉えることができる。 多くのアルゴリズムは、まずこの未知の依存関係を自動学習技術を用いて再構築する。
  論文  参考訳（メタデータ） (2024-09-04T14:26:58Z)
• Subspace Representation Learning for Sparse Linear Arrays to Localize More Sources than Sensors: A Deep Learning Methodology [19.100476521802243]
  我々はスパース線形アレイ(SLA)のサンプル共分散からコアレイ部分空間を推定する新しい手法を開発した。 このような表現を学習するために、所望部分空間と推定部分空間との分離を測る損失関数を提案する。 異なる次元の学習部分空間の計算は、新しいバッチサンプリング戦略によって高速化される。
  論文  参考訳（メタデータ） (2024-08-29T15:14:52Z)
• Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
  学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。 テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。 LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。 提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
  論文  参考訳（メタデータ） (2024-02-27T14:21:56Z)
• PSDiff: Diffusion Model for Person Search with Iterative and Collaborative Refinement [59.6260680005195]
  本稿では,拡散モデルであるPSDiffに基づく新しいPerson Searchフレームワークを提案する。 PSDiffは、ノイズの多いボックスとReID埋め込みから地上の真実へのデュアルデノケーションプロセスとして検索する人を定式化する。 新しいパラダイムに従って、我々は、反復的かつ協調的な方法で検出とReIDサブタスクを最適化する新しいコラボレーティブ・デノナイジング・レイヤ(CDL)を設計する。
  論文  参考訳（メタデータ） (2023-09-20T08:16:39Z)
• Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse Problems [64.29491112653905]
  本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。 具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。 提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
  論文  参考訳（メタデータ） (2023-03-10T07:42:49Z)
• Implicit Bias of Projected Subgradient Method Gives Provable Robust Recovery of Subspaces of Unknown Codimension [12.354076490479514]
  本稿では,DPCP (Dual principal Component Pursuit) が未知の部分空間次元の問題を確実に解決できることを示す。 プロジェクテッド・サブ段階降下法(PSGM)の複数インスタンスの実行に基づく,非常に単純なアルゴリズムを提案する。 特に、1)すべての問題インスタンスが部分空間のヌル空間のベクトルに収束し、2)問題インスタンスの解のアンサンブルが、部分空間のヌル空間に完全にまたがるほど十分に多様であることを示す。
  論文  参考訳（メタデータ） (2022-01-22T15:36:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。