論文の概要: IDEEA: training-free Input-Dependent stEEring via Activation cluster matching

• arxiv url: http://arxiv.org/abs/2609.02089v1
• Date: Wed, 02 Sep 2026 04:28:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.05966
• Title: IDEEA: training-free Input-Dependent stEEring via Activation cluster matching
• Title（参考訳）: IDEEA: Activationクラスタマッチングによるトレーニング不要な入力依存のstEEring
• Abstract要約: IDEEAは入力依存型ステアリングのためのトレーニング不要のフレームワークである。 推論時に選択したアクティベーションにバイアスを注入することで、大きな言語モデルを整列させる。 TruthfulQAの真理$times$インフォメーションレートを、最高の入力非依存ベースラインよりも平均9.9%(最大23.5%)改善する。
• 参考スコア（独自算出の注目度）: 19.096726931082017
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Steering aligns large language models (LLMs) by injecting a bias into selected activations at inference time, offering a far cheaper alternative to weight-update methods such as supervised fine-tuning or reinforcement learning. However, most existing training-free steering methods are input-independent: a single direction is fitted once and shared across all inputs. This is fundamentally limiting as different inputs occupy different regions of the activation space and admit different optimal steering directions toward the same target concept, much as the gradient with respect to a fixed loss varies from input to input. We close this gap with IDEEA (Input-Dependent stEEring via Activation cluster matching), a training-free framework for input-dependent steering. IDEEA clusters the positive and negative activation supports per attention head, and solves an optimal-matching problem to construct a set of cluster-conditional directions, all about the target concept. At inference time, it picks from this pool of directions and uses the one that best matches the input's own activation for steering. IDEEA aligns the model toward the target concept while preserving the input's original representation, evidence that activations encoding a concept occupy several distinct sub-regions of the representation space rather than a single one. IDEEA improves the truth $\times$ info rate in TruthfulQA by an average of 9.9% (up to 23.5%) over the best input-independent baseline.
• Abstract（参考訳）: ステアリングは、推論時に選択されたアクティベーションにバイアスを注入することで大きな言語モデル(LLM)を整列させる。 しかしながら、既存のトレーニングフリーのステアリング手法の多くは、入力に依存しないものであり、単一の方向が一度取り付けられ、すべての入力間で共有される。 これは、異なる入力がアクティベーション空間の異なる領域を占有し、一定損失に対する勾配が入力から入力に変化するように、同じ目標概念に対して異なる最適な操舵方向を認めるため、基本的に制限される。 私たちはこのギャップを、入力依存のステアリングのためのトレーニング不要のフレームワークであるIDEEA(Activation cluster matchingによる入力依存のstEEring)で埋めます。 IDEEAは、アテンションヘッド毎に正と負のアクティベーションをサポートすることをクラスタ化し、最適なマッチング問題を解決し、クラスタ条件の一連の方向(全てターゲットコンセプト)を構築する。 推論時には、この方向のプールから選択し、入力のアクティベーションに最もよく合うものを使用する。 IDEEAは、入力の本来の表現を維持しながら、ターゲットの概念に向かってモデルを整列させ、概念をコードするアクティベーションが単一の領域ではなく、表現空間のいくつかの異なる部分領域を占めることを示す。 IDEEAは、TruthfulQAにおける$\times$インフォメーションレートを、最高の入力非依存ベースラインよりも平均9.9%(最大23.5%)改善している。

関連論文リスト

• ORBIT: Training-Free Multi-Attribute Behavioral Steering via Orthogonal Subspace Rotation [38.36944876774961]
  回転型ステアリングのトレーニング不要な拡張であるORBITをマルチ属性設定に導入する。 本手法は, 特異値分解法により, 配位子間ステアリング平面から結合部分空間を構成する。 また、表面的なスタイルではなく、行動の傾向に焦点を当てた、新しいマルチ属性ベンチマークであるTritFactoryも導入した。
  論文  参考訳（メタデータ） (2026-06-21T06:40:32Z)
• Steering Vector Fields for Context-Aware Inference-Time Control in Large Language Models [12.506018278890862]
  本稿では,各アクティベーションにおける操舵方向を局所勾配で定義した,微分可能な概念スコアリング関数を提案する。 この定式化は、共有された整列された概念空間における協調した多層干渉をサポートする。 複数の言語モデル全体で、SVFはより強く信頼性の高い制御を提供し、推論時ステアリングの実用性を改善している。
  論文  参考訳（メタデータ） (2026-02-02T05:14:42Z)
• One-shot Optimized Steering Vector for Hallucination Mitigation for VLMs [8.089908150148554]
  視覚言語モデル(VLM)は、マルチモーダルタスクにおいて高いパフォーマンスを達成するが、まだ幻覚や安全関連の障害に悩まされている。 textbf1-shot textbfSteering with textbfGenerative textbfAnchorは、単一の最適化インスタンスでモデル性能を改善するための、入力に依存しないフレームワークである。
  論文  参考訳（メタデータ） (2026-01-30T14:47:59Z)
• Unified modality separation: A vision-language framework for unsupervised domain adaptation [60.8391821117794]
  教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインでトレーニングされたモデルが新しいラベル付きドメインを扱うことを可能にする。 本稿では,モダリティ固有成分とモダリティ不変成分の両方に対応可能な統一モダリティ分離フレームワークを提案する。 提案手法は,9倍の計算効率で最大9%の性能向上を実現している。
  論文  参考訳（メタデータ） (2025-08-07T02:51:10Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• REAL: Reading Out Transformer Activations for Precise Localization in Language Model Steering [26.428347164111926]
  推論時ステアリングは、パラメータを変更することなく、大きな言語モデルの応答を変更することを目的としている。 既存のアプローチはしばしば単純化的なキューやアドホックな一般化に依存している。 本稿では,Transformerモデルにおける振る舞い関連モジュールを識別するフレームワークであるREALを紹介する。
  論文  参考訳（メタデータ） (2025-06-10T02:16:50Z)
• Divide and Adapt: Active Domain Adaptation via Customized Learning [56.79144758380419]
  対象インスタンスを成層化可能な4つのカテゴリに分割する新しいADAフレームワークであるDiaNA(Divide-and-Adapt)を提案する。 不確実性とドメイン性に基づく新しいデータ分割プロトコルにより、DiaNAは最も有利なサンプルを正確に認識することができる。 の精神のおかげで、DiaNAはドメインギャップの大きなバリエーションでデータを処理できる。
  論文  参考訳（メタデータ） (2023-07-21T14:37:17Z)
• ADAS: A Simple Active-and-Adaptive Baseline for Cross-Domain 3D Semantic Segmentation [38.66509154973051]
  本研究では,よく訓練された3次元セグメンテーションモデルの弱いクロスドメイン一般化能力を高めるために,アクティブ・アンド・アダプティブ(ADAS)ベースラインを提案する。 ADASは、有効適応のために、ソースドメインとターゲットドメインの両方から最大不変サブセットを選択するアクティブサンプリング操作を実行する。 1) 対象ドメインからのすべてのサンプルがラベル付けされていないことを意味するUnsupervised Domain Adaptation (UDA)、2) Unsupervised Few-shot Domain Adaptation (UFDA)、つまり、ラベル付けされていないサンプルがラベル付けされていないターゲットドメインでのみ利用可能であることを意味する。
  論文  参考訳（メタデータ） (2022-12-20T16:17:40Z)
• Generative multitask learning mitigates target-causing confounding [61.21582323566118]
  マルチタスク学習のための因果表現学習のためのシンプルでスケーラブルなアプローチを提案する。 改善は、目標を狙うが入力はしない、観測されていない共同ファウンダーを緩和することによる。 人の属性とタスクノミーのデータセットに対する我々の結果は、事前の確率シフトに対するロバストネスの概念的改善を反映している。
  論文  参考訳（メタデータ） (2022-02-08T20:42:14Z)
• Seeking Similarities over Differences: Similarity-based Domain Alignment for Adaptive Object Detection [86.98573522894961]
  本研究では,Unsupervised Domain Adaptation (UDA) アルゴリズムが検出に使用するコンポーネントを一般化するフレームワークを提案する。 具体的には、最適な設計選択を生かした新しいUDAアルゴリズムViSGAを提案し、インスタンスレベルの特徴を集約する単純だが効果的な方法を提案する。 類似性に基づくグループ化と対角トレーニングの両方により、モデルでは、ゆるやかに整列されたドメインにまたがるすべてのインスタンスにマッチせざるを得ず、機能グループを粗い整列することに集中することが可能であることが示されています。
  論文  参考訳（メタデータ） (2021-10-04T13:09:56Z)
• AutoAssign: Differentiable Label Assignment for Dense Object Detection [94.24431503373884]
  Auto COCOは、物体検出のためのアンカーフリー検出器である。 外観認識は、完全に微分可能な重み付け機構によって実現される。 我々の最良のモデルでは52.1%のAPが達成され、既存の1段検出器よりも優れている。
  論文  参考訳（メタデータ） (2020-07-07T14:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。