論文の概要: Multi-Adapter Representation Interventions via Energy Calibration
- arxiv url: http://arxiv.org/abs/2605.28722v1
- Date: Wed, 27 May 2026 16:39:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:56.223548
- Title: Multi-Adapter Representation Interventions via Energy Calibration
- Title（参考訳）: エネルギー校正によるマルチアダプタ表現介入
- Authors: Manjiang Yu, Hongji Li, Junwei Chen, Xue Li, Priyanka Singh, Yang Cao, Lijie Hu,
- Abstract要約: 我々は、エネルギー(MARI)を用いたマルチアダプタ表現のインターベンションを提案する。
特殊専門家が非線形補正パターンを捉え、異なるサンプルに対する適切な介入方向と強度を適応的に決定する、競争力のあるマルチアダプタ機構を導入する。
提案手法は,TruthfulQA,BBQ,安全性ベンチマークの性能を向上するとともに,MMLUやARCといったタスクの汎用性を維持・改善する。
- 参考スコア（独自算出の注目度）: 18.787473008786822
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Representation intervention has emerged as a promising paradigm for aligning large language models toward desired behaviors without modifying model weights. Existing methods typically apply a fixed intervention uniformly across all inputs. However, we find that the appropriate intervention direction and strength vary substantially across samples, and such indiscriminate intervention leads to degradation of general capabilities on benign inputs. To address these challenges, we propose Multi-Adapter Representation Interventions via Energy Calibration (MARI). Specifically, we introduce a competitive multi-adapter mechanism in which specialized experts capture non-linear correction patterns and adaptively determine the appropriate intervention direction and strength for different samples. Furthermore, we design an energy-based gating module that leverages internal propagation dynamics to distinguish inputs that are applicable for intervention. Extensive experiments across diverse model families and parameter scales demonstrate that MARI achieves state-of-the-art alignment performance. Our method significantly improves performance on TruthfulQA, BBQ, and safety benchmarks, while maintaining and even improving general capabilities on tasks such as MMLU and ARC. Our code is available at https://github.com/V1centNevwake/MARI.
- Abstract（参考訳）: 表現介入は、モデル重みを変更することなく、大きな言語モデルを望ましい行動に向けて整列するための有望なパラダイムとして現れてきた。
既存の方法は通常、すべての入力に対して一様に固定的な介入を適用する。
しかし, 適切な介入方向と強度は試料間で大きく異なり, 良性入力における一般能力の低下につながることが判明した。
これらの課題に対処するため,エネルギーキャリブレーション(MARI)によるマルチアダプタ表現介入を提案する。
具体的には、特殊専門家が非線形補正パターンを捉え、異なるサンプルに対する適切な介入方向と強度を適応的に決定する、競争力のあるマルチアダプタ機構を提案する。
さらに、内部伝播ダイナミクスを利用して介入に応用可能な入力を識別するエネルギーベースのゲーティングモジュールを設計する。
多様なモデルファミリーとパラメータスケールにわたる大規模な実験は、MARIが最先端のアライメント性能を達成することを示す。
提案手法は,TruthfulQA,BBQ,安全性ベンチマークの性能を向上するとともに,MMLUやARCといったタスクの汎用性を維持・改善する。
私たちのコードはhttps://github.com/V1centNevwake/MARI.comから入手可能です。
関連論文リスト
- HarmoWAM: Harmonizing Generalizable and Precise Manipulation via Adaptive World Action Models [58.191567345416836]
世界行動モデル(WAM)は、物理力学のモデリングによるロボット制御のための有望なパラダイムとして登場した。
HarmoWAMは、予測と反応の制御を統一するために世界モデルを完全に活用し、一般的なトランジットと正確な操作を可能にする。
実世界の6つのロボットタスクにまたがる3つのトレーニング未確認テスト環境を構築し、背景、位置、オブジェクトの意味のバリエーションをカバーした。
論文 参考訳（メタデータ） (2026-05-11T17:59:56Z) - One CT Unified Model Training Framework to Rule All Scanning Protocols [32.68329101435685]
NICT(Non-ideal Measurement Computed Tomography)はCTの臨床的使用を拡大している。
ほとんどの方法はペアデータを必要とするが、これは避けられない臓器の動きによる非現実的な要求である。
サブマニフォールド間のギャップを埋めるために,不確実誘導マニフォールド平滑化(UMS)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-16T09:26:32Z) - Active Flow Matching [14.437387789022354]
アクティブフローマッチング(AFM)は、フローに沿った条件付きエンドポイント分布を操作するための変動目的を再構成する。
我々は、自己正規化重要度サンプリングを用いて、前方および逆のKullback-Leibler(KL)変異を導出する。
論文 参考訳（メタデータ） (2026-03-01T02:50:07Z) - Improving Deepfake Detection with Reinforcement Learning-Based Adaptive Data Augmentation [60.04281435591454]
CRDA(Curriculum Reinforcement-Learning Data Augmentation)は、マルチドメインの偽造機能を段階的にマスターするための検出器を導く新しいフレームワークである。
私たちのアプローチの中心は、強化学習と因果推論を統合することです。
提案手法は検出器の一般化性を大幅に向上し,複数のクロスドメインデータセット間でSOTA法より優れている。
論文 参考訳（メタデータ） (2025-11-10T12:45:52Z) - Align-Then-stEer: Adapting the Vision-Language Action Models through Unified Latent Guidance [63.33213516925946]
textbfAlign-Then-stEer(textttATE)は,新しいデータ効率,プラグアンドプレイ適応フレームワークである。
我々の研究は、新しいロボットプラットフォームやタスクにVLAモデルをデプロイする実用性を大幅に向上させる、汎用的で軽量なソリューションを提供する。
論文 参考訳（メタデータ） (2025-09-02T07:51:59Z) - A General Adaptive Dual-level Weighting Mechanism for Remote Sensing Pansharpening [11.791358860917189]
リモートセンシングの深層学習法は 急速に進歩しています
多くの既存手法は特徴の不均一性と冗長性を完全に活用するのに苦労している。
これらの課題に対処するために、一般適応二重レベル重み付け機構(ADWM)を導入する。
論文 参考訳（メタデータ） (2025-03-17T14:24:00Z) - AdaPTS: Adapting Univariate Foundation Models to Probabilistic Multivariate Time Series Forecasting [10.899510048905926]
本稿では,機能間の複雑な依存関係を管理し,予測の不確実性を定量化するアダプタを提案する。
合成データセットと実世界のデータセットの両方で実施された実験により、アダプタの有効性が確認された。
私たちのフレームワークであるAdaPTSは、アダプタをモジュール的でスケーラブルで効果的なソリューションとして位置づけています。
論文 参考訳（メタデータ） (2025-02-14T15:46:19Z) - Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。
任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。
AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
論文 参考訳（メタデータ） (2024-05-06T11:02:02Z) - MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。
近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。
SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
論文 参考訳（メタデータ） (2024-04-13T13:39:26Z) - Optimizing Training Trajectories in Variational Autoencoders via Latent
Bayesian Optimization Approach [0.0]
教師なしおよび半教師なしのML手法は、物理学、化学、材料科学の様々な分野に広く採用されている。
教師なしおよび半教師付きMLに対するハイパーパラメータ軌道最適化のための潜在ベイズ最適化(zBO)手法を提案する。
本手法の適用により,MNISTの離散的および連続的回転不変表現とプラズモンナノ粒子材料システムの実験データを求めることができる。
論文 参考訳（メタデータ） (2022-06-30T23:41:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。