論文の概要: Multi-property Steering of Large Language Models with Dynamic Activation Composition

• arxiv url: http://arxiv.org/abs/2406.17563v1
• Date: Tue, 25 Jun 2024 14:00:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 14:10:33.484331
• Title: Multi-property Steering of Large Language Models with Dynamic Activation Composition
• Title（参考訳）: 動的アクティベーション構成を持つ大規模言語モデルの多目的ステアリング
• Authors: Daniel Scalena, Gabriele Sarti, Malvina Nissim,
• Abstract要約: アクティベーションステアリング法は,モデルの中間表現を加法的に介入することで,言語モデル生成の条件付けに有効であることが示された。 我々は、様々な活性化ステアリング戦略を総合的に評価し、世代を通して堅牢な影響を確実にするために最適なパラメータの性質に依存している点を強調した。 マルチプロパティステアリング実験により,コンディショニングが生成に与える影響を最小限に抑えつつ,高コンディショニングの維持に成功していることが示された。
• 参考スコア（独自算出の注目度）: 14.964777749156193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Activation steering methods were shown to be effective in conditioning language model generation by additively intervening over models' intermediate representations. However, the evaluation of these techniques has so far been limited to single conditioning properties and synthetic settings. In this work, we conduct a comprehensive evaluation of various activation steering strategies, highlighting the property-dependent nature of optimal parameters to ensure a robust effect throughout generation. To address this issue, we propose Dynamic Activation Composition, an information-theoretic approach to modulate the steering intensity of one or more properties throughout generation. Our experiments on multi-property steering show that our method successfully maintains high conditioning while minimizing the impact of conditioning on generation fluency.
• Abstract（参考訳）: アクティベーションステアリング法は,モデルの中間表現を加法的に介入することで,言語モデル生成の条件付けに有効であることが示された。 しかし, これらの手法の評価は, 単一条件特性と合成条件に限られている。 本研究では, 多様な活性化ステアリング戦略の総合評価を行い, 最適パラメータの性質に依存した特性に着目し, 世代ごとのロバストな影響を確実にする。 この問題に対処するために,1つ以上の特性の操舵強度を世代毎に調節する情報理論的手法である動的活性化合成法を提案する。 マルチプロパティステアリング実験により, コンディショニングの影響を最小限に抑えつつ, 高コンディショニングの維持に成功していることがわかった。

関連論文リスト

• Expressive and Generalizable Low-rank Adaptation for Large Models via Slow Cascaded Learning [55.5715496559514]
  LoRA Slow Cascade Learning (LoRASC)は、LoRAの表現性と一般化能力を高めるために設計された革新的な技術である。 提案手法は,混合低ランク適応を可能にするカスケード学習戦略により表現性を増強し,複雑なパターンをキャプチャするモデルの能力を高める。
  論文  参考訳（メタデータ） (2024-07-01T17:28:59Z)
• Improving the Robustness of Transformer-based Large Language Models with Dynamic Attention [43.95101492654236]
  BERTやGPTといったトランスフォーマーベースのモデルは、自然言語処理(NLP)において広く採用されている。 近年の研究では、テキスト入力を意図的に操作することで、モデルの出力を誤認できるような、テキストの敵対攻撃に対する脆弱性が示されている。 本稿では,トランスアーキテクチャに適した動的アテンション(動的アテンション)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-29T07:09:13Z)
• EnsembleFollower: A Hybrid Car-Following Framework Based On Reinforcement Learning and Hierarchical Planning [22.63087292154406]
  先進的な人間的な車追従を実現するための階層的計画枠組みを提案する。 EnsembleFollowerフレームワークには、複数の低レベルの自動車追従モデルを司法的に管理する、高レベルの強化学習ベースのエージェントが含まれている。 提案手法は,HighDデータセットから実世界の運転データに基づいて評価する。
  論文  参考訳（メタデータ） (2023-08-30T12:55:02Z)
• Diffusion Action Segmentation [63.061058214427085]
  本稿では,このような反復的洗練の本質的な精神を共用した拡散モデルによる新しい枠組みを提案する。 このフレームワークでは、入力された映像の特徴を条件としてランダムノイズから行動予測を反復的に生成する。
  論文  参考訳（メタデータ） (2023-03-31T10:53:24Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Active Learning of Discrete-Time Dynamics for Uncertainty-Aware Model Predictive Control [46.81433026280051]
  本稿では,非線形ロボットシステムの力学を積極的にモデル化する自己教師型学習手法を提案する。 我々のアプローチは、目に見えない飛行条件に一貫して適応することで、高いレジリエンスと一般化能力を示す。
  論文  参考訳（メタデータ） (2022-10-23T00:45:05Z)
• ACID: Action-Conditional Implicit Visual Dynamics for Deformable Object Manipulation [135.10594078615952]
  本稿では,体積変形可能なオブジェクトに対する動作条件の視覚力学モデルであるACIDを紹介する。 ベンチマークには17,000以上のアクション・トラジェクトリー、6種類のぬいぐるみと78種類の変種が含まれている。 我々のモデルは、幾何学、対応、力学の予測において最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-03-14T04:56:55Z)
• Autoregressive Dynamics Models for Offline Policy Evaluation and Optimization [60.73540999409032]
  表現的自己回帰ダイナミクスモデルが次の状態の異なる次元を生成し、以前の次元で順次条件付きで報酬を得ることを示す。 また,リプレイバッファを充実させる手段として,自己回帰的ダイナミクスモデルがオフラインポリシー最適化に有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-28T16:48:44Z)
• HyperDynamics: Meta-Learning Object and Agent Dynamics with Hypernetworks [18.892883695539002]
  HyperDynamicsは、ニューラルネットワークモデルのパラメータを生成する動的メタ学習フレームワークである。 高次元の視覚観察でダイナミクスを学習することで、環境の変化に適応する既存のモデルを上回る性能を発揮します。 本手法は,個別に訓練された専門家の演奏に合致すると同時に,テスト時に未知の環境変動に対して十分に一般化できることを示す。
  論文  参考訳（メタデータ） (2021-03-17T04:48:43Z)
• Automated and Formal Synthesis of Neural Barrier Certificates for Dynamical Models [70.70479436076238]
  バリア証明書(BC)の自動的,形式的,反例に基づく合成手法を提案する。 このアプローチは、ニューラルネットワークとして構造化されたBCの候補を操作する誘導的フレームワークと、その候補の有効性を認証するか、反例を生成する音検証器によって支えられている。 その結果,音のBCsを最大2桁の速度で合成できることがわかった。
  論文  参考訳（メタデータ） (2020-07-07T07:39:42Z)
• Automatic Differentiation and Continuous Sensitivity Analysis of Rigid Body Dynamics [15.565726546970678]
  剛体力学のための微分可能な物理シミュレータを提案する。 軌道最適化の文脈では、閉ループモデル予測制御アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-01-22T03:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。