論文の概要: Beyond Multiple Choice: Evaluating Steering Vectors for Adaptive Free-Form Summarization
- arxiv url: http://arxiv.org/abs/2505.24859v1
- Date: Fri, 30 May 2025 17:57:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-02 19:47:53.120225
- Title: Beyond Multiple Choice: Evaluating Steering Vectors for Adaptive Free-Form Summarization
- Title（参考訳）: 複数の選択を超える:適応的自由形式要約のためのステアリングベクトルの評価
- Authors: Joschka Braun, Carsten Eickhoff, Seyed Ali Bahrainian,
- Abstract要約: 我々は,話題の焦点,感情,毒性,可読性を制御するためのステアリングベクターの有効性を徹底的に評価した。
ステアリングは対象の要約特性を効果的に制御するが,高いステアリング強度は本質的および外生的テキスト品質の両方を常に劣化させる。
本研究では, ステアリングベクトルを自由形式生成タスクに適用する場合, 制御強度とテキスト品質保全のトレードオフを実証した。
- 参考スコア（独自算出の注目度）: 17.748374206571665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Steering vectors are a lightweight method for controlling text properties by adding a learned bias to language model activations at inference time. So far, steering vectors have predominantly been evaluated in multiple-choice settings, while their effectiveness in free-form generation tasks remains understudied. Moving "Beyond Multiple Choice," we thoroughly evaluate the effectiveness of steering vectors in adaptively controlling topical focus, sentiment, toxicity, and readability in abstractive summaries of the NEWTS dataset. We find that steering effectively controls the targeted summary properties, but high steering strengths consistently degrade both intrinsic and extrinsic text quality. Compared to steering, prompting offers weaker control, while preserving text quality. Combining steering and prompting yields the strongest control over text properties and offers the most favorable efficacy-quality trade-off at moderate steering strengths. Our results underscore the practical trade-off between control strength and text quality preservation when applying steering vectors to free-form generation tasks.
- Abstract（参考訳）: ステアリングベクトルは、推論時に言語モデルのアクティベーションに学習バイアスを加えることで、テキストプロパティを制御するための軽量な方法である。
これまで、ステアリングベクターは、主に複数選択設定で評価されてきたが、フリーフォーム生成タスクにおけるその有効性はまだ検討されていない。
NEWTSデータセットの抽象的要約におけるトピックの焦点、感情、毒性、読みやすさを適応的に制御する上でのステアリングベクターの有効性を徹底的に評価した。
ステアリングは対象の要約特性を効果的に制御するが,高いステアリング強度は本質的および外生的テキスト品質の両方を常に劣化させる。
ステアリングと比較して、プロンプトはテキストの品質を保ちながら、より弱いコントロールを提供する。
ステアリングとプロンプトの組み合わせは、テキスト特性を最強にコントロールし、適度なステアリングの強さで最も良好な有効性品質のトレードオフを提供する。
本研究では, ステアリングベクトルを自由形式生成タスクに適用する場合, 制御強度とテキスト品質保全のトレードオフを実証した。
関連論文リスト
- Beyond Prompt Engineering: Robust Behavior Control in LLMs via Steering Target Atoms [71.85633762642125]
モデルにおける膨大な数のパラメータは、しばしば高度に絡み合った内部表現をもたらす。
最近の研究は、スパースオートエンコーダ(SAE)を用いて、ステアリングのための高次元空間における知識を歪めている。
本研究では,非絡み合った知識コンポーネントを分離・操作し,安全性を高める手法であるステアリングターゲット原子(STA)を提案する。
論文 参考訳（メタデータ） (2025-05-23T17:59:18Z) - Analyzing the Generalization and Reliability of Steering Vectors [8.253773195379166]
ステアリングベクトルは分布内および分布外の両方にかなりの制限があることを示す。
分散において、ステアビリティは異なる入力間で高度に変動する。
アウト・オブ・ディストリビューション(out-of-distribution)、ステアリングベクトル(steering vector)はよく一般化されるが、いくつかの概念はプロンプトの合理的な変化に対して脆弱である。
論文 参考訳（メタデータ） (2024-07-17T08:32:03Z) - Personalized Steering of Large Language Models: Versatile Steering Vectors Through Bi-directional Preference Optimization [34.05163996072159]
人選好データのアクティベーションから「ステアリングベクトル」を抽出する。
この研究は、双方向の選好最適化によってより効果的なステアリングベクトルを生み出すことができる革新的なアプローチを提案する。
提案手法は, ステアリングベクトルが人間の嗜好データペアの生成確率に直接影響を与えるように設計されている。
論文 参考訳（メタデータ） (2024-05-28T05:10:40Z) - LiFi: Lightweight Controlled Text Generation with Fine-Grained Control
Codes [46.74968005604948]
本稿では、制御されたテキスト生成のためのきめ細かい制御を備えた軽量なアプローチであるLIFIを提案する。
我々は、感情制御とトピック制御という従来の2つのタスクと、新たに提案された1つのタスクでLIFIを評価する。
論文 参考訳（メタデータ） (2024-02-10T11:53:48Z) - Improving Activation Steering in Language Models with Mean-Centring [10.101141087916133]
目標データセットに関連付けられたアクティベーションの平均値と、トレーニングアクティベーションの平均値を減じることで、効果的なステアリングベクトルが得られることがわかった。
また、関数ベクトルを抽出するために平均セントリングを適用し、より効果的に自然言語タスクの実行を顕著なマージンでトリガーする。
論文 参考訳（メタデータ） (2023-12-06T18:27:07Z) - Fine-grained Controllable Video Generation via Object Appearance and
Context [74.23066823064575]
細粒度制御可能なビデオ生成法(FACTOR)を提案する。
FACTORは、オブジェクトの位置とカテゴリを含む、オブジェクトの外観とコンテキストを制御することを目的としている。
本手法は,オブジェクトの外観を微調整せずに制御し,オブジェクトごとの最適化作業を省く。
論文 参考訳（メタデータ） (2023-12-05T17:47:33Z) - TLControl: Trajectory and Language Control for Human Motion Synthesis [68.09806223962323]
本稿では,人間のリアルな動き合成のための新しい手法であるTLControlを提案する。
低レベルのTrajectoryと高レベルのLanguage semanticsコントロールが組み込まれている。
インタラクティブで高品質なアニメーション生成には実用的である。
論文 参考訳（メタデータ） (2023-11-28T18:54:16Z) - Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。
SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。
我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
論文 参考訳（メタデータ） (2023-11-03T00:17:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。