論文の概要: Tradeoffs Between Alignment and Helpfulness in Language Models with Representation Engineering

• arxiv url: http://arxiv.org/abs/2401.16332v4
• Date: Thu, 03 Oct 2024 13:40:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-04 17:53:04.844496
• Title: Tradeoffs Between Alignment and Helpfulness in Language Models with Representation Engineering
• Title（参考訳）: 表現工学を用いた言語モデルにおけるアライメントとヘルプフルネスのトレードオフ
• Authors: Yotam Wolf, Noam Wies, Dorin Shteyman, Binyamin Rothberg, Yoav Levine, Amnon Shashua,
• Abstract要約: 本研究では,アライメントの増加とモデルの有用性の低下のトレードオフについて検討する。 フレームワークの条件下では、アライメントは表現工学によって保証される。 本研究は,表現工学ベクトルのノルムにより,有用性が2次的に損なわれることを示す。
• 参考スコア（独自算出の注目度）: 15.471566708181824
• License:
• Abstract: Language model alignment has become an important component of AI safety, allowing safe interactions between humans and language models, by enhancing desired behaviors and inhibiting undesired ones. It is often done by tuning the model or inserting preset aligning prompts. Recently, representation engineering, a method which alters the model's behavior via changing its representations post-training, was shown to be effective in aligning LLMs (Zou et al., 2023a). Representation engineering yields gains in alignment oriented tasks such as resistance to adversarial attacks and reduction of social biases, but was also shown to cause a decrease in the ability of the model to perform basic tasks. In this paper we study the tradeoff between the increase in alignment and decrease in helpfulness of the model. We propose a theoretical framework which provides bounds for these two quantities, and demonstrate their relevance empirically. First, we find that under the conditions of our framework, alignment can be guaranteed with representation engineering, and at the same time that helpfulness is harmed in the process. Second, we show that helpfulness is harmed quadratically with the norm of the representation engineering vector, while the alignment increases linearly with it, indicating a regime in which it is efficient to use representation engineering. We validate our findings empirically, and chart the boundaries to the usefulness of representation engineering for alignment.
• Abstract（参考訳）: 言語モデルのアライメントはAIの安全性の重要なコンポーネントとなり、望ましい行動を強化し、望ましくない行動を抑制することによって、人間と言語モデルの安全な相互作用を可能にする。 しばしば、モデルをチューニングしたり、プリセットされたアライメントプロンプトを挿入することで行われる。 近年,LLMの整列化に有効な表現工学(Zou et al , 2023a)が提案されている。 表現工学は、敵対的攻撃に対する抵抗や社会的偏見の減少など、アライメント指向のタスクに利益をもたらすが、モデルの基本的タスクを実行する能力の低下を引き起こすことも示されている。 本稿では,アライメントの増大とモデルの有用性の低下のトレードオフについて検討する。 この2つの量に境界を与える理論的枠組みを提案し、その妥当性を実証的に示す。 まず、我々のフレームワークの条件下では、アライメントは表現工学によって保証され、同時にそのプロセスにおいて有用性が害されることが分かる。 第2に,表現工学ベクトルのノルムにより有用性が2次的に損なわれる一方で,アライメントが線形に増加することを示し,表現工学を効果的に活用できる状態を示す。 その結果を実証的に検証し,その境界線をアライメントのための表現工学の有用性にグラフ化する。

関連論文リスト

• A Timeline and Analysis for Representation Plasticity in Large Language Models [0.0]
  本稿では, 異なる微調整段階において抽出したステアリングを応用することにより, 「正直」 と モデル塑性がいかに進化するかを理解することを目的とする。 初期のステアリングは高い塑性を示すが、後期は驚くほど反応のよい臨界窓を持つ。 これらの洞察は、AI透明性の分野に大きく貢献し、効率の急激な欠如に対処し、モデルの振る舞いを効果的に操る能力を制限する。
  論文  参考訳（メタデータ） (2024-10-08T17:34:15Z)
• Stationary Representations: Optimally Approximating Compatibility and Implications for Improved Model Replacements [20.96380700548786]
  互換性のある表現を学習することで、モデルが時間とともに更新されるときに、セマンティックな機能の交換可能な使用が可能になる。 これは、ギャラリーイメージの更新モデルによる再処理を避けることが重要となる検索・検索システムにおいて特に重要である。 我々は,$d$-Simplex固定分類器によって学習された定常表現が,形式的定義の2つの不等式制約に従って最適に近似していることを示す。
  論文  参考訳（メタデータ） (2024-05-04T06:31:38Z)
• Understanding the Learning Dynamics of Alignment with Human Feedback [17.420727709895736]
  本稿では,人間の嗜好アライメントの学習力学を理論的に解析する試みについて述べる。 選好データセットの分布がモデル更新率にどのように影響するかを示し、トレーニング精度に厳密な保証を与える。
  論文  参考訳（メタデータ） (2024-03-27T16:39:28Z)
• Learning reduced-order Quadratic-Linear models in Process Engineering using Operator Inference [7.471096682644106]
  この研究は、プロセス工学における動的システムの効率的なモデリングという課題に対処する。 我々は、低次モデル学習、特に演算子推論を用いる。 本研究の応用は、パワー・トゥ・Xフレームワークにおける重要な反応である二酸化炭素のメタン化である。
  論文  参考訳（メタデータ） (2024-02-27T17:21:10Z)
• Intervention Lens: from Representation Surgery to String Counterfactuals [106.98481791980367]
  言語モデル(LM)の表現空間をターゲットとした介入は、モデル行動に影響を与える効果的な手段として現れてきた。 表現反事実を文字列反事実に変換する方法を提案する。 結果として生じるカウンターファクトは、データ拡張による分類のバイアスを軽減するために使用することができる。
  論文  参考訳（メタデータ） (2024-02-17T18:12:02Z)
• InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
  我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。 実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。 これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-01-20T10:41:03Z)
• Fundamental Limitations of Alignment in Large Language Models [16.393916864600193]
  人間と対話する言語モデルを開発する上で重要な側面は、その行動が有用で有害であるように整列することである。 これは通常、望ましい振る舞いを高め、望ましくない振る舞いを抑制する方法でモデルをチューニングすることで達成される。 本研究では,行動予測境界 (BEB) と呼ばれる理論的手法を提案する。
  論文  参考訳（メタデータ） (2023-04-19T17:50:09Z)
• Fair Interpretable Representation Learning with Correction Vectors [60.0806628713968]
  我々は「補正ベクトル」の学習を中心にした公正表現学習のための新しい枠組みを提案する。 このような方法で制約されたいくつかの公正表現学習モデルが、ランキングや分類性能の損失を示さないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-02-07T11:19:23Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• SLUA: A Super Lightweight Unsupervised Word Alignment Model via Cross-Lingual Contrastive Learning [79.91678610678885]
  超軽量非教師付き単語アライメントモデル(SLUA)を提案する。 いくつかの公開ベンチマークによる実験結果から,我々のモデルは性能が向上しても競争力を発揮することが示された。 特に、我々のモデルはバイリンガル単語の埋め込みと単語のアライメントを統一する先駆的な試みであると認識している。
  論文  参考訳（メタデータ） (2021-02-08T05:54:11Z)
• High-Fidelity Synthesis with Disentangled Representation [60.19657080953252]
  本稿では,不整合学習と高忠実度合成のためのID-GAN(Information-Distillation Generative Adrial Network)を提案する。 提案手法は, VAEモデルを用いて非交叉表現を学習し, 高忠実度合成のためのGAN生成器に追加のニュアンス変数で学習表現を蒸留する。 単純さにもかかわらず,提案手法は高効率であり,不整合表現を用いた最先端の手法に匹敵する画像生成品質を実現する。
  論文  参考訳（メタデータ） (2020-01-13T14:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。