論文の概要: Nudging: Inference-time Alignment via Model Collaboration

• arxiv url: http://arxiv.org/abs/2410.09300v1
• Date: Tue, 15 Oct 2024 01:07:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 15:13:33.292849
• Title: Nudging: Inference-time Alignment via Model Collaboration
• Title（参考訳）: 看護:モデルコラボレーションによる推論時間アライメント
• Authors: Yu Fei, Yasaman Razeghi, Sameer Singh,
• Abstract要約: 我々は,任意のベースモデルを小さなアライメントモデルを用いて推論時に整列するプラグアンドプレイアルゴリズムであるnudgingを提案する。 看護は、アライメントがスタイリスティックトークンの小さなサブセット上でのモデルの振る舞いを主に変えるという最近の発見によって動機付けられている。 3つのモデルファミリーと13のタスクにまたがるヌードの有効性を評価し、推論、一般的な知識、指示追従、安全性ベンチマークについて検討した。
• 参考スコア（独自算出の注目度）: 18.530367090350605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) require alignment, such as instruction-tuning or reinforcement learning from human feedback, to effectively and safely follow user instructions. This process necessitates training aligned versions for every model size in each model family, resulting in significant computational overhead. In this work, we propose nudging, a simple, plug-and-play, and training-free algorithm that aligns any base model at inference time using a small aligned model. Nudging is motivated by recent findings that alignment primarily alters the model's behavior on a small subset of stylistic tokens, such as "Sure" or "Thank". We find that base models are significantly more uncertain when generating these tokens. Leveraging this observation, nudging employs a small aligned model to generate nudging tokens to steer the large base model's output toward desired directions when the base model's uncertainty is high. We evaluate the effectiveness of nudging across 3 model families and 13 tasks, covering reasoning, general knowledge, instruction following, and safety benchmarks. Without any additional training, nudging a large base model with a 7x - 14x smaller aligned model achieves zero-shot performance comparable to, and sometimes surpassing, that of large aligned models. For example, nudging OLMo-7b with OLMo-1b-instruct, affecting less than 9% of tokens, achieves a 10% absolute improvement on GSM8K over OLMo-7b-instruct. Unlike prior inference-time tuning methods, nudging enables off-the-shelf collaboration between model families. For instance, nudging Gemma-2-27b with Llama-2-7b-chat outperforms Llama-2-70b-chat on various tasks. Overall, this work introduces a simple yet powerful approach to token-level model collaboration, offering a modular solution to LLM alignment. Our project website: https://fywalter.github.io/nudging/ .
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ユーザーの指示を効果的かつ安全に追従するために、命令チューニングや人間のフィードバックからの強化学習のようなアライメントを必要とする。 このプロセスは、各モデルファミリのモデルサイズごとに、トレーニングの整列バージョンを必要とするため、計算オーバーヘッドが大幅に増加する。 本研究では,小さなアライメントモデルを用いて,任意のベースモデルを推論時に整列させる,シンプルな,プラグアンドプレイ,トレーニングフリーなアルゴリズムであるヌードグを提案する。 ナッジの動機は、最近の発見により、アライメントは、主に"Sure"や"Thank"のような、スタイリスティックなトークンの小さなサブセットでモデルの振る舞いを変える。 これらのトークンを生成する際、ベースモデルは著しく不確実であることがわかった。 この観察を生かして、ヌージングは小さな整列モデルを用いて、ベースモデルの不確実性が高い場合には、大きなベースモデルの出力を所望の方向に向けて操るためにヌージングトークンを生成する。 3つのモデルファミリーと13のタスクにまたがるヌードの有効性を評価し、推論、一般的な知識、指示追従、安全性ベンチマークについて検討した。 追加のトレーニングがなければ、大きなベースモデルを7倍から14倍の小さなアライメントモデルでヌードすることは、大きなアライメントモデルと比較し、時には上回るゼロショットのパフォーマンスを達成する。 例えば、OLMo-1b-インストラクタでOLMo-7bをヌードすると、トークンの9%未満が影響を受け、OLMo-7b-インストラクタよりもGSM8Kが10%絶対的に改善される。 従来の推論時チューニング方法とは異なり、ヌーディングはモデルファミリ間のオフザシェルフ協調を可能にする。 例えば、Llama-2-7b-chatでGemma-2-27bをヌードすると、様々なタスクでLlama-2-70b-chatより優れる。 全体として、この作業はトークンレベルのモデルコラボレーションに対するシンプルだが強力なアプローチを導入し、LLMアライメントに対するモジュラーソリューションを提供します。 プロジェクトのWebサイト: https://fywalter.github.io/nudging/。

関連論文リスト

• Cross-model Control: Improving Multiple Large Language Models in One-time Training [34.98931804630706]
  クロスモデル制御(CMC)は、1回トレーニングで複数の大規模言語モデルを改善する手法である。 この知見に基づいて、最小数のパラメータを持つ小さな言語モデルを組み込む。 本稿では,PM-Mined という新しいトークンマッピング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-23T06:52:09Z)
• What Matters for Model Merging at Scale? [94.26607564817786]
  モデルマージは、複数の専門家モデルとより有能な単一モデルを組み合わせることを目的としている。 これまでの研究は主に、いくつかの小さなモデルをマージすることに焦点を当ててきた。 本研究は,大規模モデルマージの有用性を体系的に評価する。
  論文  参考訳（メタデータ） (2024-10-04T17:17:19Z)
• Enabling Small Models for Zero-Shot Classification through Model Label Learning [50.68074833512999]
  モデルと機能の間のギャップを埋める新しいパラダイムであるモデルラベル学習(MLL)を導入する。 7つの実世界のデータセットの実験により、MLLの有効性と効率が検証された。
  論文  参考訳（メタデータ） (2024-08-21T09:08:26Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• First-Step Advantage: Importance of Starting Right in Multi-Step Math Reasoning [11.75364271481855]
  言語モデルは、予測のための合理性を生成することを学ぶことによって、複雑な推論タスクをよりよく解決することができる。 より小さなモデル、特に修正された場合には、彼らが他の方法で苦労したであろうタスクを解決できることを観察します。 我々はQuestCoTを提案し、より小さなモデルがまず、推論の連鎖で進む前に、どのように開始するかを自問する。
  論文  参考訳（メタデータ） (2023-11-14T06:45:31Z)
• Zephyr: Direct Distillation of LM Alignment [59.03530095974505]
  ユーザ意図に合わせた,より小さな言語モデルの実現を目指しています。 従来の研究では、より大規模なモデルに教師付き微調整(dSFT)を適用することにより、タスクの精度が大幅に向上することが示されている。 蒸留直接選好最適化(dDPO)を用いて,意図のアライメントを大幅に改善したチャットモデルを学習する。
  論文  参考訳（メタデータ） (2023-10-25T19:25:16Z)
• "Medium" LMs of Code in the Era of LLMs: Lessons From StackOverflow [5.036273913335737]
  SOBertBase、109Mパラメータを持つSOBertBaseと、762Mパラメータを持つSOBertLargeの2つのモデルを、それぞれ$187$と$800$の予算でトレーニングします。 その結果、ドメイン内データを広範囲かつ適切に事前学習することで、クローズドソース汎用モデルを活用するための、強力で安価な代替手段が得られることが示された。
  論文  参考訳（メタデータ） (2023-06-05T21:38:30Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Deep Model Assembling [31.88606253639418]
  本稿では,大規模モデルをトレーニングするための分割・分散戦略について検討する。 大きなモデルを小さなモジュールに分割し、個別にトレーニングし、トレーニングされたモジュールを再組み立てしてターゲットモデルを取得する。 すべてのモジュールを暗黙的にリンクするグローバルな共有メタモデルを導入します。 これにより、組み立てられた時に効果的に協調する高度に互換性のあるモジュールをトレーニングできます。
  論文  参考訳（メタデータ） (2022-12-08T08:04:06Z)
• CAMERO: Consistency Regularized Ensemble of Perturbed Language Models with Weight Sharing [83.63107444454938]
  本稿では,CAMEROと呼ばれる摂動モデルに基づく一貫性規則化アンサンブル学習手法を提案する。 具体的には、すべてのモデルで底層重みを共有し、異なるモデルの隠れ表現に異なる摂動を適用し、モデルの多様性を効果的に促進することができる。 大規模言語モデルを用いた実験により,CAMEROはアンサンブルモデルの一般化性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2022-04-13T19:54:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。