論文の概要: Improving Instruct Models for Free: A Study on Partial Adaptation

• arxiv url: http://arxiv.org/abs/2504.11626v1
• Date: Tue, 15 Apr 2025 21:35:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:40:36.088883
• Title: Improving Instruct Models for Free: A Study on Partial Adaptation
• Title（参考訳）: 無料のインストラクションモデルの改善:部分適応に関する研究
• Authors: Ozan İrsoy, Pengxiang Cheng, Jennifer L. Chen, Daniel Preoţiuc-Pietro, Shiyue Zhang, Duccio Pappadopulo,
• Abstract要約: そこで本研究では,ベースモデルとインストラクションモデルのパフォーマンストラジェクトリについて,インストラクションチューニングの強度をスケールダウンさせることにより検討する。 複数のモデルファミリとモデルサイズにまたがって、命令調整結果の強度を低下させることで、数ショットのインコンテキスト学習ベンチマークにおいて物質的改善が達成されることを示す。
• 参考スコア（独自算出の注目度）: 24.14141732514014
• License:
• Abstract: Instruct models, obtained from various instruction tuning or post-training steps, are commonly deemed superior and more usable than their base counterpart. While the model gains instruction following ability, instruction tuning may lead to forgetting the knowledge from pre-training or it may encourage the model being overly conversational or verbose. This, in turn, can lead to degradation of in-context few-shot learning performance. In this work, we study the performance trajectory between base and instruct models by scaling down the strength of instruction-tuning via the partial adaption method. We show that, across several model families and model sizes, reducing the strength of instruction-tuning results in material improvement on a few-shot in-context learning benchmark covering a variety of classic natural language tasks. This comes at the cost of losing some degree of instruction following ability as measured by AlpacaEval. Our study shines light on the potential trade-off between in-context learning and instruction following abilities that is worth considering in practice.
• Abstract（参考訳）: インストラクション・モデル(インストラクション・チューニングまたはポスト・トレーニング・ステップから得られる)は、一般的に、基礎となるモデルよりも優れ、より有用であると見なされる。 モデルが命令に従う能力を得る一方で、インストラクションチューニングは事前学習から知識を忘れることにつながるかもしれないし、あるいはモデルが過度に会話的あるいは冗長であることを奨励するかもしれない。 これにより、コンテキスト内数発の学習性能が低下する可能性がある。 本研究では,基本モデルとインストラクションモデルのパフォーマンストラジェクトリについて,部分適応法を用いて命令チューニングの強度をスケールダウンすることで検討する。 いくつかのモデルファミリとモデルサイズにおいて、命令チューニングの結果の強度を低下させ、様々な古典的な自然言語タスクをカバーする数ショットのインコンテキスト学習ベンチマークにおいて、重要な改善をもたらすことを示す。 これはAlpacaEvalが測定した、ある程度の命令に従う能力を失うコストが伴う。 本研究は、文脈内学習と実践的に考える価値のある指導能力とのトレードオフの可能性に光を当てるものである。

関連論文リスト

• Instruction Tuning for Story Understanding and Generation with Weak Supervision [0.5530212768657544]
  本稿では,ストーリー生成を改善するために,"Weak to Strong Instruction Tuning"という新しいアプローチを提案する。 本手法は物語の理解と生成における性能を著しく向上させることを示す。 本研究は, 複雑な物語タスクのための生成モデルを改良する上で, 適応的指導チューニングが強力なツールであることを示す。
  論文  参考訳（メタデータ） (2025-01-26T15:59:31Z)
• The Inherent Limits of Pretrained LLMs: The Unexpected Convergence of Instruction Tuning and In-Context Learning Capabilities [51.594836904623534]
  本研究は,インコンテキストの例を用いて誘導されるベースモデルと,命令調整モデルが根本的に異なる機能を持つかどうかを考察する。 命令調整モデルの性能は,基本モデルのコンテキスト内性能と大きく相関していることを示す。 具体的には、この理解を命令付きモデルに拡張し、事前学習データも同様に、解決可能なタスクの制限境界を設定することを示唆する。
  論文  参考訳（メタデータ） (2025-01-15T10:57:55Z)
• Improving Instruction-Following in Language Models through Activation Steering [58.876600545898675]
  命令固有ベクトル表現を言語モデルから導出し,それに従ってモデルをステアリングする。 提案手法は,出力形式や長さ,単語の包摂といった制約に対するモデル適合性をいかに向上させるかを示す。 本研究は,アクティベーションステアリングが言語生成におけるきめ細かい制御に実用的でスケーラブルなアプローチを提供することを示す。
  論文  参考訳（メタデータ） (2024-10-15T08:38:20Z)
• Revisiting the Superficial Alignment Hypothesis [0.9831489366502302]
  表面アライメント仮説(英語版)は、言語モデルの能力と知識のほとんど全てが事前訓練中に学習されていることを示唆している。 我々はこれらの主張を再検討し、微調整例の増加とともにポストトレーニングのスケーリング行動を研究する。
  論文  参考訳（メタデータ） (2024-09-27T22:14:10Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• Instruction-following Evaluation through Verbalizer Manipulation [64.73188776428799]
  本稿では,動詞操作と呼ばれる新しい指示追従評価プロトコルを提案する。 モデルにタスクラベルを、異なる範囲のモデル先行と整合した単語で言語化するように指示する。 異なる家族や規模にわたるモデルの指示追従能力は、より自然な話し手の性能によって著しく異なることが観察された。
  論文  参考訳（メタデータ） (2023-07-20T03:54:24Z)
• In-Context Probing: Toward Building Robust Classifiers via Probing Large Language Models [5.5089506884366735]
  本稿では, In-Context Probing (ICP) という代替手法を提案する。 インコンテキスト学習と同様に、入力の表現を命令で文脈化するが、出力予測を復号する代わりに、ラベルを予測するために文脈化表現を探索する。 我々はICPがファインタニングよりも優れていることを示し、より小さなモデルの上に分類器を構築するのに特に有用であることを示した。
  論文  参考訳（メタデータ） (2023-05-23T15:43:04Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
  自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。 我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。 また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
  論文  参考訳（メタデータ） (2021-01-20T13:59:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。