論文の概要: Instruction Following without Instruction Tuning

• arxiv url: http://arxiv.org/abs/2409.14254v1
• Date: Sat, 21 Sep 2024 22:36:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 23:26:16.385207
• Title: Instruction Following without Instruction Tuning
• Title（参考訳）: 指導指導なしの指導追従
• Authors: John Hewitt, Nelson F. Liu, Percy Liang, Christopher D. Manning,
• Abstract要約: 命令チューニングに比較して不十分な2種類の適応(チューニング)があるが、それでも命令に従うことができる。 我々は、事前訓練されたモデルを用いて、エキスパート製品における指示に従うルールベースの言語モデルを手書きで支援する。
• 参考スコア（独自算出の注目度）: 87.72635104686275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction tuning commonly means finetuning a language model on instruction-response pairs. We discover two forms of adaptation (tuning) that are deficient compared to instruction tuning, yet still yield instruction following; we call this implicit instruction tuning. We first find that instruction-response pairs are not necessary: training solely on responses, without any corresponding instructions, yields instruction following. This suggests pretrained models have an instruction-response mapping which is revealed by teaching the model the desired distribution of responses. However, we then find it's not necessary to teach the desired distribution of responses: instruction-response training on narrow-domain data like poetry still leads to broad instruction-following behavior like recipe generation. In particular, when instructions are very different from those in the narrow finetuning domain, models' responses do not adhere to the style of the finetuning domain. To begin to explain implicit instruction tuning, we hypothesize that very simple changes to a language model's distribution yield instruction following. We support this by hand-writing a rule-based language model which yields instruction following in a product-of-experts with a pretrained model. The rules are to slowly increase the probability of ending the sequence, penalize repetition, and uniformly change 15 words' probabilities. In summary, adaptations made without being designed to yield instruction following can do so implicitly.
• Abstract（参考訳）: インストラクションチューニング(英語: Instruction tuning)とは、命令-応答ペアの言語モデルを微調整することを指す。 我々は、命令チューニングに比較して不十分な2種類の適応(チューニング)を発見したが、それでも命令従属は得られず、この暗黙的な命令チューニングを呼ぶ。 まず、命令応答対は必要ないことを発見し、対応する命令を使わずに応答のみを訓練することで、命令に従う。 このことは、事前訓練されたモデルは、所望の応答分布をモデルに教えることによって明らかにされる命令応答マッピングを持つことを示唆している。 詩のような狭い領域のデータに対する命令応答訓練は、レシピ生成のような幅広い指示追従行動につながる。 特に、命令が狭い微調整領域の命令と非常に異なる場合、モデルの応答は微調整領域のスタイルに従わない。 暗黙的な命令チューニングを説明するために,言語モデルの分布収差命令に対する非常に単純な変更が後続するのではないか,という仮説を立てる。 我々は、事前訓練されたモデルを用いて、エキスパート製品における指示に従うルールベースの言語モデルを手書きで支援する。 規則は、シーケンスを終了する確率を徐々に増加させ、繰り返しを罰し、15の単語の確率を均一に変化させることである。 要約すると、後続の命令を与えるように設計されない適応は暗黙的に行うことができる。

関連論文リスト

• Revealing the Inherent Instructability of Pre-Trained Language Models [9.504992236994697]
  本稿では,RT(Response Tuning)が命令とそれに対応する対応マッピングを命令チューニングから取り除くことを示す。 実験の結果、RTは応答のみに基づいて訓練され、広範囲の指示に効果的に反応し、訓練対象に近づきやすいことを示すことができた。
  論文  参考訳（メタデータ） (2024-10-03T13:15:19Z)
• Fine-tuning Large Language Models with Sequential Instructions [2.546845645875049]
  既存の命令調整モデルでは、複数の命令でクエリに応答するのに苦労していることがわかった。 我々は、微調整データの一部がシーケンシャルに関連したタスクの連鎖を含むべきであると論じる。 既存のデータセットの命令を多種多様な複雑なシーケンシャルな命令に変換することで、このプロセスを自動化する。 逐次指導チューニングを行ったモデルでは、符号化、数学、オープンエンド生成の結果が改善された。
  論文  参考訳（メタデータ） (2024-03-12T16:33:30Z)
• Instructive Decoding: Instruction-Tuned Large Language Models are Self-Refiner from Noisy Instructions [26.192531184689763]
  本稿では,インストラクティブ・デコーディング(Instructive Decoding, ID)を提案する。 IDは、元の命令の操作されたバージョンから生成された予測を利用して、逆方向の予測のためにロジットを調整する。 ランダムな単語を介して意味的ノイズを挿入するものから、逸脱した応答を誘発する「オポジット」のような他のものまで、このようなノイズの多い命令のスペクトルにわたって実験を行う。
  論文  参考訳（メタデータ） (2023-11-01T02:31:35Z)
• From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
  そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。 次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。 この結果から,指導指導の3つの重要な影響が明らかになった。
  論文  参考訳（メタデータ） (2023-09-30T21:16:05Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Instruction-following Evaluation through Verbalizer Manipulation [64.73188776428799]
  本稿では,動詞操作と呼ばれる新しい指示追従評価プロトコルを提案する。 モデルにタスクラベルを、異なる範囲のモデル先行と整合した単語で言語化するように指示する。 異なる家族や規模にわたるモデルの指示追従能力は、より自然な話し手の性能によって著しく異なることが観察された。
  論文  参考訳（メタデータ） (2023-07-20T03:54:24Z)
• Evaluating the Zero-shot Robustness of Instruction-tuned Language Models [23.488398944358643]
  新規な(観測されていない)が適切な命令表現を用いることで、モデル性能は一貫して低下することがわかった。 本稿では,ソフトプロンプトの埋め込みパラメータを導入することで,この問題を軽減するための簡単な手法を提案する。 本手法は命令調整モデルのロバスト性を常に改善することを示す。
  論文  参考訳（メタデータ） (2023-06-20T03:48:51Z)
• Self-Instruct: Aligning Language Models with Self-Generated Instructions [76.42871502364697]
  Self-Instructは、事前訓練された言語モデルの命令フォロー機能を改善するためのフレームワークである。 私たちのパイプラインは、言語モデルから命令、入力、および出力のサンプルを生成し、その後、元のモデルを微調整するためにそれらを使用する前に、無効または類似のサンプルをフィルタします。 さらなる評価のために、新規タスクのエキスパートによる指示のセットをキュレートし、GPT3とセルフインストラクトのチューニングが既存の公開インストラクションデータセットを大きなマージンで向上することを示す。
  論文  参考訳（メタデータ） (2022-12-20T18:59:19Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。