論文の概要: Revealing the Inherent Instructability of Pre-Trained Language Models

• arxiv url: http://arxiv.org/abs/2410.02465v2
• Date: Sun, 16 Feb 2025 13:50:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:06:46.655468
• Title: Revealing the Inherent Instructability of Pre-Trained Language Models
• Title（参考訳）: 事前学習型言語モデルの創発的インストラクタビリティに関する研究
• Authors: Seokhyun An, Minji Kim, Hyounghun Kim,
• Abstract要約: 本稿では,RT(Response Tuning)が命令とそれに対応する対応マッピングを命令チューニングから取り除くことを示す。 実験の結果、RTは応答のみに基づいて訓練され、広範囲の指示に効果的に反応し、訓練対象に近づきやすいことを示すことができた。
• 参考スコア（独自算出の注目度）: 9.504992236994697
• License:
• Abstract: Instruction tuning -- supervised fine-tuning using instruction-response pairs -- is a key step in making pre-trained large language models (LLMs) instructable. Meanwhile, LLMs perform multitask learning during their pre-training, acquiring extensive knowledge and capabilities. We hypothesize that the pre-training stage can enable them to develop the ability to comprehend and address instructions. To verify this, we propose Response Tuning (RT), which removes the instruction and its corresponding mapping to the response from instruction tuning. Instead, it focuses solely on establishing the response distribution. Our experiments demonstrate that RT models, trained only on responses, can effectively respond to a wide range of instructions and exhibit helpfulness approaching that of their instruction-tuned counterparts. In addition, we observe that the models can recognize and reject unsafe queries after learning the refusal conditions from training responses. Furthermore, we demonstrate that these observations also hold in an in-context learning setting. These findings support our hypothesis, highlighting the extensive inherent capabilities of pre-trained LLMs.
• Abstract（参考訳）: インストラクションチューニング -- 命令-レスポンスペアを使用した教師付き微調整 -- は、トレーニング済みの大規模言語モデル(LLM)をインストラクション可能にするための重要なステップである。 一方、LLMは事前学習中にマルチタスク学習を行い、幅広い知識と能力を得る。 我々は、事前学習段階が、命令を理解して対処する能力の開発を可能にすると仮定する。 これを検証するために、命令のチューニングから応答に対する命令と対応するマッピングを除去するResponse Tuning (RT)を提案する。 代わりに、応答分布の確立にのみ焦点をあてる。 実験により、RTモデルは応答のみに基づいて訓練され、広範囲の命令に効果的に応答し、訓練対象の命令に近づきやすいことを示す。 さらに,モデルがトレーニング応答から拒否条件を学習した後,安全でないクエリを認識・拒否できることを観察した。 さらに,これらの観察は文脈内学習環境においても有効であることを示す。 これらの知見は, 事前学習したLLMの広範な特性を浮き彫りにした仮説を裏付けるものである。

関連論文リスト

• On the loss of context-awareness in general instruction fine-tuning [101.03941308894191]
  命令応答対における教師付き微調整(SFT)のようなポストトレーニング手法は、事前トレーニング中に学習した既存の能力を損なう可能性がある。 そこで本研究では,ユーザプロンプトに配慮したポストホックアテンション・ステアリングと,コンテキスト依存度指標を用いた条件付きインストラクションの微調整という,インストラクションモデルにおけるコンテキスト認識の損失を軽減する2つの方法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Prompt Tuning with Diffusion for Few-Shot Pre-trained Policy Generalization [55.14484317645865]
  我々は,オフライン強化学習タスクにおいて,例外的な品質向上を促す条件拡散モデルを構築した。 本稿では,Promptディフューザがプロンプトチューニングプロセスの堅牢かつ効果的なツールであることを示し,メタRLタスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2024-11-02T07:38:02Z)
• Exploring RL-based LLM Training for Formal Language Tasks with Programmed Rewards [49.7719149179179]
  本稿では,PPOを用いた強化学習(RL)の実現可能性について検討する。 我々は,生成した出力の質を自動的に評価するために,明示的な報酬関数をプログラムできるプログラミングなどの形式言語で表されるタスクに焦点をあてる。 以上の結果から,2つの形式言語タスクに対する純粋なRLベースのトレーニングは困難であり,単純な算術タスクにおいても成功は限られていることがわかった。
  論文  参考訳（メタデータ） (2024-10-22T15:59:58Z)
• Self-Correction is More than Refinement: A Learning Framework for Visual and Language Reasoning Tasks [43.96835245022083]
  モデルにアウトプットを洗練させる自己補正は、この問題に対する有望な解決策である。 本研究では,視覚言語モデルの推論および微調整段階における自己補正能力について検討した。
  論文  参考訳（メタデータ） (2024-10-05T06:28:54Z)
• Reflective Instruction Tuning: Mitigating Hallucinations in Large Vision-Language Models [36.119299938503936]
  大規模視覚言語モデル(LVLM)は様々な視覚言語タスクにおいて有望な性能を示す。 幻覚に敏感であり、視覚内容や指示と不一致な出力を生成する。 本稿では,理科学習を視覚的指導調律に統合した反射的指導調律を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:32:45Z)
• FLAME: Factuality-Aware Alignment for Large Language Models [86.76336610282401]
  従来のアライメントプロセスでは,大規模言語モデル(LLM)の事実精度が向上しない。 両段階の幻覚につながる要因は,教師付き微調整(SFT)と強化学習(RL)である。 直接選好最適化により,事実認識型SFTと事実認識型RLで構成された事実認識型アライメントを提案する。
  論文  参考訳（メタデータ） (2024-05-02T17:54:54Z)
• Self-Refine Instruction-Tuning for Aligning Reasoning in Language Models [0.8133739801185272]
  小さい言語モデルと大きい言語モデルの間の推論能力のアライメントは、主にスーパーバイザード・ファイン・チューニング(SFT)を通して行われる。 そこで本研究では,より小さな言語モデルを用いて自己定義する自己記述型指導手法を提案する。 コモンセンスと数学の推論タスクで得られた結果は、このアプローチがドメイン内とドメイン外の両方のシナリオでインストラクションチューニングを著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2024-05-01T09:10:27Z)
• Understanding Catastrophic Forgetting in Language Models via Implicit Inference [12.09165658395643]
  微調整データ配信におけるタスクの性能向上は、他のタスクの能力の犠牲となることを実証する。 そこで本研究では,タスクを細調整分布から人工的に遠ざかるコンジュゲート・プロンプティングを提案する。
  論文  参考訳（メタデータ） (2023-09-18T19:28:48Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• PREFER: Prompt Ensemble Learning via Feedback-Reflect-Refine [24.888093229577965]
  提案する制約に対処するため,Prefer という,シンプルで普遍的で自動的な手法を提案する。 我々のPreferは、複数のタスクにおける最先端のパフォーマンスを、大きなマージンで達成する。
  論文  参考訳（メタデータ） (2023-08-23T09:46:37Z)
• LaGR-SEQ: Language-Guided Reinforcement Learning with Sample-Efficient Querying [71.86163159193327]
  大規模言語モデル(LLM)は、最近、テキストを介してコンテキスト対応の応答を提供するという、印象的な能力を実証した。 この能力は、パターン補完に関連するシーケンシャルな意思決定タスクにおいて、妥当なソリューションを予測するために使われる可能性がある。 第一強化学習(RL)エージェントによって部分的に完了したタスクに対する解を提案するために,LLMのこの予測能力を利用するLaGRを紹介した。
  論文  参考訳（メタデータ） (2023-08-21T02:07:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。