論文の概要: Response Tuning: Aligning Large Language Models without Instruction

• arxiv url: http://arxiv.org/abs/2410.02465v1
• Date: Thu, 3 Oct 2024 13:15:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 03:11:05.524662
• Title: Response Tuning: Aligning Large Language Models without Instruction
• Title（参考訳）: 応答チューニング: 命令なしの大規模言語モデルの調整
• Authors: Seokhyun An, Hyounghun Kim,
• Abstract要約: 本稿では、命令調整における命令条件のステップを排除し、応答空間の監督にのみ焦点をあてる応答チューニング(RT)を提案する。 実験により, RTモデルは応答のみを用いて訓練され, 広範囲の命令に効果的に対応し, 学習した命令に匹敵する有用性を示すことができた。
• 参考スコア（独自算出の注目度）: 9.249662593315541
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction tuning-supervised fine-tuning using instruction-response pairs-is a foundational step in transitioning pre-trained Large Language Models (LLMs) into helpful and safe chat assistants. Our hypothesis is that establishing an adequate output space can enable such a transition given the capabilities inherent in pre-trained LLMs. To verify this, we propose Response Tuning (RT), which eliminates the instruction-conditioning step in instruction tuning and solely focuses on response space supervision. Our experiments demonstrate that RT models, trained only using responses, can effectively respond to a wide range of instructions and exhibit helpfulness comparable to that of their instruction-tuned counterparts. Furthermore, we observe that controlling the training response distribution can significantly improve their user preference or elicit target behaviors such as refusing assistance for unsafe queries. Our findings illuminate the role of establishing an adequate output space in alignment, highlighting the potential of the extensive inherent capabilities of pre-trained LLMs.
• Abstract（参考訳）: 命令-応答対を用いた教師付き微調整は、事前学習された大言語モデル(LLM)を有用な安全なチャットアシスタントに移行するための基本的なステップである。 我々の仮説は、事前学習されたLLMに固有の能力を考えると、十分な出力空間を確立することで、そのような遷移を可能にするというものである。 これを検証するために,命令チューニングにおける命令条件のステップを排除し,応答空間の監督にのみ焦点をあてるResponse Tuning (RT)を提案する。 実験により, RTモデルは応答のみを用いて訓練され, 広範囲の命令に効果的に対応し, 学習した命令に匹敵する有用性を示すことができた。 さらに, トレーニング応答分布の制御は, ユーザの嗜好を著しく改善したり, 安全でないクエリに対する支援を拒否するなど, 対象行動の緩和を図っている。 本研究は, 予め学習したLLMの広範囲な能力の可能性を浮き彫りにして, 適切な出力空間を整備する役割を解明するものである。

関連論文リスト

• On the loss of context-awareness in general instruction fine-tuning [101.03941308894191]
  命令応答対における教師付き微調整(SFT)のようなポストトレーニング手法は、事前トレーニング中に学習した既存の能力を損なう可能性がある。 そこで本研究では,ユーザプロンプトに配慮したポストホックアテンション・ステアリングと,コンテキスト依存度指標を用いた条件付きインストラクションの微調整という,インストラクションモデルにおけるコンテキスト認識の損失を軽減する2つの方法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Prompt Tuning with Diffusion for Few-Shot Pre-trained Policy Generalization [55.14484317645865]
  我々は,オフライン強化学習タスクにおいて,例外的な品質向上を促す条件拡散モデルを構築した。 本稿では,Promptディフューザがプロンプトチューニングプロセスの堅牢かつ効果的なツールであることを示し,メタRLタスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2024-11-02T07:38:02Z)
• Exploring RL-based LLM Training for Formal Language Tasks with Programmed Rewards [49.7719149179179]
  本稿では,PPOを用いた強化学習(RL)の実現可能性について検討する。 我々は,生成した出力の質を自動的に評価するために,明示的な報酬関数をプログラムできるプログラミングなどの形式言語で表されるタスクに焦点をあてる。 以上の結果から,2つの形式言語タスクに対する純粋なRLベースのトレーニングは困難であり,単純な算術タスクにおいても成功は限られていることがわかった。
  論文  参考訳（メタデータ） (2024-10-22T15:59:58Z)
• Self-Correction is More than Refinement: A Learning Framework for Visual and Language Reasoning Tasks [43.96835245022083]
  モデルにアウトプットを洗練させる自己補正は、この問題に対する有望な解決策である。 本研究では,視覚言語モデルの推論および微調整段階における自己補正能力について検討した。
  論文  参考訳（メタデータ） (2024-10-05T06:28:54Z)
• Reflective Instruction Tuning: Mitigating Hallucinations in Large Vision-Language Models [36.119299938503936]
  大規模視覚言語モデル(LVLM)は様々な視覚言語タスクにおいて有望な性能を示す。 幻覚に敏感であり、視覚内容や指示と不一致な出力を生成する。 本稿では,理科学習を視覚的指導調律に統合した反射的指導調律を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:32:45Z)
• FLAME: Factuality-Aware Alignment for Large Language Models [86.76336610282401]
  従来のアライメントプロセスでは,大規模言語モデル(LLM)の事実精度が向上しない。 両段階の幻覚につながる要因は,教師付き微調整(SFT)と強化学習(RL)である。 直接選好最適化により,事実認識型SFTと事実認識型RLで構成された事実認識型アライメントを提案する。
  論文  参考訳（メタデータ） (2024-05-02T17:54:54Z)
• Self-Refine Instruction-Tuning for Aligning Reasoning in Language Models [0.8133739801185272]
  小さい言語モデルと大きい言語モデルの間の推論能力のアライメントは、主にスーパーバイザード・ファイン・チューニング(SFT)を通して行われる。 そこで本研究では,より小さな言語モデルを用いて自己定義する自己記述型指導手法を提案する。 コモンセンスと数学の推論タスクで得られた結果は、このアプローチがドメイン内とドメイン外の両方のシナリオでインストラクションチューニングを著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2024-05-01T09:10:27Z)
• Understanding Catastrophic Forgetting in Language Models via Implicit Inference [12.09165658395643]
  微調整データ配信におけるタスクの性能向上は、他のタスクの能力の犠牲となることを実証する。 そこで本研究では,タスクを細調整分布から人工的に遠ざかるコンジュゲート・プロンプティングを提案する。
  論文  参考訳（メタデータ） (2023-09-18T19:28:48Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• PREFER: Prompt Ensemble Learning via Feedback-Reflect-Refine [24.888093229577965]
  提案する制約に対処するため,Prefer という,シンプルで普遍的で自動的な手法を提案する。 我々のPreferは、複数のタスクにおける最先端のパフォーマンスを、大きなマージンで達成する。
  論文  参考訳（メタデータ） (2023-08-23T09:46:37Z)
• LaGR-SEQ: Language-Guided Reinforcement Learning with Sample-Efficient Querying [71.86163159193327]
  大規模言語モデル(LLM)は、最近、テキストを介してコンテキスト対応の応答を提供するという、印象的な能力を実証した。 この能力は、パターン補完に関連するシーケンシャルな意思決定タスクにおいて、妥当なソリューションを予測するために使われる可能性がある。 第一強化学習(RL)エージェントによって部分的に完了したタスクに対する解を提案するために,LLMのこの予測能力を利用するLaGRを紹介した。
  論文  参考訳（メタデータ） (2023-08-21T02:07:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。