論文の概要: JsonTuning: Towards Generalizable, Robust, and Controllable Instruction Tuning

• arxiv url: http://arxiv.org/abs/2310.02953v5
• Date: Sat, 18 Jan 2025 11:33:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:17:12.967586
• Title: JsonTuning: Towards Generalizable, Robust, and Controllable Instruction Tuning
• Title（参考訳）: JsonTuning: 汎用性、ロバスト、制御可能なインストラクションチューニングを目指す
• Authors: Chang Gao, Wenxuan Zhang, Guizhen Chen, Wai Lam,
• Abstract要約: JsonTuningは、構造から構造へのアプローチで、構造を使ってタスクを表現します。 タスク要素とその関係を明確にすることで一般化を向上し、あいまいさを最小化して堅牢性を高め、出力の正確な制御を可能にして可制御性を高める。
• 参考スコア（独自算出の注目度）: 57.354230235360895
• License:
• Abstract: Instruction tuning is vital for enhancing the performance of large language models (LLMs), but existing text-to-text methods, referred to as TextTuning, struggle with issues such as generalization, robustness, and controllability due to their lack of explicit task structures. We introduce JsonTuning, a structure-to-structure approach that uses JSON structures to represent tasks. This method improves generalization by clarifying task elements and their relations, boosts robustness by minimizing ambiguity, and enhances controllability by allowing precise control over outputs. We conduct an extensive comparative analysis between JsonTuning and TextTuning using various language models and benchmarks. Our findings reveal that JsonTuning consistently surpasses TextTuning in terms of performance, robustness, and controllability across different scenarios. By overcoming the limitations of TextTuning, JsonTuning demonstrates significant potential for developing more effective and reliable LLMs capable of handling diverse scenarios.
• Abstract（参考訳）: インストラクションチューニングは、大規模言語モデル(LLM)の性能向上に不可欠であるが、TextTuningと呼ばれる既存のテキストからテキストへのメソッドは、明示的なタスク構造が欠如しているため、一般化、堅牢性、制御性といった問題に悩まされている。 タスクを表現するためにJSON構造を使用する構造から構造へのアプローチであるJsonTuningを紹介します。 タスク要素とその関係を明確にすることで一般化を向上し、あいまいさを最小化して堅牢性を高め、出力の正確な制御を可能にして可制御性を高める。 さまざまな言語モデルとベンチマークを用いて,JsonTuningとTextTuningの比較分析を行った。 JsonTuningは、さまざまなシナリオにおけるパフォーマンス、堅牢性、制御性という点で、TextTuningを一貫して上回ります。 TextTuningの限界を克服することで、JsonTuningは多様なシナリオを扱うことができるより効率的で信頼性の高いLLMを開発する大きな可能性を示している。

関連論文リスト

• Instruction Tuning for Story Understanding and Generation with Weak Supervision [0.5530212768657544]
  本稿では,ストーリー生成を改善するために,"Weak to Strong Instruction Tuning"という新しいアプローチを提案する。 本手法は物語の理解と生成における性能を著しく向上させることを示す。 本研究は, 複雑な物語タスクのための生成モデルを改良する上で, 適応的指導チューニングが強力なツールであることを示す。
  論文  参考訳（メタデータ） (2025-01-26T15:59:31Z)
• SwitchCIT: Switching for Continual Instruction Tuning [14.085371250265224]
  大規模言語モデル (LLM) とマルチモーダルモデル (MM) は、様々な領域で印象的な機能を示している。 タスクやドメインの進化に大規模なモデルを適用するためには、継続的な命令チューニングが不可欠である。 この研究は、パラメータ効率の調整モデルに計算をルーティングするメカニズムを通じて、連続的な命令学習における破滅的な忘れに対処する。
  論文  参考訳（メタデータ） (2024-07-16T14:37:33Z)
• A Simple but Effective Approach to Improve Structured Language Model Output for Information Extraction [11.165093163378152]
  大規模言語モデル(LLM)は、命令に従って非構造化自然言語を生成する際、印象的な能力を示した。 本稿では,その構造的テキスト生成能力を高めるために,効率的なG&O手法を提案する。
  論文  参考訳（メタデータ） (2024-02-20T20:42:02Z)
• Text2Data: Low-Resource Data Generation with Textual Control [100.5970757736845]
  Text2Dataは、ラベルのないデータを使って基盤となるデータ配布を理解する新しいアプローチである。 制御性を確保し、破滅的な忘れを効果的に防止する、制約最適化に基づく新たな学習目標を通じて微調整を行う。
  論文  参考訳（メタデータ） (2024-02-08T03:41:39Z)
• Controlled Text Generation for Black-box Language Models via Score-based Progressive Editor [32.913066883646074]
  制御されたテキスト生成は、言語モデルの実用化に非常に重要である。 既存の手法はブラックボックスモデルには適用できないか、生成されたテキストの制御と流用率の維持との間に大きなトレードオフがある。 本稿では,これらの問題を克服するための新しいアプローチであるScore-based Progressive Editor(ScoPE)を紹介する。
  論文  参考訳（メタデータ） (2023-11-13T16:03:23Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
  我々は、教師付き微調整(SFT)の一般的な方法論を含む、文献の体系的なレビューを行う。 また、既存の戦略の欠陥を指摘しながら、SFTの潜在的な落とし穴についても、それに対する批判とともに検討する。
  論文  参考訳（メタデータ） (2023-08-21T15:35:16Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。