論文の概要: A Preliminary Study of the Intrinsic Relationship between Complexity and
Alignment
- arxiv url: http://arxiv.org/abs/2308.05696v1
- Date: Thu, 10 Aug 2023 16:58:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-11 11:50:51.942416
- Title: A Preliminary Study of the Intrinsic Relationship between Complexity and
Alignment
- Title(参考訳): 複雑度とアライメントの本質的関係に関する予備的検討
- Authors: Yingxiu Zhao, Bowen Yu, Binyuan Hui, Haiyang Yu, Fei Huang, Yongbin
Li, Nevin L. Zhang
- Abstract要約: 命令データの複雑度を体系的に向上させるために,textittree-instructingを提案する。
このアプローチでは、命令セマンティックツリーに指定された数のノードを追加し、新しい命令データを生成する。
複雑さの増大が継続的にパフォーマンスの改善につながることが分かっています。
- 参考スコア(独自算出の注目度): 44.427538498660574
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training large language models (LLMs) with open-domain instruction data has
yielded remarkable success in aligning to end tasks and user preferences.
Extensive research has highlighted that enhancing the quality and diversity of
instruction data consistently improves performance. However, the impact of data
complexity, as a crucial metric, remains relatively unexplored in three
aspects: (1) scaling law, where the sustainability of performance improvements
with increasing complexity is uncertain, (2) additional tokens, whether the
improvement brought by complexity comes from introducing more training tokens,
and (3) curriculum tuning, where the potential advantages of incorporating
instructions ranging from easy to difficult are not yet fully understood. In
this paper, we propose \textit{tree-instruct} to systematically enhance the
complexity of instruction data in a controllable manner. This approach adds a
specified number of nodes into the instruction semantic tree, yielding new
instruction data based on the modified tree. By adjusting the number of added
nodes, we can control the difficulty level in the modified instruction data.
Our preliminary experiments reveal the following insights: (1) Increasing
complexity consistently leads to sustained performance improvements. For
instance, using 1,000 instruction data and 10 nodes resulted in a substantial
24\% increase in win rate. (2) Under the same token budget, a few complex
instructions outperform diverse yet simple instructions. (3) Curriculum
instruction tuning might not yield the anticipated results; focusing on
increasing complexity appears to be the key.
- Abstract(参考訳): オープンドメイン命令データを用いた大規模言語モデル(LLM)のトレーニングは、エンドタスクやユーザの好みに合わせることに成功している。
広範な研究によって、命令データの質と多様性の強化が一貫してパフォーマンスを向上させることが強調された。
しかし、データの複雑さの影響は、(1)複雑さの増加に伴うパフォーマンス改善の持続可能性が不確実なスケーリング法、(2)複雑化による改善がより多くのトレーニングトークンの導入によってもたらされるかどうかのトークンの追加法、(3)簡単から難易度までの命令を組み込むことの潜在的な利点が完全には理解されていないという3つの側面において、いまだ研究されていない。
本稿では,制御可能な方法で命令データの複雑性を体系的に高めるために, \textit{tree-instruct}を提案する。
このアプローチでは、指定されたノード数を命令セマンティクスツリーに追加し、修正されたツリーに基づいて新しい命令データを生成する。
追加ノード数を調整することで、修正した命令データの難易度を制御できる。
1) 複雑さの増大は継続的にパフォーマンスの改善につながる。
例えば、1000の命令データと10のノードを使用することで、24対%の勝利率が向上した。
2) 同じトークン予算の下では、いくつかの複雑な命令は多様だが単純な命令よりも優れている。
(3) カリキュラム指導のチューニングでは期待された結果が得られず,複雑さの増大に焦点が当てられていることが鍵である。
関連論文リスト
- From Complex to Simple: Enhancing Multi-Constraint Complex Instruction Following Ability of Large Language Models [43.869374263102934]
複雑な制約の強化に有効なトレーニングデータについて検討する。
複数の制約を含む命令でLLMを訓練することで、複雑な命令の理解が促進されることが判明した。
本稿では,効果的なトレーニングデータを取得する方法と活用方法を提案する。
論文 参考訳(メタデータ) (2024-04-24T12:51:14Z) - Conifer: Improving Complex Constrained Instruction-Following Ability of Large Language Models [23.17547206140014]
大規模言語モデルのための命令チューニングデータセットであるConiferを紹介する。
複雑な制約のある命令に従うために、Coniferでモデルをトレーニングします。
いくつかのインストラクション追従ベンチマークでは、我々の7Bモデルは最先端のオープンソース7Bモデルよりも優れています。
論文 参考訳(メタデータ) (2024-04-03T15:55:39Z) - Genetic Programming for Explainable Manifold Learning [2.370068482059863]
本稿では,ツリーの複雑さを直接解析する新しい手法であるGP-EMaLについて紹介する。
我々の新しい手法は、説明可能性を大幅に向上させながら高い多様体品質を維持することができ、複雑度測定のカスタマイズも可能である。
論文 参考訳(メタデータ) (2024-03-21T05:17:22Z) - EasyInstruct: An Easy-to-use Instruction Processing Framework for Large Language Models [37.80143756214926]
EasyInstructは、Large Language Models (LLMs)のための使いやすい命令処理フレームワークである。
EasyInstructは命令生成、選択、プロンプトをモジュール化し、それらの組み合わせと相互作用も考慮する。
論文 参考訳(メタデータ) (2024-02-05T14:33:56Z) - Data Diversity Matters for Robust Instruction Tuning [93.87078483250782]
近年の研究では、高品質で多様な命令チューニングデータセットをキュレートすることにより、命令追従能力を大幅に改善できることが示されている。
データセットの多様性と品質を制御できる新しいアルゴリズムQDIT(Quality-Diversity Instruction Tuning)を提案する。
いくつかの大規模命令チューニングデータセット上でのQDITの性能を検証した結果、最悪のケースと平均ケースのパフォーマンスを大幅に改善できることがわかった。
論文 参考訳(メタデータ) (2023-11-21T19:12:18Z) - Instruction Tuning with Human Curriculum [15.025867460765559]
本稿では,カリキュラム・インストラクション・チューニングについて紹介する。(2)多様なカリキュラム戦略を採用することの潜在的な利点を探求し,(3)合成命令・レスポンス・ジェネレーション・フレームワークを規定する。
我々の生成パイプラインは、人間の学習の逐次的かつ秩序的な特性をエミュレートするために体系的に構成されている。
本稿では,人間教育の様々な段階にまたがる,命令応答型データセットを生成する手法について述べる。
論文 参考訳(メタデータ) (2023-10-14T07:16:08Z) - When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。
具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。
コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
論文 参考訳(メタデータ) (2023-08-29T17:22:39Z) - Improving Long-Horizon Imitation Through Instruction Prediction [93.47416552953075]
本研究では、しばしば使われない補助的監督源である言語の使用について検討する。
近年のトランスフォーマーモデルの発展にインスパイアされたエージェントは,高レベルの抽象化で動作する時間拡張表現の学習を促す命令予測損失を持つエージェントを訓練する。
さらなる分析では、複雑な推論を必要とするタスクにおいて、命令モデリングが最も重要であり、単純な計画を必要とする環境において、より小さなゲインを提供する。
論文 参考訳(メタデータ) (2023-06-21T20:47:23Z) - Sample-Efficient Reinforcement Learning in the Presence of Exogenous
Information [77.19830787312743]
実世界の強化学習アプリケーションでは、学習者の観察空間は、その課題に関する関連情報と無関係情報の両方でユビキタスに高次元である。
本稿では,強化学習のための新しい問題設定法であるExogenous Decision Process (ExoMDP)を導入する。
内因性成分の大きさのサンプル複雑度で準最適ポリシーを学習するアルゴリズムであるExoRLを提案する。
論文 参考訳(メタデータ) (2022-06-09T05:19:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。