論文の概要: A Preliminary Study of the Intrinsic Relationship between Complexity and
Alignment
- arxiv url: http://arxiv.org/abs/2308.05696v1
- Date: Thu, 10 Aug 2023 16:58:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-11 11:50:51.942416
- Title: A Preliminary Study of the Intrinsic Relationship between Complexity and
Alignment
- Title（参考訳）: 複雑度とアライメントの本質的関係に関する予備的検討
- Authors: Yingxiu Zhao, Bowen Yu, Binyuan Hui, Haiyang Yu, Fei Huang, Yongbin
Li, Nevin L. Zhang
- Abstract要約: 命令データの複雑度を体系的に向上させるために,textittree-instructingを提案する。
このアプローチでは、命令セマンティックツリーに指定された数のノードを追加し、新しい命令データを生成する。
複雑さの増大が継続的にパフォーマンスの改善につながることが分かっています。
- 参考スコア（独自算出の注目度）: 44.427538498660574
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training large language models (LLMs) with open-domain instruction data has
yielded remarkable success in aligning to end tasks and user preferences.
Extensive research has highlighted that enhancing the quality and diversity of
instruction data consistently improves performance. However, the impact of data
complexity, as a crucial metric, remains relatively unexplored in three
aspects: (1) scaling law, where the sustainability of performance improvements
with increasing complexity is uncertain, (2) additional tokens, whether the
improvement brought by complexity comes from introducing more training tokens,
and (3) curriculum tuning, where the potential advantages of incorporating
instructions ranging from easy to difficult are not yet fully understood. In
this paper, we propose \textit{tree-instruct} to systematically enhance the
complexity of instruction data in a controllable manner. This approach adds a
specified number of nodes into the instruction semantic tree, yielding new
instruction data based on the modified tree. By adjusting the number of added
nodes, we can control the difficulty level in the modified instruction data.
Our preliminary experiments reveal the following insights: (1) Increasing
complexity consistently leads to sustained performance improvements. For
instance, using 1,000 instruction data and 10 nodes resulted in a substantial
24\% increase in win rate. (2) Under the same token budget, a few complex
instructions outperform diverse yet simple instructions. (3) Curriculum
instruction tuning might not yield the anticipated results; focusing on
increasing complexity appears to be the key.
- Abstract（参考訳）: オープンドメイン命令データを用いた大規模言語モデル(LLM)のトレーニングは、エンドタスクやユーザの好みに合わせることに成功している。
広範な研究によって、命令データの質と多様性の強化が一貫してパフォーマンスを向上させることが強調された。
しかし、データの複雑さの影響は、(1)複雑さの増加に伴うパフォーマンス改善の持続可能性が不確実なスケーリング法、(2)複雑化による改善がより多くのトレーニングトークンの導入によってもたらされるかどうかのトークンの追加法、(3)簡単から難易度までの命令を組み込むことの潜在的な利点が完全には理解されていないという3つの側面において、いまだ研究されていない。
本稿では,制御可能な方法で命令データの複雑性を体系的に高めるために, \textit{tree-instruct}を提案する。
このアプローチでは、指定されたノード数を命令セマンティクスツリーに追加し、修正されたツリーに基づいて新しい命令データを生成する。
追加ノード数を調整することで、修正した命令データの難易度を制御できる。
1) 複雑さの増大は継続的にパフォーマンスの改善につながる。
例えば、1000の命令データと10のノードを使用することで、24対%の勝利率が向上した。
2) 同じトークン予算の下では、いくつかの複雑な命令は多様だが単純な命令よりも優れている。
(3) カリキュラム指導のチューニングでは期待された結果が得られず,複雑さの増大に焦点が当てられていることが鍵である。
関連論文リスト
- Constraint Back-translation Improves Complex Instruction Following of Large Language Models [55.60192044049083]
大きな言語モデル(LLM)は、フォーマットや長さなどの複雑な制約のある命令に従うのに苦労しています。
従来の研究は、高度なLCMに複雑な命令を供給し、複雑な命令応答対を後処理する。
本稿では,新しいデータ生成手法である制約バックトランスレーションを提案する。
論文 参考訳（メタデータ） (2024-10-31T17:42:26Z) - TaCIE: Enhancing Instruction Comprehension in Large Language Models through Task-Centred Instruction Evolution [27.949846287419998]
TaCIEは、単に進化したシード命令から、よりダイナミックで包括的な要素の組み合わせへと、命令の進化を再定義する。
複数の領域にまたがってTaCIEを適用することで、これらの進化した命令で微調整されたLLMは、従来の手法で調整された命令よりも大幅に性能が向上した。
論文 参考訳（メタデータ） (2024-09-18T10:06:28Z) - Benchmarking Complex Instruction-Following with Multiple Constraints Composition [72.82640456309821]
大規模言語モデル(LLM)の複雑な命令追従能力の評価方法が重要な研究課題となっている。
既存のベンチマークは主に、異なる制約の構成を無視しながら、人間の指示で異なるタイプの制約をモデル化することに焦点を当てている。
複数の制約からなる複雑な命令に従うLLMの能力を総合的に評価するためのベンチマークである ComplexBench を提案する。
論文 参考訳（メタデータ） (2024-07-04T14:50:45Z) - Enhancing and Assessing Instruction-Following with Fine-Grained Instruction Variants [28.691691883519542]
複雑な命令を単純なサブコンポーネントに分解し、それらを修正し、それらを新しい変種に再構成する手法を導入する。
DeMoReconに基づくFGIVデータセットは,1,773個のシード命令の微粒化を含む。
以上の結果から,FGIVを微調整したLDMは,命令追従ベンチマークと一般的な命令追従ベンチマークの両方において,大幅な性能向上が期待できることがわかった。
論文 参考訳（メタデータ） (2024-06-17T08:08:11Z) - From Complex to Simple: Enhancing Multi-Constraint Complex Instruction Following Ability of Large Language Models [43.869374263102934]
複雑な制約の強化に有効なトレーニングデータについて検討する。
複数の制約を含む命令でLLMを訓練することで、複雑な命令の理解が促進されることが判明した。
提案手法は,汎用的な命令に従うモデルの能力を向上し,ドメイン外,ドメイン内,対向的な設定で効果的に一般化する。
論文 参考訳（メタデータ） (2024-04-24T12:51:14Z) - Genetic Programming for Explainable Manifold Learning [2.370068482059863]
本稿では,ツリーの複雑さを直接解析する新しい手法であるGP-EMaLについて紹介する。
我々の新しい手法は、説明可能性を大幅に向上させながら高い多様体品質を維持することができ、複雑度測定のカスタマイズも可能である。
論文 参考訳（メタデータ） (2024-03-21T05:17:22Z) - Data Diversity Matters for Robust Instruction Tuning [129.83575908023312]
近年の研究では、高品質で多様な命令チューニングデータセットをキュレートすることにより、命令追従能力を大幅に改善できることが示されている。
データセットの多様性と品質を制御できる新しいアルゴリズムQDIT(Quality-Diversity Instruction Tuning)を提案する。
いくつかの大規模命令チューニングデータセット上でのQDITの性能を検証した結果、最悪のケースと平均ケースのパフォーマンスを大幅に改善できることがわかった。
論文 参考訳（メタデータ） (2023-11-21T19:12:18Z) - Instruction Tuning with Human Curriculum [15.025867460765559]
本稿では,カリキュラム・インストラクション・チューニングについて紹介する。(2)多様なカリキュラム戦略を採用することの潜在的な利点を探求し,(3)合成命令・レスポンス・ジェネレーション・フレームワークを規定する。
我々の生成パイプラインは、人間の学習の逐次的かつ秩序的な特性をエミュレートするために体系的に構成されている。
本稿では,人間教育の様々な段階にまたがる,命令応答型データセットを生成する手法について述べる。
論文 参考訳（メタデータ） (2023-10-14T07:16:08Z) - When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。
具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。
コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
論文 参考訳（メタデータ） (2023-08-29T17:22:39Z) - Sample-Efficient Reinforcement Learning in the Presence of Exogenous
Information [77.19830787312743]
実世界の強化学習アプリケーションでは、学習者の観察空間は、その課題に関する関連情報と無関係情報の両方でユビキタスに高次元である。
本稿では,強化学習のための新しい問題設定法であるExogenous Decision Process (ExoMDP)を導入する。
内因性成分の大きさのサンプル複雑度で準最適ポリシーを学習するアルゴリズムであるExoRLを提案する。
論文 参考訳（メタデータ） (2022-06-09T05:19:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。