論文の概要: A Preliminary Study of the Intrinsic Relationship between Complexity and Alignment

• arxiv url: http://arxiv.org/abs/2308.05696v2
• Date: Thu, 29 Feb 2024 03:04:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 18:51:26.320250
• Title: A Preliminary Study of the Intrinsic Relationship between Complexity and Alignment
• Title（参考訳）: 複雑度とアライメントの本質的関係に関する予備的検討
• Authors: Yingxiu Zhao, Bowen Yu, Binyuan Hui, Haiyang Yu, Fei Huang, Yongbin Li, Nevin L. Zhang
• Abstract要約: 制御可能な方法で命令の複雑さを体系的に強化するツリーインストラクションを提案する。 命令のセマンティックツリーに指定された数のノードを追加することで、新しい命令データを得るだけでなく、修正された命令の難易度を制御することもできる。
• 参考スコア（独自算出の注目度）: 90.7443414448245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training large language models (LLMs) with open-domain instruction data has yielded remarkable success in aligning to end tasks and human preferences. Extensive research has highlighted the importance of the quality and diversity of instruction data. However, the impact of data complexity, as a crucial metric, remains relatively unexplored from three aspects: (1)where the sustainability of performance improvements with increasing complexity is uncertain; (2)whether the improvement brought by complexity merely comes from introducing more training tokens; and (3)where the potential benefits of incorporating instructions from easy to difficult are not yet fully understood. In this paper, we propose Tree-Instruct to systematically enhance the instruction complexity in a controllable manner. By adding a specified number of nodes to instructions' semantic trees, this approach not only yields new instruction data from the modified tree but also allows us to control the difficulty level of modified instructions. Our preliminary experiments reveal the following insights: (1)Increasing complexity consistently leads to sustained performance improvements of LLMs. (2)Under the same token budget, a few complex instructions outperform diverse yet simple instructions. (3)Curriculum instruction tuning might not yield the anticipated results; focusing on increasing complexity appears to be the key.
• Abstract（参考訳）: オープンドメイン命令データを用いた大規模言語モデル(LLM)のトレーニングは、エンドタスクや人間の好みに合わせることに成功している。 広範な研究は、命令データの質と多様性の重要性を強調している。 しかし、データ複雑性の影響は、重要な指標として、(1)複雑さの増加に伴うパフォーマンス改善の持続可能性の不確実性、(2)複雑さによってもたらされる改善が単にトレーニングトークンの導入によるものであるかどうか、(3)簡単から難易度へのインストラクションの導入による潜在的なメリットがまだ完全には理解されていないという3つの側面から比較的解明されていない。 本稿では,制御可能な方式で命令複雑性を体系的に高めるツリーインストラクションを提案する。 命令のセマンティクスツリーに指定されたノード数を追加することで、このアプローチは修正されたツリーから新しい命令データを生成するだけでなく、修正された命令の難易度を制御できる。 1) 複雑性の増大はLCMの持続的な性能向上につながる。 2) 同じトークン予算の下では、いくつかの複雑な命令は多様だが単純な命令よりも優れている。 (3) 計算機命令のチューニングは期待された結果をもたらしない可能性があり, 複雑さの増加に焦点を合わせることが鍵である。

関連論文リスト

• Constraint Back-translation Improves Complex Instruction Following of Large Language Models [55.60192044049083]
  大きな言語モデル(LLM)は、フォーマットや長さなどの複雑な制約のある命令に従うのに苦労しています。 従来の研究は、高度なLCMに複雑な命令を供給し、複雑な命令応答対を後処理する。 本稿では,新しいデータ生成手法である制約バックトランスレーションを提案する。
  論文  参考訳（メタデータ） (2024-10-31T17:42:26Z)
• TaCIE: Enhancing Instruction Comprehension in Large Language Models through Task-Centred Instruction Evolution [27.949846287419998]
  TaCIEは、単に進化したシード命令から、よりダイナミックで包括的な要素の組み合わせへと、命令の進化を再定義する。 複数の領域にまたがってTaCIEを適用することで、これらの進化した命令で微調整されたLLMは、従来の手法で調整された命令よりも大幅に性能が向上した。
  論文  参考訳（メタデータ） (2024-09-18T10:06:28Z)
• Benchmarking Complex Instruction-Following with Multiple Constraints Composition [72.82640456309821]
  大規模言語モデル(LLM)の複雑な命令追従能力の評価方法が重要な研究課題となっている。 既存のベンチマークは主に、異なる制約の構成を無視しながら、人間の指示で異なるタイプの制約をモデル化することに焦点を当てている。 複数の制約からなる複雑な命令に従うLLMの能力を総合的に評価するためのベンチマークである ComplexBench を提案する。
  論文  参考訳（メタデータ） (2024-07-04T14:50:45Z)
• Enhancing and Assessing Instruction-Following with Fine-Grained Instruction Variants [28.691691883519542]
  複雑な命令を単純なサブコンポーネントに分解し、それらを修正し、それらを新しい変種に再構成する手法を導入する。 DeMoReconに基づくFGIVデータセットは,1,773個のシード命令の微粒化を含む。 以上の結果から,FGIVを微調整したLDMは,命令追従ベンチマークと一般的な命令追従ベンチマークの両方において,大幅な性能向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-06-17T08:08:11Z)
• From Complex to Simple: Enhancing Multi-Constraint Complex Instruction Following Ability of Large Language Models [43.869374263102934]
  複雑な制約の強化に有効なトレーニングデータについて検討する。 複数の制約を含む命令でLLMを訓練することで、複雑な命令の理解が促進されることが判明した。 提案手法は,汎用的な命令に従うモデルの能力を向上し,ドメイン外,ドメイン内,対向的な設定で効果的に一般化する。
  論文  参考訳（メタデータ） (2024-04-24T12:51:14Z)
• Genetic Programming for Explainable Manifold Learning [2.370068482059863]
  本稿では,ツリーの複雑さを直接解析する新しい手法であるGP-EMaLについて紹介する。 我々の新しい手法は、説明可能性を大幅に向上させながら高い多様体品質を維持することができ、複雑度測定のカスタマイズも可能である。
  論文  参考訳（メタデータ） (2024-03-21T05:17:22Z)
• Data Diversity Matters for Robust Instruction Tuning [129.83575908023312]
  近年の研究では、高品質で多様な命令チューニングデータセットをキュレートすることにより、命令追従能力を大幅に改善できることが示されている。 データセットの多様性と品質を制御できる新しいアルゴリズムQDIT(Quality-Diversity Instruction Tuning)を提案する。 いくつかの大規模命令チューニングデータセット上でのQDITの性能を検証した結果、最悪のケースと平均ケースのパフォーマンスを大幅に改善できることがわかった。
  論文  参考訳（メタデータ） (2023-11-21T19:12:18Z)
• Instruction Tuning with Human Curriculum [15.025867460765559]
  本稿では,カリキュラム・インストラクション・チューニングについて紹介する。(2)多様なカリキュラム戦略を採用することの潜在的な利点を探求し,(3)合成命令・レスポンス・ジェネレーション・フレームワークを規定する。 我々の生成パイプラインは、人間の学習の逐次的かつ秩序的な特性をエミュレートするために体系的に構成されている。 本稿では,人間教育の様々な段階にまたがる,命令応答型データセットを生成する手法について述べる。
  論文  参考訳（メタデータ） (2023-10-14T07:16:08Z)
• When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
  本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。 具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。 コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
  論文  参考訳（メタデータ） (2023-08-29T17:22:39Z)
• Sample-Efficient Reinforcement Learning in the Presence of Exogenous Information [77.19830787312743]
  実世界の強化学習アプリケーションでは、学習者の観察空間は、その課題に関する関連情報と無関係情報の両方でユビキタスに高次元である。 本稿では,強化学習のための新しい問題設定法であるExogenous Decision Process (ExoMDP)を導入する。 内因性成分の大きさのサンプル複雑度で準最適ポリシーを学習するアルゴリズムであるExoRLを提案する。
  論文  参考訳（メタデータ） (2022-06-09T05:19:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。