論文の概要: Aligner: One Global Token is Worth Millions of Parameters When Aligning Large Language Models

• arxiv url: http://arxiv.org/abs/2312.05503v1
• Date: Sat, 9 Dec 2023 08:25:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 20:22:24.113967
• Title: Aligner: One Global Token is Worth Millions of Parameters When Aligning Large Language Models
• Title（参考訳）: Aligner: 大規模言語モデルのアラインメントにおいて,グローバルなトークンは数百万のパラメータである
• Authors: Zhou Ziheng, Yingnian Wu, Song-Chun Zhu, and Demetri Terzopoulos (University of California, Los Angeles)
• Abstract要約: 私たちは小説『アリグナー』を紹介します。 マルチビリオンパラメータサイズ大言語モデル(LLM)の整列のためのPEFT法 Alignerは、数百万のパラメータを必要とするLoRAのような最先端のLLM適応手法に対して、相容れない性能を保てることを示す。
• 参考スコア（独自算出の注目度）: 72.26732961610557
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Aligner, a novel Parameter-Efficient Fine-Tuning (PEFT) method for aligning multi-billion-parameter-sized Large Language Models (LLMs). Aligner employs a unique design that constructs a globally shared set of tunable tokens that modify the attention of every layer. Remarkably with this method, even when using one token accounting for a mere 5,000 parameters, Aligner can still perform comparably well to state-of-the-art LLM adaptation methods like LoRA that require millions of parameters. This capacity is substantiated in both instruction following and value alignment tasks. Besides the multiple order-of-magnitude improvement in parameter efficiency, the insight Aligner provides into the internal mechanisms of LLMs is also valuable. The architectural features and efficacy of our method, in addition to our experiments demonstrate that an LLM separates its internal handling of "form" and "knowledge" in a somewhat orthogonal manner. This finding promises to motivate new research into LLM mechanism understanding and value alignment.
• Abstract（参考訳）: マルチビリオンパラメータサイズの大規模言語モデル(LLM)の整合性を実現するために,パラメータ効率の良いPEFT法である Aligner を導入する。 Alignerは、グローバルに共有される可変トークンセットを構築し、すべてのレイヤの注意を変更できるユニークな設計を採用している。 この方法では、たった5000のパラメータに対して1つのトークンを会計した場合であっても、Alignerは数百万のパラメータを必要とするLoRAのような最先端のLLM適応メソッドと互換性がある。 この能力は命令追従タスクと値アライメントタスクの両方で実証される。 パラメータ効率の多重次数改善に加えて、ALGner が LLM の内部メカニズムにもたらす洞察も有用である。 本手法のアーキテクチャ的特徴と有効性は,本実験に加えて,llm が "形式" と "知識 (knowledge)" の内部処理を幾分直交的に分離することを示す。 この発見は、LLMメカニズムの理解と価値アライメントに関する新しい研究の動機となる。

関連論文リスト

• MIRA: A Method of Federated MultI-Task Learning for LaRge LAnguage Models [29.655807841018497]
  大規模言語モデル(LLM)の微調整手法を提案する。 提案手法は,各クライアントモデルの構造を利用して,他のクライアントのタスクやデータ分散を考慮した学習手法を実現する。 実験結果は,異なるデータセットとモデルを用いて,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-20T22:24:40Z)
• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  マルチタスク学習能力を大幅に向上させながら、低ランク適応の利点を保ちながら、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別するタスク適応パラメータを追加することでLoRAを強化する。 このアプローチにより、汎用コーパス上で事前訓練された大規模言語モデル(LLM)が、限られた数のトレーニング可能なパラメータで異なるターゲットタスクドメインに適応できる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning [105.11844150736536]
  低ランク適応は、大規模言語モデルのためのパラメータ効率の良い微調整法として人気がある。 トレーニング可能なパラメータ数を同じ数に保ちながら、高階更新を実現するために2乗行列を用いるMoRAと呼ばれる新しい手法を提案する。 本手法はメモリ集約型タスクではLoRAより優れ,他のタスクでは同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-20T15:48:32Z)
• Sub-goal Distillation: A Method to Improve Small Language Agents [21.815417165548187]
  大規模言語モデル(LLM)は対話型タスクにおけるエージェントとして大きな可能性を証明している。 数十億のパラメータを持つLLMの性能を、はるかに小さな言語モデルに転送する手法を提案する。 困難かつマルチタスクな対話型テキスト環境であるScienceWorldでは,基本動作のみに基づく標準的な模倣学習を16.7%超えている。
  論文  参考訳（メタデータ） (2024-05-04T20:34:06Z)
• LLM-Ensemble: Optimal Large Language Model Ensemble Method for E-commerce Product Attribute Value Extraction [12.611106580612033]
  大規模言語モデル(LLM)は多くの属性抽出タスクにおいて最先端の性能を示す。 属性値抽出のために異なるLLMの出力をアンサンブルするLLMアンサンブルと呼ばれる新しいアルゴリズムを提案する。 提案手法は理論的に最適であるだけでなく,効率的な計算,高速収束,安全な配置も保証できる。
  論文  参考訳（メタデータ） (2024-02-29T23:03:19Z)
• RA-Rec: An Efficient ID Representation Alignment Framework for LLM-based Recommendation [9.606111709136675]
  LLMに基づくレコメンデーションのための効率的なID表現フレームワークであるRA-Recを提案する。 RA-Recは最先端のメソッドを大幅に上回り、最大3.0%のHitRate@100の改善を実現している。
  論文  参考訳（メタデータ） (2024-02-07T02:14:58Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。