論文の概要: Instruction Embedding: Latent Representations of Instructions Towards Task Identification

• arxiv url: http://arxiv.org/abs/2409.19680v1
• Date: Sun, 29 Sep 2024 12:12:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:07:12.541665
• Title: Instruction Embedding: Latent Representations of Instructions Towards Task Identification
• Title（参考訳）: インストラクション埋め込み:タスク識別に向けてのインストラクションの潜在表現
• Authors: Yiwei Li, Jiayi Shi, Shaoxiong Feng, Peiwen Yuan, Xinglin Wang, Boyuan Pan, Heda Wang, Yao Hu, Kan Li,
• Abstract要約: 教育データにとって最も重要な側面は、特定の意味論や知識情報ではなく、それが表すタスクである。 本研究では,そのトレーニングと評価のための新しい概念,命令埋め込み,命令埋め込みベンチマーク(IEB)の構築について紹介する。
• 参考スコア（独自算出の注目度）: 20.327984896070053
• License:
• Abstract: Instruction data is crucial for improving the capability of Large Language Models (LLMs) to align with human-level performance. Recent research LIMA demonstrates that alignment is essentially a process where the model adapts instructions' interaction style or format to solve various tasks, leveraging pre-trained knowledge and skills. Therefore, for instructional data, the most important aspect is the task it represents, rather than the specific semantics and knowledge information. The latent representations of instructions play roles for some instruction-related tasks like data selection and demonstrations retrieval. However, they are always derived from text embeddings, encompass overall semantic information that influences the representation of task categories. In this work, we introduce a new concept, instruction embedding, and construct Instruction Embedding Benchmark (IEB) for its training and evaluation. Then, we propose a baseline Prompt-based Instruction Embedding (PIE) method to make the representations more attention on tasks. The evaluation of PIE, alongside other embedding methods on IEB with two designed tasks, demonstrates its superior performance in accurately identifying task categories. Moreover, the application of instruction embeddings in four downstream tasks showcases its effectiveness and suitability for instruction-related tasks.
• Abstract（参考訳）: インストラクションデータは、人間レベルのパフォーマンスと整合する大規模言語モデル(LLM)の能力を改善するために不可欠である。 近年のLIMAは、アライメントは、モデルが様々なタスクを解決し、事前訓練された知識とスキルを活用するために、命令のインタラクションスタイルやフォーマットを適応させるプロセスであることを示した。 したがって、教育データにとって最も重要な側面は、特定の意味論や知識情報ではなく、それが表すタスクである。 命令の潜在表現は、データ選択やデモ検索のような、命令関連のタスクで役割を果たす。 しかし、それらは常にテキスト埋め込みから派生しており、タスクカテゴリの表現に影響を与える全体的な意味情報を含んでいる。 本研究では,そのトレーニングと評価のための新しい概念,命令埋め込み,命令埋め込みベンチマーク(IEB)の構築について紹介する。 そこで本研究では,PIE(Prompt-based Instruction Embedding)法を提案する。 PIEの評価は、IPB上に2つのタスクを組み込んだ他の埋め込み手法とともに、タスクカテゴリを正確に識別する上で、優れた性能を示している。 さらに、4つの下流タスクへの命令埋め込みの適用は、命令関連タスクの有効性と適合性を示している。

関連論文リスト

• From Instance Training to Instruction Learning: Task Adapters Generation from Instructions [29.452006810725184]
  本稿では,事例学習の欠点に対処するために,人間の学習をシミュレートすることに焦点を当てる。 タスク固有のモデルを自動的に構築するTAGI(Task Adapters from Instructions)を導入する。 超自然的インストラクションとP3データセットを用いたTAGIの評価を行った。
  論文  参考訳（メタデータ） (2024-06-18T08:14:28Z)
• Instruction Matters, a Simple yet Effective Task Selection Approach in Instruction Tuning for Specific Tasks [51.15473776489712]
  そこで本研究では,インストラクション情報を利用したテクティタロンにより,インストラクションチューニングにおける関連するタスクの識別が可能となることを示す。 メタデータセットのユニークな命令テンプレートスタイルを学習することにより,タスク選択精度の向上を観察する。 実験結果から,命令のみに基づいて選択されたタスクセットのトレーニングによって,大幅なパフォーマンス向上が得られた。
  論文  参考訳（メタデータ） (2024-04-25T08:49:47Z)
• Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks [101.40633115037983]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。 ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。 本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
  論文  参考訳（メタデータ） (2023-11-01T04:40:05Z)
• Did You Read the Instructions? Rethinking the Effectiveness of Task Definitions in Instruction Learning [74.70157466822612]
  教科学習におけるタスク定義の役割を体系的に研究する。 タスク出力を記述する内容を削除すると,モデルの性能が大幅に低下することがわかった。 本稿では,モデルのタスク命令の活用を支援するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-01T21:11:24Z)
• Robustness of Learning from Task Instructions [15.462970803323563]
  従来の教師付き学習は、主に個々のタスクに取り組み、タスク固有の大きな例のトレーニングを必要とする。 新しいタスクに迅速かつ容易に一般化できるシステムを構築するために、タスク命令を監督の新たなトレンドとして採用している。 本研究は,新しいタスクの指示が (i) 操作された場合, (ii) 言い換えられた場合, (iii) 異なるレベルの簡潔さからシステムロバスト性を調べる。
  論文  参考訳（メタデータ） (2022-12-07T17:54:59Z)
• Learning Action Conditions from Instructional Manuals for Instruction Understanding [48.52663250368341]
  本稿では,行動条件推論というタスクを提案し,命令マニュアルにおける行動条件の事前条件と後条件の高品質なアノテートデータセットを収集する。 本稿では,オンライン指導マニュアルから大規模トレーニングインスタンスを自動構築する弱い教師付きアプローチを提案し,人間に注釈を付けて検証したデータセットをキュレートし,現在のNLPモデルが命令テキストの動作条件依存性をいかに推測できるかを検証した。
  論文  参考訳（メタデータ） (2022-05-25T00:19:59Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)
• Reinforcement Learning with Prototypical Representations [114.35801511501639]
  Proto-RLは、プロトタイプ表現を通じて表現学習と探索を結び付ける自己監督型フレームワークである。 これらのプロトタイプは、エージェントの探索経験の要約と同時に、観察を表す基盤としても機能する。 これにより、困難な連続制御タスクのセットで最新の下流ポリシー学習が可能になります。
  論文  参考訳（メタデータ） (2021-02-22T18:56:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。