論文の概要: Re-TASK: Revisiting LLM Tasks from Capability, Skill, and Knowledge Perspectives

• arxiv url: http://arxiv.org/abs/2408.06904v2
• Date: Thu, 3 Oct 2024 01:27:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 07:53:35.811315
• Title: Re-TASK: Revisiting LLM Tasks from Capability, Skill, and Knowledge Perspectives
• Title（参考訳）: Re-TASK: LLMタスクの能力、スキル、知識の観点からの再考
• Authors: Zhihu Wang, Shiwan Zhao, Yu Wang, Heyuan Huang, Sitao Xie, Yubo Zhang, Jiaxin Shi, Zhixing Wang, Hongyan Li, Junchi Yan,
• Abstract要約: CoT (Chain-of-Thought) は複雑な問題を解決する重要な方法となっている。 大規模言語モデル(LLM)はドメイン固有のタスクを正確に分解するのに苦労することが多い。 本稿では,LLMタスクを能力,スキル,知識の観点から再検討する理論モデルであるRe-TASKフレームワークを紹介する。
• 参考スコア（独自算出の注目度）: 54.14429346914995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Chain-of-Thought (CoT) paradigm has become a pivotal method for solving complex problems. However, its application to intricate, domain-specific tasks remains challenging, as large language models (LLMs) often struggle to accurately decompose these tasks and, even when decomposition is correct, fail to execute the subtasks effectively. This paper introduces the Re-TASK framework, a novel theoretical model that revisits LLM tasks from the perspectives of capability, skill, and knowledge, drawing on the principles of Bloom's Taxonomy and Knowledge Space Theory. While CoT offers a workflow perspective on tasks, the Re-TASK framework introduces a Chain-of-Learning view, illustrating how tasks and their corresponding subtasks depend on various capability items. Each capability item is further dissected into its constituent aspects of knowledge and skills. Our framework reveals that many CoT failures in domain-specific tasks stem from insufficient knowledge or inadequate skill adaptation. In response, we combine CoT with the Re-TASK framework and implement a carefully designed Re-TASK prompting strategy to improve task performance. Specifically, we identify core capability items linked to tasks and subtasks, then strengthen these capabilities through targeted knowledge injection and skill adaptation. We validate the Re-TASK framework on three datasets across the law, finance, and mathematics domains, achieving significant improvements over the baseline models. Notably, our approach yields a remarkable 44.42% improvement with the Yi-1.5-9B model and a 33.08% improvement with the Llama3-Chinese-8b on the legal dataset. These experimental results confirm the effectiveness of the Re-TASK framework, demonstrating substantial enhancements in both the performance and applicability of LLMs.
• Abstract（参考訳）: CoT(Chain-of-Thought)パラダイムは、複雑な問題を解決するための重要な方法となっている。 しかし、大規模言語モデル(LLM)はこれらのタスクを正確に分解するのに苦労し、たとえ分解が正しいとしても、サブタスクを効果的に実行できないため、複雑なドメイン固有タスクへの応用は依然として困難である。 本稿では,ブルームの分類・知識空間理論の原理に基づいて,能力・技能・知識の観点からLLMタスクを再考する新たな理論モデルであるRe-TASKフレームワークを紹介する。 CoTはタスクに関するワークフローの視点を提供するが、Re-TASKフレームワークはChain-of-Learningビューを導入し、タスクとそれに対応するサブタスクがさまざまな機能項目に依存するかを説明する。 各能力項目は、その知識とスキルの構成要素にさらに分離される。 我々のフレームワークは、ドメイン固有のタスクにおける多くのCoT障害が、知識不足やスキル適応の不十分に起因することを明らかにしている。 これに対し,CoT と Re-TASK フレームワークを併用し,タスク性能向上戦略を慎重に設計した Re-TASK を実装した。 具体的には、タスクやサブタスクに関連付けられたコア機能項目を特定し、目標とする知識注入やスキル適応を通じてこれらの機能を強化する。 我々はRe-TASKフレームワークを法、金融、数学の領域にまたがる3つのデータセット上で検証し、ベースラインモデルよりも大幅に改善した。 特に,Yi-1.5-9Bモデルでは44.42%,法的データセットではLlama3- Chinese-8bでは33.08%の改善が見られた。 これらの実験により, Re-TASKフレームワークの有効性が確認され, LLMの性能と適用性の両方が大幅に向上した。

関連論文リスト

• Enhancing Cross-task Transfer of Large Language Models via Activation Steering [75.41750053623298]
  クロスタスク・イン・コンテキスト学習はタスク間で知識を伝達する直接的なソリューションを提供する。 パラメータ更新や入力拡張を伴わずに、潜時空間ステアリングによりクロスタスク転送を実現することができるかを検討する。 本稿では,モデルの内部アクティベーション状態を操作することで,効率的な転送を可能にするクロスタスク・アクティベーション・ステアリング・トランスファー・フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-17T15:47:22Z)
• Knowledge capture, adaptation and composition (KCAC): A framework for cross-task curriculum learning in robotic manipulation [6.683222869973898]
  強化学習(Reinforcement Learning, RL)は、ロボット操作において顕著な可能性を示しているが、サンプルの非効率性や解釈可能性の欠如において課題に直面している。 本稿では,クロスタスクのカリキュラム学習を通じてRLに知識伝達を統合するための知識キャプチャ,適応,構成フレームワークを提案する。 その結果,従来のRL法に比べてタスク成功率を10%向上させながら,トレーニング時間の40%削減を実現した。
  論文  参考訳（メタデータ） (2025-05-15T17:30:29Z)
• Efficient Knowledge Transfer in Multi-Task Learning through Task-Adaptive Low-Rank Representation [11.955971931186006]
  事前訓練された言語モデルは、現実世界のアプリケーションでトレーニング中に見つからない新しいタスクに苦しむ。 本稿では,タスク適応型低ランク表現(TA-LoRA)を提案する。 16のタスクの実験では、TA-LoRAがフルデータおよび少数ショット設定で最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-20T06:33:19Z)
• Exploiting Task Relationships for Continual Learning Using Transferability-Aware Task Embeddings [8.000144830397911]
  連続学習(CL)は、ディープニューラルネットワークの現代的応用において重要なトピックである。 本稿では,H-embedding(H-embedding)という名前の伝達可能性を考慮したタスク埋め込みを提案し,その指導の下でハイパーネットをトレーニングし,CLタスクのタスク条件付きモデル重みを学習する。
  論文  参考訳（メタデータ） (2025-02-17T09:52:19Z)
• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Knowledge Editing through Chain-of-Thought [12.270274049887298]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにまたがる例外的な機能を示している。 これらのモデルを世界知識の進化とともに最新に保つことは、頻繁な再トレーニングのコストが高いため、依然として大きな課題である。 本研究では,リトレーニングを伴わずに,様々なタスクにまたがるLSMを柔軟かつ効率的に更新する新しい知識編集フレームワークEditCoTを提案する。
  論文  参考訳（メタデータ） (2024-12-23T17:17:50Z)
• BloomWise: Enhancing Problem-Solving capabilities of Large Language Models using Bloom's-Taxonomy-Inspired Prompts [59.83547898874152]
  我々は,Bloomの分類にインスパイアされた新しいプロンプト技術であるBloomWiseを導入し,Large Language Models(LLMs)の性能を向上させる。 より洗練された認知スキルを身につける必要性に関する決定は、LLMによる自己評価に基づいている。 4つの一般的な算数推論データセットの広範な実験において,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-05T09:27:52Z)
• Supervised Fine-Tuning Achieve Rapid Task Adaption Via Alternating Attention Head Activation Patterns [47.57912649802414]
  本研究では,SFTプロセスがLLMを下流タスクに適応させるプロセスについて,注意パターンの観点から検討する。 LLMは、SFT中にタスク固有のアテンションヘッドを選択的に活性化し、(2)複雑なタスクのアクティベーションパターンは基本的なタスクパターンの組み合わせであり、(3)少数のパラメータの変化は、少数のサンプル上でSFT後のアクティベーションパターンに大きな影響を与える。
  論文  参考訳（メタデータ） (2024-09-24T07:34:50Z)
• Seek and Solve Reasoning for Table Question Answering [49.006950918895306]
  本稿では,タスク単純化時の推論プロセスが,タスク自体の単純化よりも有用であることを示す。 本稿では,LLMにまず関連情報を求め,質問に答えるように指示するSeek-and-solving Pipelineを提案する。 本稿では, SS-CoT経路を用いた実演を用いて, 複雑なTQA課題の解決にLLMを誘導する単一ステップTQA解決プロンプトをこのパイプラインから蒸留する。
  論文  参考訳（メタデータ） (2024-09-09T02:41:00Z)
• Defining Boundaries: A Spectrum of Task Feasibility for Large Language Models [6.008311204104302]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示しているが、多くの場合、その知識や能力を超えるクエリを処理できない。 本稿では,LLMが能力を超えるために必要なスキルのために,実用不可能なタスクを認識し,拒否する必要性に対処する。
  論文  参考訳（メタデータ） (2024-08-11T22:58:23Z)
• Learn it or Leave it: Module Composition and Pruning for Continual Learning [48.07144492109635]
  MoCL-Pは知識統合と計算オーバーヘッドのバランスをとる軽量な連続学習手法である。 評価の結果,MoCL-Pは最先端性能を実現し,パラメータ効率を最大3倍向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-26T19:18:28Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Quartet Logic: A Four-Step Reasoning (QLFR) framework for advancing Short Text Classification [5.561563686684933]
  短いテキスト分類(STC)は、現代デジタルプラットフォームで広く普及している短いが実質的な内容の処理と理解に不可欠である。 LLM(Large Language Models)とCoT(Chain-of-Thought)の出現により、複雑な推論タスクのパフォーマンスが大幅に向上した。 本稿では、Quartet Logic: A Four-Step Reasoning (QLFR)フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2024-01-06T08:28:20Z)
• When does In-context Learning Fall Short and Why? A Study on Specification-Heavy Tasks [54.71034943526973]
  In-context Learning (ICL)は、大規模言語モデル(LLM)のデフォルトメソッドとなっている。 ICLは、複雑で広範囲なタスク仕様を持つタスクである、仕様の重いタスクを処理できないことが分かりました。 我々は、コンテキストを具体的に理解できないこと、タスクスキーマが人間と理解できないこと、長文理解が不十分であること、の3つの主な理由を識別する。
  論文  参考訳（メタデータ） (2023-11-15T14:26:30Z)
• Variational Curriculum Reinforcement Learning for Unsupervised Discovery of Skills [25.326624139426514]
  本稿では,VUVC(Value Uncertainty Vari Curriculum Curriculum)と呼ばれる情報理論に基づく教師なしスキル発見手法を提案する。 規則性条件下では、VUVCは、均一なカリキュラムに比べて訪問状態のエントロピーの増加を加速させる。 また,本手法によって発見された技術は,ゼロショット設定で現実のロボットナビゲーションタスクを達成できることを実証した。
  論文  参考訳（メタデータ） (2023-10-30T10:34:25Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Knowledge-Driven CoT: Exploring Faithful Reasoning in LLMs for Knowledge-intensive Question Answering [17.672572064705445]
  CoT(Chain-of-Thought)を備えた大規模言語モデル(LLM)は、様々な下流タスクにおいて顕著な推論能力を示している。 我々は、外部知識との相互作用を通じてCoTの推論トレースを検証・修正する、KD-CoT(Knowled-Driven Chain-of-Thought)というフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-25T09:23:55Z)
• Task-Agnostic Continual Reinforcement Learning: Gaining Insights and Overcoming Challenges [27.474011433615317]
  連続学習(CL)は、一連のタスクから学習するモデルやエージェントの開発を可能にする。 タスクに依存しないCLとマルチタスク(MTL)エージェントのパフォーマンス差に寄与する要因について検討する。
  論文  参考訳（メタデータ） (2022-05-28T17:59:00Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。