論文の概要: TCIA: A Task-Centric Instruction Augmentation Method for Instruction Finetuning
- arxiv url: http://arxiv.org/abs/2508.20374v1
- Date: Thu, 28 Aug 2025 02:42:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-29 18:12:01.914675
- Title: TCIA: A Task-Centric Instruction Augmentation Method for Instruction Finetuning
- Title（参考訳）: TCIA:教示ファインタニングのためのタスク中心の指導強化手法
- Authors: Simin Ma, Shujian Liu, Jun Tan, Yebowen Hu, Song Wang, Sathish Reddy Indurthi, Sanqiang Zhao, Liwei Wu, Jianbing Han, Kaiqiang Song,
- Abstract要約: 本稿では、多様性とタスクアライメントの両面を保ちながら、命令を体系的に拡張するフレームワークであるタスクCentric Instruction Augmentation(TCIA)を紹介する。
TCIAは4つの実世界のタスク固有のアプリケーションに対して平均8.7%のオープンソースのLLMのパフォーマンスを改善している。
- 参考スコア（独自算出の注目度）: 19.0963231309094
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diverse instruction data is vital for effective instruction tuning of large language models, as it enables the model to generalize across different types of inputs . Building such diversified instruction dataset is an essential step in this process. Existing approaches often leverage large language models to automatically explore and generate diverse instructions, ensuring both data diversity and quality. However, they tend to overlook an important factor in real-world applications: on-task relevance. In practice, only a few real-world applications require a truly general-purpose model; most benefit from task-specific knowledge tailored to their particular use case. Therefore, it is vital to develop instruction augmentation methods that not only maintain diversity but are also optimized for specific, real-world scenarios. We thus introduce Task Centric Instruction Augmentation (TCIA), a framework that systematically expands instructions while preserving both diversity and task alignment. By representing instructions in a discrete query-constraints space, TCIA creates a rich set of task-relevant instructions and enables models to generalize to these task-specific instructions without sacrificing overall performance. Experiments show that TCIA improves open-source LLMs' performance by an average of 8.7% across four real-world, task-specific applications, and in some cases outperforming leading closed-source models. These improvements do not compromise general instruction-following ability, making TCIA a scalable and efficient solution for adapting LLMs to real-world, task-focused applications.
- Abstract（参考訳）: 異なる種類の入力をまたいでモデルを一般化できるようにするため、大規模言語モデルの効果的な命令チューニングには、様々な命令データが不可欠である。
このような多様化した命令データセットの構築は、このプロセスにおける重要なステップである。
既存のアプローチでは、大きな言語モデルを活用して、さまざまな命令を自動で探索し、生成し、データの多様性と品質を保証します。
しかし、彼らは現実世界のアプリケーションにおいて重要な要素であるオン・タスクの関連性を見落としがちである。
実際には、真に汎用的なモデルを必要とする実際のアプリケーションはほとんどない。
したがって、多様性を維持するだけでなく、特定の実世界のシナリオにも最適化された命令拡張手法を開発することが不可欠である。
そこで我々は,多様性とタスクアライメントの両面を保ちながら,命令を体系的に拡張するTCIA(Task Centric Instruction Augmentation)を導入する。
個別のクエリ制約空間で命令を表現することにより、TCIAはタスク関連命令の豊富なセットを作成し、モデルがこれらのタスク固有の命令に、全体的なパフォーマンスを犠牲にすることなく一般化できるようにする。
実験の結果、TCIAは4つの実世界、タスク固有のアプリケーションで平均8.7%のオープンソースのLLMのパフォーマンスを改善し、場合によっては主要なクローズドソースモデルを上回っている。
これらの改善は一般的な命令追従能力を損なうものではなく、現実のタスク中心のアプリケーションにLLMを適用するためのスケーラブルで効率的なソリューションである。
関連論文リスト
- Improving Task Diversity in Label Efficient Supervised Finetuning of LLMs [14.531280062127442]
大規模言語モデル(LLM)は、様々な領域にまたがる顕著な能力を示してきたが、専門的なアプリケーションのための高性能なモデルを開発するには、かなりの人的アノテーションを必要とすることが多い。
本研究では,効率的なデータ選択の基本原理としてタスク多様性を活用することで,教師付き微調整(SFT)におけるラベル効率の学習問題に対処する。
提案手法は,1) 異なるプロンプトに対するタスクラベルが容易に利用できること,2) 事前学習されたモデルがタスク間の信頼度を著しく変化させること,の2つの重要な結果に基づいている。
論文 参考訳（メタデータ） (2025-07-29T03:51:00Z) - Beyond In-Context Learning: Aligning Long-form Generation of Large Language Models via Task-Inherent Attribute Guidelines [71.14354526117958]
In-context Learning (ICL) は、事前訓練された大規模言語モデル(LLM)の重要かつ完全には理解されていない能力である。
タスク言語とフォーマット特性をキャプチャする2つのガイドラインの並列ストリームを効率よく生成するLongGuideを提案する。
LongGuideはガイドラインの最良の組み合わせを自動的に選択し、ゼロショット設定と少数ショット設定の両方で、強力なオープンソースLLMとクローズドソースLLMの両方を5%以上改善する。
論文 参考訳（メタデータ） (2025-06-02T02:35:24Z) - HiDe-LLaVA: Hierarchical Decoupling for Continual Instruction Tuning of Multimodal Large Language Model [37.85614317331844]
本稿では,タスク固有拡張とタスク一般融合フレームワークを提案する。
既存のベンチマークに存在する情報漏洩を分析し、異なる手法の性能を合理的に評価する新しい、より困難なベンチマークを提案する。
論文 参考訳（メタデータ） (2025-03-17T08:56:03Z) - SwitchCIT: Switching for Continual Instruction Tuning [14.085371250265224]
大規模言語モデル (LLM) とマルチモーダルモデル (MM) は、様々な領域で印象的な機能を示している。
タスクやドメインの進化に大規模なモデルを適用するためには、継続的な命令チューニングが不可欠である。
この研究は、パラメータ効率の調整モデルに計算をルーティングするメカニズムを通じて、連続的な命令学習における破滅的な忘れに対処する。
論文 参考訳（メタデータ） (2024-07-16T14:37:33Z) - From Instance Training to Instruction Learning: Task Adapters Generation from Instructions [29.452006810725184]
本稿では,事例学習の欠点に対処するために,人間の学習をシミュレートすることに焦点を当てる。
タスク固有のモデルを自動的に構築するTAGI(Task Adapters from Instructions)を導入する。
超自然的インストラクションとP3データセットを用いたTAGIの評価を行った。
論文 参考訳（メタデータ） (2024-06-18T08:14:28Z) - Scalable Language Model with Generalized Continual Learning [58.700439919096155]
The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。
提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
論文 参考訳（メタデータ） (2024-04-11T04:22:15Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳（メタデータ） (2023-11-23T15:46:54Z) - Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文 参考訳（メタデータ） (2023-11-16T07:09:38Z) - Specialist or Generalist? Instruction Tuning for Specific NLP Tasks [58.422495509760154]
包括的汎用的チューニングを取り入れることで,スペシャリストモデルの構築に寄与するかどうかを検討する。
実験では,異なる範囲で4つの目標タスクを評価した。
この効果は、タスク固有のトレーニングデータの量が限られている場合に特に顕著である。
論文 参考訳（メタデータ） (2023-10-23T19:46:48Z) - XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation [80.18830380517753]
我々は新しいタスク非依存蒸留フレームワーク XtremeDistilTransformers を開発した。
本研究は, 蒸留における複数のソースタスク, 拡張資源, モデルアーキテクチャの伝達可能性について検討する。
論文 参考訳（メタデータ） (2021-06-08T17:49:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。