Fugu-MT 論文翻訳(概要): PlanE: Meta Planning of Data, Tuning, and Inference for Extractive-based LLMs

論文の概要: PlanE: Meta Planning of Data, Tuning, and Inference for Extractive-based LLMs

arxiv url: http://arxiv.org/abs/2607.20470v1
Date: Fri, 22 May 2026 13:37:33 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-27 00:46:13.185848
Title: PlanE: Meta Planning of Data, Tuning, and Inference for Extractive-based LLMs
Title（参考訳）: PlanE: 抽出型LLMのためのデータ・チューニング・推論のメタプランニング
Abstract要約: LLM(Large Language Models)のタスク特化機能を強化するには、大きな命令チューニングデータセットが必要となる。我々はtextbfExtractive ベースの LLM を構築するための textbfPlanning フレームワークを提案する。また、特定のデータセットに対して最適なベース-LLMとDTIの組み合わせを選択することを目的としたデータ-チューニング-推論(DTI)プランナも導入する。
参考スコア（独自算出の注目度）: 4.824911945133213
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Enhancing the task-specific capabilities of Large Language Models (LLMs) primarily requires substantial instruction-tuning datasets. However, the sheer volume of such data imposes a considerable annotation cost, and a lack of optimization methods for tailoring LLMs to specific tasks. To address the above issues, we propose a \textbf{Plan}ning framework for constructing \textbf{E}xtractive-based LLMs called \textbf{PlanE}, which includes data decomposition, instruction tuning, and prompt inference. Additionally, we introduce a Data-Tuning-Inference (DTI) planner, aimed at selecting the optimal base-LLM and its DTI combinations for specific datasets to improve construction efficiency. The experimental results demonstrate the effectiveness of our PlanE from two views: (1) across different datasets using the same base-LLM, and (2) on the same dataset using different base-LLMs. Furthermore, we validate the generalizability of the proposed DTI planner under different optimization objectives. The codes are publicly available at https://github.com/gugugu-469/PlanE.
Abstract（参考訳）: LLM(Large Language Models)のタスク特化機能を強化するには、大きな命令チューニングデータセットが必要となる。しかし、そのようなデータ量は、かなりのアノテーションコストを課し、特定のタスクにLLMを調整するための最適化方法が欠如している。上記の問題に対処するために、データ分解、命令チューニング、プロンプト推論を含む \textbf{E}xtractive-based LLM を構築するための \textbf{Plan}ning フレームワークを提案する。さらに,特定のデータセットに対して最適なベース-LLMとDTIの組み合わせを選択し,構築効率を向上させることを目的としたデータ-チューニング-推論(DTI)プランナを導入する。実験結果は,(1)同じベースLLMを用いて異なるデータセットにまたがって,(2)異なるベースLLMを用いて同じデータセット上でのPlanEの有効性を示す。さらに,異なる最適化目標の下で提案したDTIプランナの一般化性を検証する。コードはhttps://github.com/gugugu-469/PlanE.comで公開されている。

関連論文リスト

From Insight to Action: A Novel Framework for Interpretability-Guided Data Selection in Large Language Models [73.72877445629383]
Interpretability-Guided Data Selection (IGDS) は、まず周波数リコールと干渉フィルタリングによって因果タスクの特徴を識別するフレームワークである。我々は,数学的推論,要約,翻訳タスクに関するIGDSをGemma-2,LLaMA-3.1,Qwen3モデルで検証する。
論文参考訳（メタデータ） (2026-04-28T03:16:24Z)
Greedy Information Projection for LLM Data Selection [6.670884998638381]
textscGIPは、サンプルのサブセットとタスク固有のクエリ信号の間の相互情報の最大化として選択をキャストする。 textscGIPは、少数の例を使用しながら、フルデータの微調整にマッチする小さなサブセットを選択する。
論文参考訳（メタデータ） (2026-03-14T06:42:20Z)
Data Efficacy for Language Model Training [29.901090317084005]
データは言語モデル(LM)の訓練の基礎となる。近年の研究では、トレーニングデータの最小または最適サブセットを選択することで、パフォーマンスを最大化することを目的としている。本研究は、LMトレーニングにおけるデータの有効性を検討するための一般的なパラダイムであるDELTを紹介する。
論文参考訳（メタデータ） (2025-06-26T17:59:07Z)
SPIO: Ensemble and Selective Strategies via LLM-Based Multi-Agent Planning in Automated Data Science [1.1343849658875087]
大規模言語モデル(LLM)は、動的推論と適応性を有効にすることで、自動データ分析と機械学習に革命をもたらした。 4つの主要なモジュールをまたいだマルチエージェントプランニングを編成する新しいフレームワークであるSPIOを提案する。各モジュールでは、専用の計画エージェントが独立して、後続のステージにカスケードする候補戦略を生成し、包括的な探索を促進する。
論文参考訳（メタデータ） (2025-03-30T04:45:32Z)
Diversity as a Reward: Fine-Tuning LLMs on a Mixture of Domain-Undetermined Data [54.3895971080712]
多様なデータセットを使用した細調整された大規模言語モデル(LLM)は、さまざまな領域にわたる全体的なパフォーマンス向上に不可欠である。本稿では,LLMに2つのアイデンティティを与える新しい手法を提案する。多様性報酬に基づいてデータを認知的に探索し,選択する出力モデルと,選択したデータに調整する入力モデルである。
論文参考訳（メタデータ） (2025-02-05T17:21:01Z)
Towards Better Understanding Table Instruction Tuning: Decoupling the Effects from Data versus Models [62.47618742274461]
既存の公開トレーニングデータセットに基づいて、Mistral、OLMo、Phiファミリーからベースモデルを微調整します。我々のレプリケーションは、既存のテーブルLLMと同等以上のパフォーマンスを実現しています。トレーニングデータとベースモデルのコントリビューションを分離し、個々の影響に関する洞察を提供する。
論文参考訳（メタデータ） (2025-01-24T18:50:26Z)
Preference-Oriented Supervised Fine-Tuning: Favoring Target Model Over Aligned Large Language Models [12.500777267361102]
我々は,新しいtextbfpreference-textbforiented 教師付き textbffine-textbftuning アプローチ,すなわち PoFT を導入する。直感的には、SFTを特定の嗜好を与えることによって強化することであり、同じSFTデータ上で、整列 LLM 上でターゲットモデルをテキストフォバリングする。 PoFTは、さまざまなトレーニングデータセットとベースモデルにわたるSFTベースラインに対して、安定的で一貫した改善を実現している。
論文参考訳（メタデータ） (2024-12-17T12:49:14Z)
SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文参考訳（メタデータ） (2024-07-16T04:41:58Z)
Exploring and Benchmarking the Planning Capabilities of Large Language Models [57.23454975238014]
この研究は、大規模言語モデル(LLM)の計画能力を改善するための基礎を築いた。我々は、古典的な計画ベンチマークと自然言語シナリオの両方を含む包括的なベンチマークスイートを構築した。本研究は,LLM計画の強化を目的としたマルチショットインコンテキスト学習について検討し,文脈長の増大と計画性能の向上の関係について検討する。
論文参考訳（メタデータ） (2024-06-18T22:57:06Z)
Unlocking Large Language Model's Planning Capabilities with Maximum Diversity Fine-tuning [10.704716790096498]
大規模言語モデル(LLM)は、技術やシステム設計の促進を通じて、目覚ましいタスク解決能力を示している。事前データに制限のあるタスクを計画するためには、GPTやGeminiといったプロプライエタリなモデルを含むLLMのパフォーマンスは貧弱である。本稿では,LLMの計画能力に及ぼす微調整の影響について検討する。
論文参考訳（メタデータ） (2024-06-15T03:06:14Z)
LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文参考訳（メタデータ） (2024-02-06T19:18:04Z)
FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文参考訳（メタデータ） (2023-09-01T09:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。