論文の概要: Intention-Adaptive LLM Fine-Tuning for Text Revision Generation

• arxiv url: http://arxiv.org/abs/2602.00477v1
• Date: Sat, 31 Jan 2026 03:01:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.212016
• Title: Intention-Adaptive LLM Fine-Tuning for Text Revision Generation
• Title（参考訳）: テキストリビジョン生成のための意図適応型LDMファインタニング
• Authors: Zhexiong Liu, Diane Litman,
• Abstract要約: 大規模言語モデル(LLM)は、コンテキストベースのテキスト生成タスクにおいて印象的な機能を達成した。 Intention-Tuning - 意図適応型レイヤワイドLLM微調整フレームワークを提案する。 Intention-Tuningは小さなリビジョンコーパスに対して効果的かつ効果的であることを示す。
• 参考スコア（独自算出の注目度）: 0.70303436819479
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have achieved impressive capabilities in various context-based text generation tasks, such as summarization and reasoning; however, their applications in intention-based generation tasks remain underexplored. One such example is revision generation, which requires the generated text to explicitly reflect the writer's actual intentions. Identifying intentions and generating desirable revisions are challenging due to their complex and diverse nature. Although prior work has employed LLMs to generate revisions with few-shot learning, they struggle with handling entangled multi-intent scenarios. While fine-tuning LLMs using intention-based instructions appears promising, it demands large amounts of annotated data, which is expensive and scarce in the revision community. To address these challenges, we propose Intention-Tuning, an intention-adaptive layer-wise LLM fine-tuning framework that dynamically selects a subset of LLM layers to learn the intentions and subsequently transfers their representations to revision generation. Experimental results suggest that Intention-Tuning is effective and efficient on small revision corpora, outperforming several PEFT baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、要約や推論など、様々なコンテキストベースのテキスト生成タスクにおいて印象的な機能を達成したが、意図に基づく生成タスクにおけるそれらの応用はいまだ検討されていない。 そのような例の1つはリビジョン生成であり、生成したテキストはライターの実際の意図を明示的に反映する必要がある。 意図を特定し、望ましい修正を生成することは、その複雑で多様な性質のために困難である。 以前の作業では、数ショットの学習でリビジョンを生成するためにLLMを使用していたが、絡み合ったマルチインテントシナリオを扱うのに苦労している。 意図に基づく指示を用いた微調整 LLM は有望であるように見えるが、大量の注釈付きデータを必要とするため、修正コミュニティでは高価で不足している。 これらの課題に対処するため、意図適応型LLMファインチューニングフレームワークであるIntention-Tuningを提案し、LLMレイヤのサブセットを動的に選択して意図を学習し、その表現をリビジョン生成に転送する。 Intention-Tuning は小さなリビジョンコーパスに対して有効で効率的であり,PEFT ベースラインよりも優れていることが実験的に示唆された。

関連論文リスト

• Efficient Layer-wise LLM Fine-tuning for Revision Intention Prediction [0.70303436819479]
  大規模言語モデル(LLM)は、様々なテキスト生成タスクで驚くべき成功を収めている。 しかし、単純だが本質的なテキスト分類の可能性はいまだ未解明のままである。 本稿では, IR-Tuning という, プラグ・アンド・プレイ方式のパラメータ効率向上のためのファインチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-30T20:42:13Z)
• Writing Like the Best: Exemplar-Based Expository Text Generation [23.631195575124924]
  類似トピックの例を用いて,新しいトピックの例示テキストを生成することを目的とした,例示テキスト生成タスクを導入する。 現在の手法は、広範囲な模範データへの依存、トピック固有のコンテンツへの適応の難しさ、長文コヒーレンスの問題により、不足している。 本稿では,適応模倣の概念を提案し,新しい計画適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-24T20:40:39Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Exploring Data-Efficient Adaptation of Large Language Models for Code Generation [64.5583894165813]
  コード生成のための誤り駆動学習を用いたデータ効率向上のための新しい適応手法DEEDを提案する。 実験により、他の主流の微調整手法と比較して、DEEDは訓練データが少なく、優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-02-29T16:09:02Z)
• How You Prompt Matters! Even Task-Oriented Constraints in Instructions Affect LLM-Generated Text Detection [39.254432080406346]
  タスク指向の制約 -- 命令に自然に含まれ、検出回避とは無関係な制約 -- でさえ、既存の強力な検出器は検出性能に大きなばらつきを持つ。 実験の結果,命令を複数回生成したり,命令を言い換えたりすることで,命令によって生成されたテキストの標準偏差(SD)が有意に大きい(SDは14.4F1スコアまで)ことがわかった。
  論文  参考訳（メタデータ） (2023-11-14T18:32:52Z)
• Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models [49.74036826946397]
  本研究では,大言語モデル(LLM)の制約付きテキスト生成について検討する。 本研究は主に,制約を語彙型,構造型,関係型に分類するオープンソース LLM に重点を置いている。 その結果、LLMの能力と不足を照らし、制約を取り入れ、制約付きテキスト生成における将来の発展に対する洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-25T03:58:49Z)
• Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies [104.32199881187607]
  大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。 これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。 本稿では,この新技術について概観する。
  論文  参考訳（メタデータ） (2023-08-06T18:38:52Z)
• Prompting Large Language Models for Counterfactual Generation: An Empirical Study [13.506528217009507]
  大規模言語モデル(LLM)は、幅広い自然言語理解と生成タスクにおいて顕著な進歩を遂げている。 本稿では,様々な種類のNLUタスクに対する総合的な評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-24T06:44:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。