論文の概要: Is Human-Readable Text Necessary for Effective LLM Fine-Tuning?

• arxiv url: http://arxiv.org/abs/2609.35868v1
• Date: Sat, 26 Sep 2026 12:39:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.869864
• Title: Is Human-Readable Text Necessary for Effective LLM Fine-Tuning?
• Title（参考訳）: LLMファインチューニングにはヒューマン可読テキストが必要か?
• Abstract要約: Desired-Update-Aligned Synthetic Data (DASA) DASAは、凍結参照モデルからのアクティベーション・グラディエントフィードバックを使用して、連続的な合成入力埋め込みの最適化を導く。 ラマ家とクウェン家の6つのモデルの実験。
• 参考スコア（独自算出の注目度）: 5.817594931892039
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Is human readability necessary for effective fine-tuning of large language models? We investigate whether model-conditioned training representations can preserve or improve adaptation utility without requiring a human-readable textual form. We propose Desired-Update-Aligned Synthetic Data (DASA), which uses activation-gradient feedback from a frozen reference model to guide the optimization of continuous synthetic input embeddings. Inspired by the role of activation gradients in local risk reduction, DASA targets useful adaptation updates rather than source-text reconstruction or linguistic fluency. The resulting embeddings are used directly for downstream fine-tuning; discrete token projections are employed only for qualitative inspection. Experiments on six models from the Llama and Qwen families, ranging from 1B to 32B parameters, cover six benchmarks spanning knowledge, mathematical reasoning, code generation, and commonsense reasoning. Under matched LoRA adaptation settings, DASA achieves performance comparable to the source natural-language data and surpasses it in multiple configurations, while outperforming GRADMM in most comparisons. Further experiments cover general-domain and task-specialized source data. Under the evaluated synthesis settings, DASA provides a $3.6$--$4.9\times$ speedup over GRADMM with comparable peak GPU memory.
• Abstract（参考訳）: 大規模言語モデルの効果的な微調整には,人間の可読性が必要か? 人間の読みやすいテキスト形式を必要とせずに、モデル条件付きトレーニング表現が適応ユーティリティを維持・改善できるかどうかを検討する。 本稿では、凍結参照モデルからのアクティベート段階フィードバックを用いて、連続的な合成入力埋め込みの最適化を導くDesired-Update-Aligned Synthetic Data (DASA)を提案する。 DASAは、地域リスク低減におけるアクティベーション勾配の役割にインスパイアされ、ソーステキストの再構築や言語流布よりも有用な適応更新をターゲットにしている。 結果として得られる埋め込みは下流の微調整に直接使用され、離散トークンプロジェクションは定性検査にのみ使用される。 LlamaファミリーとQwenファミリーの6つのモデル(1Bから32Bパラメータ)の実験では、知識、数学的推論、コード生成、常識推論にまたがる6つのベンチマークがカバーされた。 一致したLoRA適応設定の下では、DASAは元の自然言語データに匹敵するパフォーマンスを達成し、複数の設定でそれを上回り、ほとんどの比較ではGRADMMより優れている。 さらなる実験では、汎用ドメインとタスク特化ソースデータをカバーしている。 評価された合成設定の下で、DASAは3.6$--4.9\times$ GRADMMと同等のピークGPUメモリを備えたスピードアップを提供する。

関連論文リスト

• Optimsyn: Influence-Guided Rubrics Optimization for Synthetic Data Generation [41.42036786553015]
  大規模言語モデル(LLM)は、多くの教師付き微調整(SFT)データにより、強力な下流性能を達成する。 人文科学、社会科学、医学、法律、金融といった知識集約的な領域における高品質なSFTデータはほとんどない。 しかし、ルーブリック設計は専門家に依存しており、ドメイン間での転送が不十分であり、しばしば、ルーブリックの記述、データの合成、トレーニング、結果の検査、手動による修正の推測といった脆いループを通じて最適化される。
  論文  参考訳（メタデータ） (2026-04-01T06:28:44Z)
• Auto-GDA: Automatic Domain Adaptation for Efficient Grounding Verification in Retrieval-Augmented Generation [13.120801609024147]
  検索強化生成(RAG)は,大規模言語モデル(LLM)出力の事実性を高めることが示されている。 RAG入力は、NLIモデルのトレーニングに使用されるほとんどのデータセットよりも複雑である。 教師なし領域適応を実現するために自動生成適応(Auto-GDA)を導入する。
  論文  参考訳（メタデータ） (2024-10-04T14:21:27Z)
• Fine-Tuning or Fine-Failing? Debunking Performance Myths in Large Language Models [0.8399688944263842]
  大きな言語モデル(LLM)は、入力クエリから人間のようなテキストを理解し、生成する能力を持つ。 本研究では、この概念を、レトリーバル拡張生成(RAG)パイプライン内のLLMの統合に拡張する。 データ抽出と文脈理解における微調整がLLMの能力に与える影響を評価する。
  論文  参考訳（メタデータ） (2024-06-17T04:35:17Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• RAIN: Your Language Models Can Align Themselves without Finetuning [25.703729145091483]
  大型言語モデル(LLM)は人間の好みと矛盾することが多い。 本研究では,不整合 LLM が自己ブーイングによって直接人間の嗜好に整合した応答を生成可能であることを示す。 本稿では,自己回帰推論(Rewindable Auto-Regressive Inference)という新しい推論手法を導入する。
  論文  参考訳（メタデータ） (2023-09-13T17:59:09Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。