論文の概要: Mind the Gap: Conformative Decoding to Improve Output Diversity of Instruction-Tuned Large Language Models

• arxiv url: http://arxiv.org/abs/2507.20956v1
• Date: Mon, 28 Jul 2025 16:04:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:58.197313
• Title: Mind the Gap: Conformative Decoding to Improve Output Diversity of Instruction-Tuned Large Language Models
• Title（参考訳）: Mind the Gap: 命令型大規模言語モデルの出力多様性を改善するコンフォーマティブデコーディング
• Authors: Max Peeperkorn, Tom Kouwenhoven, Dan Brown, Anna Jordanous,
• Abstract要約: 本稿では,物語生成作業における「多様性ギャップ」について検討する。 その結果,指導指導による多様性の低下が認められた。 本稿では、より多様なベースモデルを用いてインストラクションモデルを誘導し、出力の多様性を再導入する新しいデコーディング戦略であるコンストラクティブデコーディングを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instruction-tuning large language models (LLMs) reduces the diversity of their outputs, which has implications for many tasks, particularly for creative tasks. This paper investigates the ``diversity gap'' for a writing prompt narrative generation task. This gap emerges as measured by current diversity metrics for various open-weight and open-source LLMs. The results show significant decreases in diversity due to instruction-tuning. We explore the diversity loss at each fine-tuning stage for the OLMo and OLMo 2 models to further understand how output diversity is affected. The results indicate that DPO has the most substantial impact on diversity. Motivated by these findings, we present a new decoding strategy, conformative decoding, which guides an instruct model using its more diverse base model to reintroduce output diversity. We show that conformative decoding typically increases diversity and even maintains or improves quality.
• Abstract（参考訳）: インストラクションチューニング型大規模言語モデル(LLM)はアウトプットの多様性を減らし、特に創造的なタスクにおいて多くのタスクに影響を及ぼす。 本稿では,物語生成作業における「多様性ギャップ」について検討する。 このギャップは、様々なオープンウェイトおよびオープンソース LLM の現在の多様性指標によって測定されるように現れます。 その結果,指導指導による多様性の低下が認められた。 OLMoモデルとOLMo 2モデルの各微調整段階における多様性損失について検討し、出力の多様性がどう影響するかをさらに理解する。 その結果、DPOは多様性に最も大きな影響を与えていることが明らかとなった。 これらの知見に触発されて、より多様なベースモデルを用いてインストラクションモデルを誘導し、出力の多様性を再導入する新しいデコーディング戦略、コンストラクティブデコーディングを提案する。 コンフォーマティブデコーディングは一般的に多様性を高め、品質を維持したり改善したりする。

関連論文リスト

• The Price of Format: Diversity Collapse in LLMs [32.616432249190716]
  大きな言語モデル(LLM)は、推論中にフォーマットの一貫性を強制するためにロールマーカーや特別なトークンのような構造化テンプレートを使用する。 我々は,この効果をストーリー補完やフリーフォーム生成といったタスクにわたって体系的に評価し,高温サンプリングにおいても多様性の崩壊が持続することを示した。 これらの知見を文脈化するために、構造化されたプロンプトを用いて同じモデルを微調整し、下流タスク性能、アライメント行動、出力多様性の3つの軸で評価する。
  論文  参考訳（メタデータ） (2025-05-25T02:52:35Z)
• Diverse, not Short: A Length-Controlled Self-Learning Framework for Improving Response Diversity of Language Models [8.023589594229914]
  我々は、共通の多様性指標、さらには好み最適化に使用される報酬モデル、より短い出力に向けて体系的にバイアスモデルを示す。 長さパリティを維持しながら応答の多様性を向上する,長さ制御型自己学習フレームワークであるDiverse(Diverse-NS)を紹介する。
  論文  参考訳（メタデータ） (2025-05-22T05:29:47Z)
• Evaluating the Diversity and Quality of LLM Generated Content [72.84945252821908]
  品質閾値を満たす出力間の効果的な意味的多様性を測定するための枠組みを導入する。 嗜好調整モデルでは語彙的および構文的多様性が低下するが、SFTやベースモデルよりも効果的な意味的多様性が得られる。 これらの発見は、多種多様な高品質な出力を必要とするアプリケーションに重要な意味を持つ。
  論文  参考訳（メタデータ） (2025-04-16T23:02:23Z)
• Exploring and Controlling Diversity in LLM-Agent Conversation [17.38671584773247]
  本稿では,単一パラメータで多様性を制御できる新しい手法であるAdaptive Prompt Pruning (APP)を提案する。 APPは、広範囲な実験を通して出力の多様性を効果的に制御し、制御トレードオフのバランスをとる方法を提案する。
  論文  参考訳（メタデータ） (2024-12-30T17:25:58Z)
• Improving Structural Diversity of Blackbox LLMs via Chain-of-Specification Prompting [28.971248570622603]
  そこで本研究では,ユーザが生成したテキストから,興味のある多様性を捉えた特徴までをマッピングする,構造的多様性と呼ばれる多様性指標を提案する。 実験では,詩文やコード領域の構造的多様性に対して,CoSはいくつかのベースラインに比べて多様性を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2024-08-12T14:34:06Z)
• Scaling Data Diversity for Fine-Tuning Language Models in Human Alignment [84.32768080422349]
  人間の好みの調整は、大きな言語モデルが誤解を招くか有害なコンテンツを生成するのを防ぐ。 本研究では, 微調整後のLLMの最終性能と線形相関を示唆し, 即時多様性の新たな定式化を提案する。
  論文  参考訳（メタデータ） (2024-03-17T07:08:55Z)
• Diversify Question Generation with Retrieval-Augmented Style Transfer [68.00794669873196]
  本稿では,検索型スタイル転送のためのフレームワーク RAST を提案する。 本研究の目的は,多様なテンプレートのスタイルを質問生成に活用することである。 多様性報酬と一貫性報酬の重み付けを最大化する新しい強化学習(RL)ベースのアプローチを開発する。
  論文  参考訳（メタデータ） (2023-10-23T02:27:31Z)
• Exploring Diversity in Back Translation for Low-Resource Machine Translation [85.03257601325183]
  バックトランスフォーメーションは、ニューラルマシントランスフォーメーションシステムの性能を改善するために最も広く使われている手法の1つである。 近年の研究では、生成された翻訳の「多様性」を増大させることにより、この手法の有効性を高めることを目指している。 この研究は、トレーニングデータの多様性を理解し、それを語彙的多様性と構文的多様性に分割する、より微妙なフレームワークを推し進めている。
  論文  参考訳（メタデータ） (2022-06-01T15:21:16Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。