論文の概要: LLM Output Homogenization is Task Dependent

• arxiv url: http://arxiv.org/abs/2509.21267v1
• Date: Thu, 25 Sep 2025 14:58:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:13.005243
• Title: LLM Output Homogenization is Task Dependent
• Title（参考訳）: LLM出力均質化はタスク依存である
• Authors: Shomik Jain, Jack Lanchantin, Maximilian Nickel, Karen Ullrich, Ashia Wilson, Jamelle Watson-Daniels,
• Abstract要約: 本稿では,8つのタスクカテゴリから構成されるタスク分類について述べる。 そこで本研究では,同種化を希望する場所で保存しながら,機能的多様性を高めるタスクアンカレッドサンプリング手法を提案する。
• 参考スコア（独自算出の注目度）: 16.973041118326098
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A large language model can be less helpful if it exhibits output response homogenization. But whether two responses are considered homogeneous, and whether such homogenization is problematic, both depend on the task category. For instance, in objective math tasks, we often expect no variation in the final answer but anticipate variation in the problem-solving strategy. Whereas, for creative writing tasks, we may expect variation in key narrative components (e.g. plot, genre, setting, etc), beyond the vocabulary or embedding diversity produced by temperature-sampling. Previous work addressing output homogenization often fails to conceptualize diversity in a task-dependent way. We address this gap in the literature directly by making the following contributions. (1) We present a task taxonomy comprised of eight task categories that each have distinct conceptualizations of output homogenization. (2) We introduce task-anchored functional diversity to better evaluate output homogenization. (3) We propose a task-anchored sampling technique that increases functional diversity for task categories where homogenization is undesired, while preserving homogenization where it is desired. (4) We challenge the perceived existence of a diversity-quality trade-off by increasing functional diversity while maintaining response quality. Overall, we demonstrate how task dependence improves the evaluation and mitigation of output homogenization.
• Abstract（参考訳）: 出力応答均質化を示す場合、大きな言語モデルは役に立たない。 しかし、2つの応答が均質であると見なされるか、そのような均質化が問題であるかは、どちらもタスク圏に依存する。 例えば、客観的な数学のタスクでは、最終回答のばらつきは期待しないが、問題解決戦略のばらつきを期待することが多い。 一方、創造的な執筆作業においては、キーナラティブコンポーネント(プロット、ジャンル、設定など)の変動は、語彙や温度サンプリングによって生み出される多様性を超えて期待できる。 出力均質化に対処する以前の作業は、しばしばタスク依存的な方法で多様性を概念化するのに失敗する。 文献のこのギャップに直接対処するためには、次のような貢献をする。 1) アウトプット均質化の異なる8つのタスクカテゴリからなるタスク分類について述べる。 2) 出力均質化を評価するため,タスク適応型機能多様性を導入する。 3) 同種化が不要なタスクカテゴリに対して,同種化が望まれるタスクカテゴリに対する機能的多様性を向上するタスクアンカレッドサンプリング手法を提案する。 (4) 応答品質を維持しつつ, 機能的多様性を増大させることにより, 多様性の高いトレードオフが存在するという認識に挑戦する。 全体として、タスク依存が出力均質化の評価と緩和をどのように改善するかを示す。

関連論文リスト

• Jointly Reinforcing Diversity and Quality in Language Model Generations [64.72289248044514]
  大規模言語モデル(LM)のポストトレーニングは、しばしば多様性を犠牲にして正確さと役に立つことを優先する。 DARling(Diversity-Aware Reinforcement Learning)は、応答品質とセマンティック多様性を協調的に最適化するフレームワークである。
  論文  参考訳（メタデータ） (2025-09-02T17:38:47Z)
• Intent Factored Generation: Unleashing the Diversity in Your Language Model [18.299668531350825]
  多様性を高める方法はしばしばトークンレベルでのみ動作し、同じ応答を言い換える。 本稿では, サンプリング過程を2段階に分解するIntent Factored Generationを提案する。 本手法の有効性は,様々なタスクにまたがって実証する。
  論文  参考訳（メタデータ） (2025-06-11T12:26:45Z)
• A Unified Theory of Diversity in Ensemble Learning [4.773356856466191]
  本稿では,多様な教師付き学習シナリオにおける多様性の性質を説明する,アンサンブルの多様性の理論を提案する。 この挑戦は、30年以上にわたるオープンな研究課題であるアンサンブル学習の聖杯として言及されている。
  論文  参考訳（メタデータ） (2023-01-10T13:51:07Z)
• Picking on the Same Person: Does Algorithmic Monoculture lead to Outcome Homogenization? [90.35044668396591]
  機械学習における繰り返しのテーマはアルゴリズムによるモノカルチャーである。同じシステム、またはコンポーネントを共有するシステムは、複数の意思決定者によってデプロイされる。 意思決定者がトレーニングデータや特定のモデルなどのコンポーネントを共有すれば、より均一な結果が得られます。 我々はこの仮説をアルゴリズムフェアネスベンチマークで検証し、トレーニングデータの共有がホモジェナイゼーションを確実に悪化させることを示した。 結果の均質化に関する哲学的分析と社会的な課題を、デプロイされた機械学習システムに含めることに着目して結論付ける。
  論文  参考訳（メタデータ） (2022-11-25T09:33:11Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• A Continuum of Generation Tasks for Investigating Length Bias and Degenerate Repetition [23.585042971798067]
  言語モデルは様々な退化した振る舞いに悩まされる。 機械翻訳(MT)は長さバイアスを示し、ストーリー生成のようなタスクは過剰な繰り返しを示す。 最近の研究は、タスク制約性の違いを理由としているが、この主張の証拠は、常に多くの相反する変数を巻き込んできた。
  論文  参考訳（メタデータ） (2022-10-19T18:09:51Z)
• Learning to Transfer with von Neumann Conditional Divergence [14.926485055255942]
  我々は、複数の領域間の転送可能性を改善するために、最近提案されたフォン・ノイマン条件分岐を導入する。 本研究では,これらの課題が同時に,あるいは逐次的に観察されることを前提として,新たな学習目標を設計する。 どちらのシナリオでも、新しいタスクの一般化誤差が小さく、(シーケンシャルな設定で)ソースタスクを忘れないという点で、最先端のメソッドに対して好ましい性能が得られる。
  論文  参考訳（メタデータ） (2021-08-07T22:18:23Z)
• Precise High-Dimensional Asymptotics for Quantifying Heterogeneous Transfers [66.66228496844191]
  2つのタスクのサンプルを組み合わせることは、1つのタスクだけを学習するよりも、いつより優れているかを示す。 この問題は、実際には観測されている負転移と呼ばれる経験的な現象によって動機付けられている。 これらの結果をランダム効果モデルで説明し、ソースタスクのサンプル数が増加するにつれて、正から負への位相遷移を数学的に証明する。
  論文  参考訳（メタデータ） (2020-10-22T14:14:20Z)
• Removing Bias in Multi-modal Classifiers: Regularization by Maximizing Functional Entropies [88.0813215220342]
  いくつかのモダリティは、他のものよりも分類結果に容易に寄与することができる。 機能的エントロピーと機能的フィッシャー情報とを結合した対数ソボレフの不等式に基づく手法を開発した。 VQA-CPv2 と SocialIQ の2つの挑戦的マルチモーダルデータセットに対して,より均一にモダリティを活用しながら,最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-10-21T07:40:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。