論文の概要: J6: Jacobian-Driven Role Attribution for Multi-Objective Prompt Optimization in LLMs

• arxiv url: http://arxiv.org/abs/2508.12086v1
• Date: Sat, 16 Aug 2025 15:47:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.559323
• Title: J6: Jacobian-Driven Role Attribution for Multi-Objective Prompt Optimization in LLMs
• Title（参考訳）: J6: LLMにおける多目的プロンプト最適化のためのヤコビアン駆動の役割属性
• Authors: Yao Wu,
• Abstract要約: J6は、勾配相互作用行列を6つの解釈可能な成分に分解する構造的ヤコビアン法である。 本研究は,コンフリクト・アウェア・プロンプト最適化の原理と機構を導入し,構造化ヤコビアン推論を多目的神経チューニングに組み込むための新たな道を開く。
• 参考スコア（独自算出の注目度）: 4.429779969028141
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In large language model (LLM) adaptation, balancing multiple optimization objectives such as improving factuality (heat) and increasing confidence (via low entropy) poses a fundamental challenge, especially when prompt parameters (e.g., hidden-layer insertions h and embedding modifications w) interact in non-trivial ways. Existing multi-objective optimization strategies often rely on scalar gradient aggregation, ignoring the deeper geometric structure between objectives and parameters. We propose J6, a structured Jacobian-based method that decomposes the gradient interaction matrix into six interpretable components. This decomposition enables both hard decision-making (e.g., choosing the dominant update direction via argmax) and soft strategies (e.g., attention-style weighting via softmax over J6), forming a dynamic update framework that adapts to local conflict and synergy. Moreover, the interpretable structure of J6 provides insight into parameter attribution, task interference, and geometry-aligned adaptation. Our work introduces a principled and extensible mechanism for conflict-aware prompt optimization, and opens a new avenue for incorporating structured Jacobian reasoning into multi-objective neural tuning.
• Abstract（参考訳）: 大規模言語モデル(LLM)の適応では、事実性(熱)の改善や信頼性の向上(低エントロピー)といった複数の最適化目標のバランスをとることが、特にプロンプトパラメータ(例えば、隠蔽層挿入hと埋め込み修飾w)が非自明な方法で相互作用する場合、根本的な課題となる。 既存の多目的最適化戦略は、しばしば、目的とパラメータの間のより深い幾何学的構造を無視して、スカラー勾配の集約に依存する。 我々は、勾配相互作用行列を6つの解釈可能な成分に分解する構造的ヤコビアン法J6を提案する。 この分解により、ハードな意思決定(例:argmaxによる支配的な更新方向の選択)とソフト戦略(例:J6上のソフトマックスによるアテンションスタイルの重み付け)の両方が可能になり、局所的な競合やシナジーに適応する動的更新フレームワークを形成する。 さらに、J6の解釈可能な構造は、パラメータ属性、タスク干渉、幾何学的適応に関する洞察を提供する。 本研究は,コンフリクト・アウェア・プロンプト最適化のための原理的で拡張可能な機構を導入し,構造化ヤコビアン推論を多目的神経チューニングに組み込むための新たな道を開く。

関連論文リスト

• LLM4CMO: Large Language Model-aided Algorithm Design for Constrained Multiobjective Optimization [54.83882149157548]
  大規模言語モデル(LLM)は、アルゴリズム設計を支援する新しい機会を提供する。 LLM4CMOは,2つの人口構成をもつ2段階のフレームワークをベースとした新しいCMOEAである。 LLMは複雑な進化最適化アルゴリズムの開発において効率的な共同設計者として機能する。
  論文  参考訳（メタデータ） (2025-08-16T02:00:57Z)
• RAG/LLM Augmented Switching Driven Polymorphic Metaheuristic Framework [5.10888539576355]
  Polymorphic Metaheuristic Framework (PMF) は、リアルタイムパフォーマンスフィードバックと動的アルゴリズム選択によって駆動される自己適応型メタヒューリスティックスイッチング機構である。 AIによる意思決定と自己修正メカニズムを統合することで、PMFはスケーラブルでインテリジェントで自律的な最適化フレームワークの道を開いた。
  論文  参考訳（メタデータ） (2025-05-20T01:41:22Z)
• Deep Matrix Factorization with Adaptive Weights for Multi-View Clustering [0.6037276428689637]
  DMFAW(Adaptive Weights for Multi-View Clustering)を用いた新しいDeep Matrix Factorizationを提案する。 提案手法は特徴選択を同時に組み込んで局所分割を生成し,クラスタリング結果を向上する。 ベンチマークデータセットの実験では、DMFAWがクラスタリングのパフォーマンスで最先端のメソッドより優れていることが強調されている。
  論文  参考訳（メタデータ） (2024-12-03T09:08:27Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Dependency Structure Search Bayesian Optimization for Decision Making Models [29.95525433889418]
  本稿では,役割の概念を通じてエージェント相互作用のダイナミクスをモデル化する,コンパクトな多層アーキテクチャを提案する。 不正な報奨や軽微な報奨に強い経験的結果を示した。
  論文  参考訳（メタデータ） (2023-08-01T15:56:24Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)
• EOS: a Parallel, Self-Adaptive, Multi-Population Evolutionary Algorithm for Constrained Global Optimization [68.8204255655161]
  EOSは実数値変数の制約付きおよび制約なし問題に対する大域的最適化アルゴリズムである。 これはよく知られた微分進化(DE)アルゴリズムに多くの改良を加えている。 その結果、EOSisは、最先端の単一人口自己適応Dアルゴリズムと比較して高い性能を達成可能であることが証明された。
  論文  参考訳（メタデータ） (2020-07-09T10:19:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。