論文の概要: Breaking the Gradient Barrier: Unveiling Large Language Models for Strategic Classification

• arxiv url: http://arxiv.org/abs/2511.06979v1
• Date: Mon, 10 Nov 2025 11:30:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:45.216994
• Title: Breaking the Gradient Barrier: Unveiling Large Language Models for Strategic Classification
• Title（参考訳）: グラディエントバリアを破る - 戦略分類のための大規模言語モデルの構築
• Authors: Xinpeng Lv, Yunxin Mao, Haoxuan Li, Ke Liang, Jinxuan Yang, Wanrong Huang, Haoang Chi, Huan Chen, Long Lan, Yuanlong Chen, Wenjing Yang, Haotian Wang,
• Abstract要約: In-context Learningに基礎を置いた勾配のないSC法GLIMを紹介する。 GLIMはSCの典型的な二段階最適化プロセスを暗黙的にシミュレートする。 我々はGLIMが事前訓練されたLSMをサポートし、幅広い戦略的な操作に適応できることを証明した。
• 参考スコア（独自算出の注目度）: 34.71961127889903
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Strategic classification~(SC) explores how individuals or entities modify their features strategically to achieve favorable classification outcomes. However, existing SC methods, which are largely based on linear models or shallow neural networks, face significant limitations in terms of scalability and capacity when applied to real-world datasets with significantly increasing scale, especially in financial services and the internet sector. In this paper, we investigate how to leverage large language models to design a more scalable and efficient SC framework, especially in the case of growing individuals engaged with decision-making processes. Specifically, we introduce GLIM, a gradient-free SC method grounded in in-context learning. During the feed-forward process of self-attention, GLIM implicitly simulates the typical bi-level optimization process of SC, including both the feature manipulation and decision rule optimization. Without fine-tuning the LLMs, our proposed GLIM enjoys the advantage of cost-effective adaptation in dynamic strategic environments. Theoretically, we prove GLIM can support pre-trained LLMs to adapt to a broad range of strategic manipulations. We validate our approach through experiments with a collection of pre-trained LLMs on real-world and synthetic datasets in financial and internet domains, demonstrating that our GLIM exhibits both robustness and efficiency, and offering an effective solution for large-scale SC tasks.
• Abstract（参考訳）: 戦略分類〜(SC)は、個人または団体が、適切な分類結果を達成するために、その特徴を戦略的にどのように変更するかを探求する。 しかしながら、線形モデルや浅いニューラルネットワークを主にベースとする既存のSC手法は、特に金融サービスやインターネットセクターにおいて、スケールが大幅に増大した実世界のデータセットに適用する場合、スケーラビリティとキャパシティの面で重大な制限に直面している。 本稿では,大規模言語モデルを用いてよりスケーラブルで効率的なSCフレームワークを設計する方法について考察する。 具体的には、文脈内学習に基礎を置く勾配のないSC法であるGLIMを紹介する。 自己注意のフィードフォワードプロセスにおいて、GLIMは、特徴操作と決定規則最適化の両方を含む、SCの典型的な二段階最適化プロセスを暗黙的にシミュレートする。 LLMを微調整することなく,提案するGLIMは動的戦略環境における費用対効果の利点を享受できる。 理論的には、GLIMが事前訓練されたLCMをサポートし、幅広い戦略的な操作に適応できることを証明している。 我々は,金融・インターネット分野における実世界のデータセットと合成データセットを事前学習したLCMを用いて実験を行い,我々のGLIMが堅牢性と効率性の両方を示し,大規模SCタスクに効果的なソリューションを提供することを示した。

関連論文リスト

• ESSA: Evolutionary Strategies for Scalable Alignment [8.418036456622158]
  我々は,前向き推論とブラックボックス最適化のみを用いて,Large Language Models (LLM) を整列する勾配のないフレームワークであるESSAを提案する。 ESSAはQwen2.5-Math-7Bのテスト精度をGSM8Kで12.6%、PRM800Kで14.8%改善し、IFEvalでLLaMA3.1-8Bの精度を22.5%向上させた。 大規模な設定では、ESSAは勾配ベースの方法よりもスケーリングが強い。
  論文  参考訳（メタデータ） (2025-07-06T16:23:07Z)
• Enhancing Decision-Making of Large Language Models via Actor-Critic [28.870961806283425]
  大規模言語モデル(LLM)は自然言語処理タスクにおいて顕著な進歩を遂げている。 既存の方法は、ロールアウトを正確にシミュレートし、結果を評価する際に、短期的な自己回帰的な行動生成か、制限に直面している。 本稿では,LLM をベースとした Actor-Critic フレームワーク LAC を提案する。
  論文  参考訳（メタデータ） (2025-06-04T14:58:27Z)
• Taming LLMs by Scaling Learning Rates with Gradient Grouping [49.91587150497186]
  大きな言語モデル(LLM)のトレーニングは、その大規模で異質なアーキテクチャのため、課題を提起する。 SGG(Scaling with Gradient Grouping)は、動的グルーピングとグループ固有のスケーリングによる適応的な学習率推定を改善するグラデーションラッパーである。
  論文  参考訳（メタデータ） (2025-06-01T15:30:37Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• Fine-tuning Large Language Models with Limited Data: A Survey and Practical Guide [18.62224900123851]
  限られたデータで微調整された大規模言語モデル(LLM)は、低リソース言語、特殊なドメイン、制約付きデプロイメント設定において実践的な課題となる。 本稿では,データスカースシナリオにおけるLCMの微調整手法の構造化と実用化について述べる。
  論文  参考訳（メタデータ） (2024-11-14T15:55:37Z)
• EVOLvE: Evaluating and Optimizing LLMs For In-Context Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• SparseLLM: Towards Global Pruning for Pre-trained Language Models [12.057369029549534]
  本研究では,グローバルプルーニングプロセスを再定義する新しいフレームワークであるSparseLLMを提案する。 SparseLLMのアプローチは、LLMをモジュラ関数の連鎖として概念化し、問題の分解に補助変数を利用する。 高いスパーシティ・レシエーションにおいて、特に顕著なパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-02-28T00:09:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。