論文の概要: Structured Pruning for Diverse Best-of-N Reasoning Optimization

• arxiv url: http://arxiv.org/abs/2506.03978v2
• Date: Mon, 09 Jun 2025 04:15:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 14:13:04.134032
• Title: Structured Pruning for Diverse Best-of-N Reasoning Optimization
• Title（参考訳）: 逆ベストオブN推論最適化のための構造化プルーニング
• Authors: Hieu Trung Nguyen, Bao Nguyen, Viet Anh Nguyen,
• Abstract要約: 本研究では,推論時に最適な頭部と層を動的に選択するコントラスト学習フレームワークであるSPRINTを提案する。 質問の埋め込みとヘッドの埋め込みを合わせることで、SPRINTはより正確な推論をもたらす、刈り取られた頭の設定を識別する。 提案手法は,MATH500およびGSM8Kデータセットにおいて,従来のベスト・オブ・N$およびランダムな頭部選択戦略を著しく上回っている。
• 参考スコア（独自算出の注目度）: 13.25202837526456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model pruning in transformer-based language models, traditionally viewed as a means of achieving computational savings, can enhance the model's reasoning capabilities. In this work, we uncover a surprising phenomenon: the selective pruning of certain attention heads leads to improvements in reasoning performance, particularly on challenging tasks. Motivated by this observation, we propose SPRINT, a novel contrastive learning framework that dynamically selects the optimal head and layer to prune during inference. By aligning question embeddings with head embeddings, SPRINT identifies those pruned-head configurations that result in more accurate reasoning. Extensive experiments demonstrate that our method significantly outperforms traditional best-of-$N$ and random head selection strategies on the MATH500 and GSM8K datasets.
• Abstract（参考訳）: トランスフォーマーベースの言語モデルにおけるモデルプルーニングは、伝統的に計算的貯蓄を達成する手段として見なされ、モデルの推論能力を高めることができる。 本研究では,ある注意点を選択的に刈り取ることによって,特に課題に対する推論性能が向上する,驚くべき現象を明らかにする。 そこで本研究では,推論中に最適な頭部と層を動的に選択する,新しいコントラスト学習フレームワークであるSPRINTを提案する。 質問の埋め込みとヘッドの埋め込みを合わせることで、SPRINTはより正確な推論をもたらす、刈り取られた頭の設定を識別する。 実験の結果,MATH500およびGSM8Kデータセットにおいて,従来のベスト・オブ・N$およびランダムな頭部選択戦略よりも有意に優れていた。

関連論文リスト

• LARES: Latent Reasoning for Sequential Recommendation [96.26996622771593]
  本稿では、シークエンシャルレコメンデーションのための新しいスケーラブルなLatent ReasoningフレームワークであるLARESを紹介する。 提案手法では,パラメータの複雑性を増大させることなく推理深度を柔軟に拡張できる再帰的アーキテクチャを用いている。 LARESは既存の高度なモデルとのシームレスな互換性を示し、推奨性能をさらに向上することを示す。
  論文  参考訳（メタデータ） (2025-05-22T16:22:54Z)
• "FRAME: Forward Recursive Adaptive Model Extraction-A Technique for Advance Feature Selection" [0.0]
  本研究では,新しいハイブリッド手法であるフォワード再帰適応モデル抽出手法(FRAME)を提案する。 FRAMEは、フォワード選択と再帰的特徴除去を組み合わせて、さまざまなデータセットにおける機能選択を強化する。 その結果、FRAMEは下流の機械学習評価指標に基づいて、常に優れた予測性能を提供することが示された。
  論文  参考訳（メタデータ） (2025-01-21T08:34:10Z)
• Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
  本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。 我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。 OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
  論文  参考訳（メタデータ） (2024-06-12T08:31:34Z)
• Rethinking Low-Rank Adaptation in Vision: Exploring Head-Level Responsiveness across Diverse Tasks [6.068296063531189]
  低ランク適応(LoRA)は、事前訓練された視覚変換器(ViT)の適応パラダイムをシフトさせた。 低ランク適応のためのヘッドレベル応答性チューニング(Heart-LoRA)を提案する。
  論文  参考訳（メタデータ） (2024-04-13T04:01:35Z)
• Picking the Underused Heads: A Network Pruning Perspective of Attention Head Selection for Fusing Dialogue Coreference Information [50.41829484199252]
  マルチヘッド自己アテンション機構を持つトランスフォーマーベースのモデルは自然言語処理で広く利用されている。 ネットワークプルーニングの観点から,特徴注入のためのアテンションヘッドの選択と操作戦略について検討する。
  論文  参考訳（メタデータ） (2023-12-15T05:27:24Z)
• Data-driven Preference Learning Methods for Sorting Problems with Multiple Temporal Criteria [17.673512636899076]
  本研究では,時間的基準が存在する場合の複数基準ソート問題に対する新しい選好学習手法を提案する。 スケーラビリティを向上し、学習可能な時間割引要素に対応するため、新しい単調リカレントニューラルネットワーク(mRNN)を導入する。 提案するmRNNは、時間とともに、限界値関数とパーソナライズされた時間割引係数を記述することにより、好みのダイナミクスを記述することができる。
  論文  参考訳（メタデータ） (2023-09-22T05:08:52Z)
• A Generic Approach for Enhancing GANs by Regularized Latent Optimization [79.00740660219256]
  本稿では,事前学習したGANを効果的かつシームレスに拡張できる,エミュレーティブモデル推論と呼ばれる汎用フレームワークを提案する。 我々の基本的な考え方は、ワッサーシュタイン勾配流法を用いて与えられた要求に対する最適潜時分布を効率的に推算することである。
  論文  参考訳（メタデータ） (2021-12-07T05:22:50Z)
• Learning MDPs from Features: Predict-Then-Optimize for Sequential Decision Problems by Reinforcement Learning [52.74071439183113]
  我々は、強化学習を通して解決された逐次決定問題(MDP)の文脈における予測列最適化フレームワークについて検討した。 2つの重要な計算課題は、意思決定中心の学習をMDPに適用することである。
  論文  参考訳（メタデータ） (2021-06-06T23:53:31Z)
• Trajectory-wise Multiple Choice Learning for Dynamics Generalization in Reinforcement Learning [137.39196753245105]
  本稿では,動的一般化のためのマルチヘッドダイナミックスモデルを学習するモデルベース強化学習アルゴリズムを提案する。 文脈学習は,過去の経験から得られる動的情報からコンテキスト潜在ベクトルにエンコードする。 提案手法は,最先端のRL法と比較して,様々な制御タスクにおいて優れたゼロショット一般化性能を示す。
  論文  参考訳（メタデータ） (2020-10-26T03:20:42Z)
• Experimental Design for Overparameterized Learning with Application to Single Shot Deep Active Learning [5.141687309207561]
  現代の機械学習モデルは、大量のラベル付きデータに基づいて訓練されている。 大量のラベル付きデータへのアクセスは、しばしば制限またはコストがかかる。 トレーニングセットをキュレートするための新しい設計戦略を提案する。
  論文  参考訳（メタデータ） (2020-09-27T11:27:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。