論文の概要: RDP LoRA: Geometry-Driven Identification for Parameter-Efficient Adaptation in Large Language Models

• arxiv url: http://arxiv.org/abs/2604.19321v1
• Date: Tue, 21 Apr 2026 10:29:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.726565
• Title: RDP LoRA: Geometry-Driven Identification for Parameter-Efficient Adaptation in Large Language Models
• Title（参考訳）: RDP LoRA:大規模言語モデルにおけるパラメータ効率適応のための幾何学的同定
• Abstract要約: 隠れ状態の進化を高次元幾何学的軌跡としてモデル化する。 モデル適応時の層選択を最適化するために,表現軌跡の幾何学的手法を活用することにより,頑健で解釈可能な,トレーニング不要な信号が得られることを示す。 これらの結果は、表現軌跡の幾何学的利用により、モデル適応時の層選択を最適化するための頑健で解釈可能な、訓練不要な信号が得られることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning Large Language Models (LLMs) remains structurally uncertain despite parameter-efficient methods such as Low-Rank Adaptation (LoRA), as the layer-specific roles of internal representations are poorly understood, leading to heuristic decisions about where adaptation should be applied. We model the evolution of hidden states as a high-dimensional geometric trajectory and propose using the Ramer-Douglas-Peucker (RDP) algorithm, a parameter-free and training-free polygon simplification method that preserves global structural transitions while eliminating locally redundant changes, to identify critical breakpoints along the representation path. Crucially, we use these geometric pivots not merely for analysis, but as a direct decision signal for determining which layers should be adapted during parameter-efficient fine-tuning. By integrating this geometry-aware layer selection strategy into LoRA fine-tuning of Qwen3-8B-Base, we achieve superior performance on MMLU-Math using only 13 RDP-selected layers (81.67%), significantly outperforming both full 36-layer adaptation (79.32%) and random 13-layer selection (75.56%), as well as the baseline Qwen3-8B-Base model (74.25%). These results demonstrate that leveraging the intrinsic geometry of representation trajectories provides a robust, interpretable, and training-free signal for optimizing layer selection during model adaptation.
• Abstract（参考訳）: 低ランク適応 (LoRA) のようなパラメータ効率のよい手法にもかかわらず、内部表現の層固有の役割は理解されていないため、構造的に不確実であり、適応をどこに適用すべきかというヒューリスティックな決定に繋がる。 隠れ状態の進化を高次元幾何学的軌跡としてモデル化し,パラメータフリーかつトレーニングフリーなポリゴン単純化手法であるRamer-Douglas-Peucker (RDP) アルゴリズムを用いて,局所的な冗長な変化を排除しながらグローバルな構造遷移を保存することを提案する。 重要なことは、これらの幾何学的ピボットは分析だけでなく、パラメータ効率の良い微調整の際にどの層を適応すべきかを決定するための直接的な決定信号として使われる。 この幾何対応層選択戦略をQwen3-8B-BaseのLoRA微調整に組み込むことで、MMLU-Math上では13のRDP選択層(81.67%)で優れた性能を実現し、36層適応79.32%、ランダム13層選択75.56%、ベースラインQwen3-8B-Baseモデル(74.25%)を著しく上回った。 これらの結果は,表現軌跡の内在的幾何を利用することにより,モデル適応時の層選択を最適化するための頑健で解釈可能な,訓練不要な信号が得られることを示している。

関連論文リスト

• Towards Robust Training in NNGPT AutoML Pipeline: A Loss-Optimizer Pairing Selection Study [48.83701310501069]
  本稿では, 一つのレシピがヘテロジニアスなアーキテクチャプールに十分であるか, 最適ペアリングが構造的に多様なモデルによって異なるかを検討する。 我々は,CEL(Cross-Entropy),NLL(Negative Log-Likelihood),および最近導入された遺伝学的に進化したNGL損失を,LEMURヘテロジニアス・アーキテクチャー・プールの6つの画像分類データセット上に提示したベースモデル間で比較検討した。 我々の結果は、単一のペアリングが普遍的に最適でないことを確認した。AdamやAdamWとのクロスエントロピーは、最も堅牢な選択である。
  論文  参考訳（メタデータ） (2026-06-18T20:51:42Z)
• From SGD to Muon: Adaptive Optimization via Schatten-p Norms [3.5975968496682484]
  Muonのようなモダンな言語は、更新に行列的な幾何学的制約を課している。 現行のすべてのメソッドでは、更新ルールに対して固定LMOジオメトリを課している。 本稿では,プロキシ・最適更新LMOジオメトリを動的に選択するための,新しい効率的なデータ駆動基準を提案する。
  論文  参考訳（メタデータ） (2026-05-19T12:47:41Z)
• ArcGate: Adaptive Arctangent Gated Activation [62.5098969984518]
  本稿では,アクティベーション形状の広いスペクトルを生成するフレキシブルな定式化であるAdaptive Arctangent Gated Activation関数を提案する。 我々は、PatternNet、UC Merced Land Use、13バンドのEuroSAT MSIマルチスペクトルデータセットの3つのリモートセンシングベンチマークでArcGateを評価した。
  論文  参考訳（メタデータ） (2026-05-14T08:00:46Z)
• Layer-wise Representation Dynamics: An Empirical Investigation Across Embedders and Base LLMs [8.425980139753646]
  本稿では,レイヤワイドな3つの測定ファミリを持つフレームワークであるLayer-wise Representation Dynamics (LRD)を提案する。 LRDを31モデルに適用すると、最終層表現だけでは明らかでないアーキテクチャとタスクレベルの違いが明らかになる。
  論文  参考訳（メタデータ） (2026-05-12T20:22:45Z)
• ATRS: Adaptive Trajectory Re-splitting via a Shared Neural Policy for Parallel Optimization [14.810654249835572]
  並列ADMMループに共有のDeep Reinforcement Learningポリシーを組み込む新しいフレームワークであるATRSを提案する。 我々は、ATRS収束が26.2%まで加速し、計算時間が19.1%まで加速することを示した。 実世界の実験は、大規模なオフライングローバル計画とリアルタイムオンボード計画の両方に1サイクルあたり35ミリ秒以内の適用性をさらに確認する。
  論文  参考訳（メタデータ） (2026-04-24T16:58:14Z)
• IGU-LoRA: Adaptive Rank Allocation via Integrated Gradients and Uncertainty-Aware Scoring [9.250460219785188]
  IGU-LoRAは、階層内統合勾配(IG)の感度を計算し、それらをランク割り当てのための階層レベルスコアに集約する適応ランクLoRAである。 IGU-LoRAは、一致したパラメータ予算でPEFTベースラインを一貫して上回り、下流の精度とロバスト性を改善している。
  論文  参考訳（メタデータ） (2026-03-14T06:45:54Z)
• ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
  低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
  論文  参考訳（メタデータ） (2026-02-07T10:19:36Z)
• Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
  LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。 本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。 我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7～39%増加させ、明確な質問を1.5～2.7$times$に減らした。
  論文  参考訳（メタデータ） (2025-11-11T21:50:44Z)
• ESSA: Evolutionary Strategies for Scalable Alignment [8.418036456622158]
  我々は,前向き推論とブラックボックス最適化のみを用いて,Large Language Models (LLM) を整列する勾配のないフレームワークであるESSAを提案する。 ESSAはQwen2.5-Math-7Bのテスト精度をGSM8Kで12.6%、PRM800Kで14.8%改善し、IFEvalでLLaMA3.1-8Bの精度を22.5%向上させた。 大規模な設定では、ESSAは勾配ベースの方法よりもスケーリングが強い。
  論文  参考訳（メタデータ） (2025-07-06T16:23:07Z)
• Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations [50.010924231754856]
  さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。 これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。 本稿では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。
  論文  参考訳（メタデータ） (2025-04-01T14:36:45Z)
• Unsupervised Parameter Efficient Source-free Post-pretraining [52.27955794126508]
  教師なしのUpStepを紹介します。 ソースドメインからターゲットドメインへのベースモデルを適応するための、ソースフリーのポストプレトレーニングアプローチ。 私たちは、Imagenetをベースモデルとして、教師付きおよび教師なしの両方でトレーニングされた、さまざまな一般的なバックボーンアーキテクチャを使用します。
  論文  参考訳（メタデータ） (2025-02-28T18:54:51Z)
• Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach [51.76826149868971]
  モンテカルロシミュレーションによる政策評価は多くのMC強化学習(RL)アルゴリズムの中核にある。 本研究では,異なる長さの軌跡を用いた回帰推定器の平均二乗誤差のサロゲートとして品質指標を提案する。 本稿では,Robust and Iterative Data Collection Strategy Optimization (RIDO) という適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-17T11:47:56Z)
• Bridging The Gap between Low-rank and Orthogonal Adaptation via Householder Reflection Adaptation [32.371755315509574]
  家庭内リフレクション適応法 (HRA) は, 家庭内リフレクションに基づく簡易かつ効果的な適応法である。 HRAは、大きな言語モデルと条件付き画像生成装置を適用する際に、学習可能なパラメータが少なくて優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-05-24T16:18:16Z)
• Zeroth-Order Actor-Critic: An Evolutionary Framework for Sequential Decision Problems [17.713459311502636]
  逐次決定問題(SDP)を解決するため,ZOAC(Zeroth-Order Actor-Critic)の進化的枠組みを提案する。 ZOACはパラメータ空間を段階的に探索し、理論上はゼロ階ポリシー勾配を導出する。 この問題を静的な最適化として扱うEAを著しく上回り、一階情報なしでも勾配ベースのRL法の性能に匹敵する。
  論文  参考訳（メタデータ） (2022-01-29T07:09:03Z)
• On the use of feature-maps and parameter control for improved quality-diversity meta-evolution [1.0152838128195467]
  QD(Quality-Diversity)アルゴリズムは、挙動的に多様なハイパフォーマンスソリューションのアーカイブを進化させる。 QDアルゴリズムの個体群を進化させ、アーカイブレベルの目的、メタ適合性に基づいて行動空間を最適化する。 非線形および特徴選択のフィーチャーマップは、メタフィット性において15倍、3倍の改善をもたらす。
  論文  参考訳（メタデータ） (2021-05-21T12:43:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。