論文の概要: RDP LoRA: Geometry-Driven Identification for Parameter-Efficient Adaptation in Large Language Models

• arxiv url: http://arxiv.org/abs/2604.19321v1
• Date: Tue, 21 Apr 2026 10:29:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.726565
• Title: RDP LoRA: Geometry-Driven Identification for Parameter-Efficient Adaptation in Large Language Models
• Title（参考訳）: RDP LoRA:大規模言語モデルにおけるパラメータ効率適応のための幾何学的同定
• Authors: Yusuf Çelebi, Yağız Asker, Özay Ezerceli, Mahmoud ElHussieni, Selva Taş, Reyhan Bayraktar, Fatma Betül Terzioğlu,
• Abstract要約: 隠れ状態の進化を高次元幾何学的軌跡としてモデル化する。 モデル適応時の層選択を最適化するために,表現軌跡の幾何学的手法を活用することにより,頑健で解釈可能な,トレーニング不要な信号が得られることを示す。 これらの結果は、表現軌跡の幾何学的利用により、モデル適応時の層選択を最適化するための頑健で解釈可能な、訓練不要な信号が得られることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning Large Language Models (LLMs) remains structurally uncertain despite parameter-efficient methods such as Low-Rank Adaptation (LoRA), as the layer-specific roles of internal representations are poorly understood, leading to heuristic decisions about where adaptation should be applied. We model the evolution of hidden states as a high-dimensional geometric trajectory and propose using the Ramer-Douglas-Peucker (RDP) algorithm, a parameter-free and training-free polygon simplification method that preserves global structural transitions while eliminating locally redundant changes, to identify critical breakpoints along the representation path. Crucially, we use these geometric pivots not merely for analysis, but as a direct decision signal for determining which layers should be adapted during parameter-efficient fine-tuning. By integrating this geometry-aware layer selection strategy into LoRA fine-tuning of Qwen3-8B-Base, we achieve superior performance on MMLU-Math using only 13 RDP-selected layers (81.67%), significantly outperforming both full 36-layer adaptation (79.32%) and random 13-layer selection (75.56%), as well as the baseline Qwen3-8B-Base model (74.25%). These results demonstrate that leveraging the intrinsic geometry of representation trajectories provides a robust, interpretable, and training-free signal for optimizing layer selection during model adaptation.
• Abstract（参考訳）: 低ランク適応 (LoRA) のようなパラメータ効率のよい手法にもかかわらず、内部表現の層固有の役割は理解されていないため、構造的に不確実であり、適応をどこに適用すべきかというヒューリスティックな決定に繋がる。 隠れ状態の進化を高次元幾何学的軌跡としてモデル化し,パラメータフリーかつトレーニングフリーなポリゴン単純化手法であるRamer-Douglas-Peucker (RDP) アルゴリズムを用いて,局所的な冗長な変化を排除しながらグローバルな構造遷移を保存することを提案する。 重要なことは、これらの幾何学的ピボットは分析だけでなく、パラメータ効率の良い微調整の際にどの層を適応すべきかを決定するための直接的な決定信号として使われる。 この幾何対応層選択戦略をQwen3-8B-BaseのLoRA微調整に組み込むことで、MMLU-Math上では13のRDP選択層(81.67%)で優れた性能を実現し、36層適応79.32%、ランダム13層選択75.56%、ベースラインQwen3-8B-Baseモデル(74.25%)を著しく上回った。 これらの結果は,表現軌跡の内在的幾何を利用することにより,モデル適応時の層選択を最適化するための頑健で解釈可能な,訓練不要な信号が得られることを示している。

関連論文リスト

• IGU-LoRA: Adaptive Rank Allocation via Integrated Gradients and Uncertainty-Aware Scoring [9.250460219785188]
  IGU-LoRAは、階層内統合勾配(IG)の感度を計算し、それらをランク割り当てのための階層レベルスコアに集約する適応ランクLoRAである。 IGU-LoRAは、一致したパラメータ予算でPEFTベースラインを一貫して上回り、下流の精度とロバスト性を改善している。
  論文  参考訳（メタデータ） (2026-03-14T06:45:54Z)
• ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
  低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
  論文  参考訳（メタデータ） (2026-02-07T10:19:36Z)
• Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
  LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。 本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。 我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7～39%増加させ、明確な質問を1.5～2.7$times$に減らした。
  論文  参考訳（メタデータ） (2025-11-11T21:50:44Z)
• ESSA: Evolutionary Strategies for Scalable Alignment [8.418036456622158]
  我々は,前向き推論とブラックボックス最適化のみを用いて,Large Language Models (LLM) を整列する勾配のないフレームワークであるESSAを提案する。 ESSAはQwen2.5-Math-7Bのテスト精度をGSM8Kで12.6%、PRM800Kで14.8%改善し、IFEvalでLLaMA3.1-8Bの精度を22.5%向上させた。 大規模な設定では、ESSAは勾配ベースの方法よりもスケーリングが強い。
  論文  参考訳（メタデータ） (2025-07-06T16:23:07Z)
• Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations [50.010924231754856]
  さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。 これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。 本稿では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。
  論文  参考訳（メタデータ） (2025-04-01T14:36:45Z)
• Unsupervised Parameter Efficient Source-free Post-pretraining [52.27955794126508]
  教師なしのUpStepを紹介します。 ソースドメインからターゲットドメインへのベースモデルを適応するための、ソースフリーのポストプレトレーニングアプローチ。 私たちは、Imagenetをベースモデルとして、教師付きおよび教師なしの両方でトレーニングされた、さまざまな一般的なバックボーンアーキテクチャを使用します。
  論文  参考訳（メタデータ） (2025-02-28T18:54:51Z)
• Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach [51.76826149868971]
  モンテカルロシミュレーションによる政策評価は多くのMC強化学習(RL)アルゴリズムの中核にある。 本研究では,異なる長さの軌跡を用いた回帰推定器の平均二乗誤差のサロゲートとして品質指標を提案する。 本稿では,Robust and Iterative Data Collection Strategy Optimization (RIDO) という適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-17T11:47:56Z)
• Bridging The Gap between Low-rank and Orthogonal Adaptation via Householder Reflection Adaptation [32.371755315509574]
  家庭内リフレクション適応法 (HRA) は, 家庭内リフレクションに基づく簡易かつ効果的な適応法である。 HRAは、大きな言語モデルと条件付き画像生成装置を適用する際に、学習可能なパラメータが少なくて優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-05-24T16:18:16Z)
• Zeroth-Order Actor-Critic: An Evolutionary Framework for Sequential Decision Problems [17.713459311502636]
  逐次決定問題(SDP)を解決するため,ZOAC(Zeroth-Order Actor-Critic)の進化的枠組みを提案する。 ZOACはパラメータ空間を段階的に探索し、理論上はゼロ階ポリシー勾配を導出する。 この問題を静的な最適化として扱うEAを著しく上回り、一階情報なしでも勾配ベースのRL法の性能に匹敵する。
  論文  参考訳（メタデータ） (2022-01-29T07:09:03Z)
• On the use of feature-maps and parameter control for improved quality-diversity meta-evolution [1.0152838128195467]
  QD(Quality-Diversity)アルゴリズムは、挙動的に多様なハイパフォーマンスソリューションのアーカイブを進化させる。 QDアルゴリズムの個体群を進化させ、アーカイブレベルの目的、メタ適合性に基づいて行動空間を最適化する。 非線形および特徴選択のフィーチャーマップは、メタフィット性において15倍、3倍の改善をもたらす。
  論文  参考訳（メタデータ） (2021-05-21T12:43:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。