論文の概要: LLM attribution analysis across different fine-tuning strategies and model scales for automated code compliance

• arxiv url: http://arxiv.org/abs/2604.15589v1
• Date: Thu, 16 Apr 2026 23:54:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.681537
• Title: LLM attribution analysis across different fine-tuning strategies and model scales for automated code compliance
• Title（参考訳）: 自動コードコンプライアンスのための各種微調整戦略とモデルスケール間のLLM属性解析
• Authors: Jack Wei Lun Shi, Minghao Dang, Wawan Solihin, Justin K. W. Yeoh,
• Abstract要約: 本稿では、摂動に基づく帰属分析を用いて、大規模言語モデル(LLM)の解釈挙動を異なる微調整戦略で比較する。 その結果、FFTはパラメータ効率のよい微調整法よりも統計的に異なる帰属パターンを生成し、より焦点を絞っていることがわかった。
• 参考スコア（独自算出の注目度）: 1.154460794319478
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing research on large language models (LLMs) for automated code compliance has primarily focused on performance, treating the models as black boxes and overlooking how training decisions affect their interpretive behavior. This paper addresses this gap by employing a perturbation-based attribution analysis to compare the interpretive behaviors of LLMs across different fine-tuning strategies such as full fine-tuning (FFT), low-rank adaptation (LoRA) and quantized LoRA fine-tuning, as well as the impact of model scales which include varying LLM parameter sizes. Our results show that FFT produces attribution patterns that are statistically different and more focused than those from parameter-efficient fine-tuning methods. Furthermore, we found that as model scale increases, LLMs develop specific interpretive strategies such as prioritizing numerical constraints and rule identifiers in the building text, albeit with performance gains in semantic similarity of the generated and reference computer-processable rules plateauing for models larger than 7B. This paper provides crucial insights into the explainability of these models, taking a step toward building more transparent LLMs for critical, regulation-based tasks in the Architecture, Engineering, and Construction industry.
• Abstract（参考訳）: 自動コードコンプライアンスのための大規模言語モデル(LLM)の研究は、主にパフォーマンスを重視し、モデルをブラックボックスとして扱い、トレーニング決定が解釈行動にどのように影響するかを見極めている。 本稿では、摂動に基づく帰属分析を用いて、フル微調整(FFT)、ローランク適応(LoRA)、量子化LoRA微調整(LoRA)といった様々な微調整戦略におけるLLMの解釈挙動と、様々なLPMパラメータサイズを含むモデルスケールの影響を比較する。 その結果、FFTはパラメータ効率のよい微調整法に比べて統計的に異なる帰属パターンを生成し、より焦点を絞っていることがわかった。 さらに, モデルスケールが大きくなるにつれて, LLMは, 7B以上のモデルに対して, 生成および参照コンピュータ処理可能な規則のセマンティックな類似性において, 性能が向上するにもかかわらず, 数値制約やルール識別子の優先順位付けなど, 特定の解釈戦略を発達させることがわかった。 本稿では, アーキテクチャ, エンジニアリング, 建設業界において, より透明性の高いLCMを構築するための重要な知見を提供する。

関連論文リスト

• How and Why LLMs Generalize: A Fine-Grained Analysis of LLM Reasoning from Cognitive Behaviors to Low-Level Patterns [51.02752099869218]
  大きな言語モデル(LLM)は、非常に異なる一般化の振る舞いを示す。 推論を原子核スキルに分解する新しいベンチマークを導入する。 SFTモデルはよりシャープなドリフトと表面パターンへの過度な適合を示すのに対し、RL型モデルはより安定した行動プロファイルを維持し、推論スキルの崩壊に抵抗することを示す。
  論文  参考訳（メタデータ） (2025-12-30T08:16:20Z)
• Enhancing LLM Robustness to Perturbed Instructions: An Empirical Study [8.827173113748701]
  ダウンストリーム性能を著しく低下させるタスク特化命令の文字・単語レベルの編集について検討した。 平均的に、自己否定は、代替戦略よりも大幅に高いパフォーマンス向上を達成することが分かっています。
  論文  参考訳（メタデータ） (2025-04-03T16:17:56Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Exploring Model Editing for LLM-based Aspect-Based Sentiment Classification [17.512415475301395]
  本研究では,大規模言語モデル(LLM)をアスペクトベース感情分類に適応させる効率的な手法として,モデル編集について検討する。 この結果から,特定のアスペクト単語の感情極性を検出するには,異なる中間層表現のセットが不可欠であることが判明した。 我々は,LLMの重要な部分にのみ焦点をあてたモデル編集手法を開発し,より効率的なLLM適応法を実現する。
  論文  参考訳（メタデータ） (2025-03-19T11:21:37Z)
• The Inherent Limits of Pretrained LLMs: The Unexpected Convergence of Instruction Tuning and In-Context Learning Capabilities [51.594836904623534]
  本研究は,インコンテキストの例を用いて誘導されるベースモデルと,命令調整モデルが根本的に異なる機能を持つかどうかを考察する。 命令調整モデルの性能は,基本モデルのコンテキスト内性能と大きく相関していることを示す。 具体的には、この理解を命令付きモデルに拡張し、事前学習データも同様に、解決可能なタスクの制限境界を設定することを示唆する。
  論文  参考訳（メタデータ） (2025-01-15T10:57:55Z)
• LLMs are Also Effective Embedding Models: An In-depth Overview [41.34518828980852]
  大規模言語モデル(LLM)は、様々なタスクで最先端のパフォーマンスを達成することによって、自然言語処理に革命をもたらした。 近年、埋め込みモデルとしての有効性が注目され、ELMoやBERTのような従来のエンコーダのみのモデルから、GPT、LLaMA、Mistralのようなデコーダのみの大規模LLMへとパラダイムシフトした。
  論文  参考訳（メタデータ） (2024-12-17T06:48:24Z)
• Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
  Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。 CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。 本研究は,合成セマンティクス処理とモデル解釈可能性に関する,現在のトランスフォーマーアーキテクチャの基本的制約を明らかにする。
  論文  参考訳（メタデータ） (2024-10-16T18:10:50Z)
• Performance Law of Large Language Models [58.32539851241063]
  性能法則は、LLMアーキテクチャの選択と計算資源の効率的な割り当てを導くために用いられる。 性能法則は、LLMアーキテクチャの選択と計算資源の効率的な割り当てを広範な実験なしで導くのに利用できる。
  論文  参考訳（メタデータ） (2024-08-19T11:09:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。