論文の概要: Self-Improving is Often Sudden: Enlightenment-style Finetuning for Large-Scale Models

• arxiv url: http://arxiv.org/abs/2607.13395v1
• Date: Wed, 15 Jul 2026 02:43:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.62466
• Title: Self-Improving is Often Sudden: Enlightenment-style Finetuning for Large-Scale Models
• Title（参考訳）: 自己改善は時を同じくする - 大規模モデルのための啓蒙スタイルのファインタニング
• Abstract要約: 本研究では,大規模モデルのためのトレーニング不要のポストチューニングパラダイムであるEnlightenmentを提案する。 提案手法は,重み付けを伴わないキーモジュール/レイヤのショートカットを改良するが,既存のトレーニングフリーのショートカットは注意重みを主に操作する。 実験により、啓蒙は事前訓練されたネットワークの潜在ポテンシャルを効率的に解き放つことが示されている。
• 参考スコア（独自算出の注目度）: 23.533065315189223
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The pursuit of autonomously self-improving models has attracted growing interest in the era of large-scale foundation models. Drawing inspiration from the concept of "enlightenment" or "aha moment" in human brain, we hypothesize that large models exhibit an analogous enlightenment phenomenon-a latent capacity for sudden capability boost. Then, we propose Enlightenment, a novel training-free post-tuning paradigm for large-scale models. Our approach modifies shortcuts for key modules/layers without weight updates, while existing training-free ones predominantly manipulate attention weights. We introduce two architecture-specific instantiations: i) For large language models, we propose attention head-mixing shortcuts that recalibrate attention weights by linking the initial attention head's output to all other target heads, modulated by an adaptive scaling factor initialization strategy. ii) For vision-language models, we apply a lightweight scalar-modulated factor to residual connections in the decoder layers, regulating information flow. Extensive experiments show that Enlightenment efficiently unlocks the latent potential of pre-trained networks, yielding remarkable performance improvements across diverse benchmarks and models.
• Abstract（参考訳）: 自律的な自己改善モデルの追求は、大規模な基礎モデルの時代への関心が高まっている。 人間の脳における「悟り」や「アハモーメント」の概念からインスピレーションを得て、我々は大きなモデルが突然の能力向上のための潜在能力である類似の啓蒙現象を示すと仮定した。 そこで我々は,大規模モデルのための新しいトレーニング不要のポストチューニングパラダイムであるEnlightenmentを提案する。 提案手法は,重み付けを伴わないキーモジュール/レイヤのショートカットを改良するが,既存のトレーニングフリーのショートカットは注意重みを主に操作する。 アーキテクチャ固有のインスタンス化を2つ紹介する。 一 大規模言語モデルに対し、適応スケーリング係数初期化戦略により変調された初期アテンションヘッドの出力を他のすべてのターゲットヘッドにリンクすることにより、注意重みを補正するアテンションミキシングショートカットを提案する。 二 視覚言語モデルにおいて、デコーダ層内の残余接続に軽量スカラー変調係数を適用し、情報の流れを調節する。 大規模な実験により、Enlightenmentはトレーニング済みネットワークの潜在ポテンシャルを効果的に解き放ち、様々なベンチマークやモデルで顕著な性能向上をもたらすことが示されている。

関連論文リスト

• Large Vision-Language Models Get Lost in Attention [51.851592109135716]
  本稿では,情報理論と幾何に基づく統合フレームワークを提案し,残差更新の幾何的およびエントロピー的性質を定量化する。 注意は再設定に焦点を当てたサブスペース言語演算子として機能し、FFNはセマンティックイノベーションを駆動するサブスペース言語演算子として機能します。
  論文  参考訳（メタデータ） (2026-05-07T04:45:52Z)
• Self-Supervised Weight Templates for Scalable Vision Model Initialization [34.75805112986586]
  SWEETは、視覚タスクのスケーラブルな初期化を可能にするために制約ベースの事前トレーニングを実行する、自己教師型フレームワークである。 そこで我々は,テンプレートを幅関係の次元に沿って規則化し,頑健な幅幅の表現を奨励するワイドワイドスケーリングを導入する。 SWEETの最先端性能を示すテキスト分類、テキスト分割、テキスト生成に関する実験。
  論文  参考訳（メタデータ） (2026-01-27T15:15:17Z)
• Continual Learning for Generative AI: From LLMs to MLLMs and Beyond [56.29231194002407]
  本稿では,主流生成型AIモデルに対する連続学習手法の総合的な調査を行う。 これらのアプローチをアーキテクチャベース、正規化ベース、リプレイベースという3つのパラダイムに分類する。 我々は、トレーニング目標、ベンチマーク、コアバックボーンを含む、異なる生成モデルに対する連続的な学習設定を分析する。
  論文  参考訳（メタデータ） (2025-06-16T02:27:25Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Expressive and Generalizable Low-rank Adaptation for Large Models via Slow Cascaded Learning [55.5715496559514]
  LoRA Slow Cascade Learning (LoRASC)は、LoRAの表現性と一般化能力を高めるために設計された革新的な技術である。 提案手法は,混合低ランク適応を可能にするカスケード学習戦略により表現性を増強し,複雑なパターンをキャプチャするモデルの能力を高める。
  論文  参考訳（メタデータ） (2024-07-01T17:28:59Z)
• DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception [66.88792390480343]
  本稿では,拡散モデルの生成的フィードバックを利用して画像エンコーダのセマンティックな分布を整合させる,シンプルだが効果的なアプローチであるDEEMを提案する。 DEEMは、トレーニング可能なパラメータが少なく、事前学習データが少なく、ベースモデルのサイズが小さいことを利用して、モデル幻覚を軽減するために、強化された堅牢性と優れた能力を示す。
  論文  参考訳（メタデータ） (2024-05-24T05:46:04Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• Enhancing Dynamical System Modeling through Interpretable Machine Learning Augmentations: A Case Study in Cathodic Electrophoretic Deposition [0.8796261172196743]
  本稿では,物理システムのモデリング向上を目的とした包括的データ駆動フレームワークを提案する。 実証的応用として,電顕的電気泳動沈着(EPD)のモデル化を追求する。
  論文  参考訳（メタデータ） (2024-01-16T14:58:21Z)
• On the Embedding Collapse when Scaling up Recommendation Models [53.66285358088788]
  埋め込み崩壊現象をスケーラビリティの阻害とみなし、埋め込み行列は低次元の部分空間を占有する傾向にある。 本稿では,組込み集合固有の相互作用モジュールを組み込んで,多様性を持つ組込み集合を学習する,単純かつ効果的な組込み設計を提案する。
  論文  参考訳（メタデータ） (2023-10-06T17:50:38Z)
• Big-model Driven Few-shot Continual Learning [24.392821997721295]
  本稿では,B-FSCL(Big-model driven Few-shot Continual Learning)フレームワークを提案する。 提案したB-FSCLの3つの一般的なデータセットに対する実験結果が,最先端のFSCL手法を全面的に上回った。
  論文  参考訳（メタデータ） (2023-09-02T08:39:46Z)
• Revisiting Implicit Models: Sparsity Trade-offs Capability in Weight-tied Model for Vision Tasks [4.872984658007499]
  ディープ平衡モデル(Deep Equilibrium Models, DEQ)のような暗黙のモデルは、無限層のモデルを訓練する能力によって、コミュニティにおいて大きな注目を集めている。 暗黙のモデルの行を再検討し、それらを元の重み付けモデルに遡る。 驚くべきことに、重み付けモデルの方がDECの変種と比較して、より効率的で、安定であり、視覚タスク上でも効率的である。
  論文  参考訳（メタデータ） (2023-07-16T11:45:35Z)
• DynamicEmbedding: Extending TensorFlow for Colossal-Scale Applications [0.0]
  今日、スパースな特徴を持つディープラーニングモデルの制限の1つは、入力の事前定義された性質に起因している。 結果のモデルは、はるかに大きなスケールで、より良く、効率的に実行可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-17T17:43:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。