論文の概要: Several Supporting Evidences for the Adaptive Feature Program

• arxiv url: http://arxiv.org/abs/2511.09425v1
• Date: Thu, 13 Nov 2025 01:53:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-13 22:34:54.562989
• Title: Several Supporting Evidences for the Adaptive Feature Program
• Title（参考訳）: アダプティブ・フィーチャー・プログラムにおけるいくつかの支援エビデンス
• Authors: Yicheng Li, Qian Lin,
• Abstract要約: 近年,ニューラルネットワークの特徴学習特性を分析するための適応的特徴プログラムが提案されている。 有名なル・カム同値性に触発され、過度にパラメータ化されたシーケンスモデルが提唱される。 いくつかの具体的適応的特徴モデルの訓練過程において,特徴誤差尺度 (FEM) が減少していることを示す。
• 参考スコア（独自算出の注目度）: 26.166564925855834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Theoretically exploring the advantages of neural networks might be one of the most challenging problems in the AI era. An adaptive feature program has recently been proposed to analyze the feature learning characteristic property of neural networks in a more abstract way. Motivated by the celebrated Le Cam equivalence, we advocate the over-parametrized sequence models to further simplify the analysis of the training dynamics of adaptive feature program and present several supporting evidences for the adaptive feature program. More precisely, after having introduced the feature error measure (FEM) to characterize the quality of the learned feature, we show that the FEM is decreasing during the training process of several concrete adaptive feature models including linear regression, single/multiple index models, etc. We believe that this hints at the potential successes of the adaptive feature program.
• Abstract（参考訳）: 理論的には、ニューラルネットワークの利点を探求することは、AI時代の最も難しい問題の1つかもしれない。 近年,ニューラルネットワークの特徴学習特性をより抽象的に解析するための適応的特徴プログラムが提案されている。 有名なル・カム同値性に触発され、適応的特徴プログラムのトレーニングダイナミクスの解析をさらに単純化し、適応的特徴プログラムのいくつかの裏付けとなる証拠を提示するために、過度にパラメータ化されたシーケンスモデルを提唱する。 より正確には、学習した特徴の質を特徴付けるために特徴誤差尺度(FEM)を導入した後、線形回帰、単/複数インデックスモデルなどを含む複数の具体的適応特徴モデルのトレーニング過程において、FEMが減少していることを示す。 これは適応的機能プログラムの成功の可能性を示唆していると我々は信じている。

関連論文リスト

• Taming Polysemanticity in LLMs: Provable Feature Recovery via Sparse Autoencoders [50.52694757593443]
  既存のSAEトレーニングアルゴリズムは厳密な数学的保証を欠いていることが多く、実用的な制限に悩まされている。 まず,特徴の特定可能性という新たな概念を含む特徴回復問題の統計的枠組みを提案する。 本稿では、ニューラルネットワークのバイアスパラメータを適応的に調整し、適切なアクティベーション間隔を確保する手法である「バイアス適応」に基づく新たなSAEトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-16T20:58:05Z)
• Multitask Auxiliary Network for Perceptual Quality Assessment of Non-Uniformly Distorted Omnidirectional Images [31.032202503593897]
  非一様歪み全方位画像のためのマルチタスク補助ネットワークを提案する。 提案ネットワークは主に,ビューポートシーケンスからマルチスケール特徴を抽出するバックボーン,タスクごとに動的に特定特徴を割り当てるマルチタスク特徴選択モジュール,提案モデルを導く補助サブネットワークの3つの部分から構成される。 2つの大規模OIQAデータベースで実施された実験は、提案モデルが他の最先端のOIQA指標より優れていることを示した。
  論文  参考訳（メタデータ） (2025-01-20T14:41:29Z)
• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Wait, that's not an option: LLMs Robustness with Incorrect Multiple-Choice Options [2.1184929769291294]
  本研究は,LLMの命令追従能力と批判的推論とのバランスを評価するための新しいフレームワークを提案する。 トレーニング後のアライメントモデルでは,無効なオプションの選択がデフォルトとなることが多いが,ベースモデルでは,モデルサイズに合わせてスケールするリファリング機能が改善されている。 さらに、同様の指示追従バイアスを示す並列人間の研究を行い、これらのバイアスがアライメントに使用される人間のフィードバックデータセットを通してどのように伝播するかを示唆した。
  論文  参考訳（メタデータ） (2024-08-27T19:27:43Z)
• A Trajectory-Based Bayesian Approach to Multi-Objective Hyperparameter Optimization with Epoch-Aware Trade-Offs [8.598456741786801]
  機械学習モデルのトレーニングには、本質的にリソース集約的でノイズの多い反復的な学習手順が含まれる。 本稿では,2つの特徴を特徴とするトラジェクトリベース多目的ベイズ最適化アルゴリズムを提案する。 実験により,提案アルゴリズムは,チューニング効率を向上しつつ,望ましいトレードオフを効果的に識別できることが示されている。
  論文  参考訳（メタデータ） (2024-05-24T07:43:45Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• FAS-UNet: A Novel FAS-driven Unet to Learn Variational Image Segmentation [3.741136641573471]
  本稿では,そのモデルとアルゴリズムを利用してマルチスケールの特徴を抽出する新しい変動モデルインフォームドネットワーク(FAS-Unet)を提案する。 提案するネットワークは,画像データと数理モデルを統合し,いくつかの畳み込みカーネルを学習して実装する。 実験結果から,提案するFAS-Unetは,定性的,定量的,モデル複雑度評価において,他の最先端手法と非常に競合することが示された。
  論文  参考訳（メタデータ） (2022-10-27T04:15:16Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Adaptive Sampling for Minimax Fair Classification [40.936345085421955]
  最適化の原理に基づく適応型サンプリングアルゴリズムを提案し,その性能に関する理論的境界を導出する。 特定の問題のクラスに対してアルゴリズム独立なローバウンドを導出することにより,適応スキームによる性能は一般に改善できないことを示した。
  論文  参考訳（メタデータ） (2021-03-01T04:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。