論文の概要: Modeling Nonlinear Feature Interactions with Product-Unit Residual Networks
- arxiv url: http://arxiv.org/abs/2606.06861v1
- Date: Fri, 05 Jun 2026 03:11:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-08 14:33:29.539516
- Title: Modeling Nonlinear Feature Interactions with Product-Unit Residual Networks
- Title(参考訳): 製品ユニット残余ネットワークによる非線形特徴相互作用のモデル化
- Abstract要約: 製品ユニット残基ネットワーク(PURe)は、乗法的積単位と残基接続を統合し、機能的結合を明示的にモデル化する。
相互作用駆動型合成ベンチマークと実世界の2つのデータセットの体系的評価を行う。
PUReは、競争力や性能の向上、低データのレシエーションにおけるロバスト性の向上、サンプル効率の向上、対話レベルの解釈性の向上を実現している。
- 参考スコア(独自算出の注目度): 0.9367224590861915
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding nonlinear feature interactions is crucial in science and engineering, yet standard multilayer perceptrons (MLPs) often capture such interactions only implicitly, leading to entangled representations that can impair robustness and interpretability. We investigate product-unit residual networks (PURe) that integrate multiplicative product units with residual connections to explicitly model cross-feature couplings while stabilizing optimization. We conduct a systematic evaluation on an interaction-driven synthetic benchmark and two real-world datasets, assessing predictive accuracy, robustness to Gaussian feature noise, and performance under limited training data, and we compare real- and complex-valued variants under a matched parameter budget. Beyond accuracy, SHapley Additive exPlanations (SHAP)-based interaction analyses show that PURe learns more concentrated and structurally coherent interaction patterns than MLP baselines. Overall, PURe achieves competitive or improved performance, better robustness and sample efficiency in low-data regimes, and enhanced interaction-level interpretability.
- Abstract(参考訳): 非線形な特徴的相互作用を理解することは科学や工学において重要であるが、標準的な多層パーセプトロン(MLP)はしばしばそのような相互作用を暗黙的に捉え、強靭性と解釈可能性に障害をもたらす。
本稿では,乗算積ユニットと残差接続を統合した製品ユニット残差ネットワーク(PURe)について検討し,最適化を安定化しつつ,機能間結合を明示的にモデル化する。
我々は,相互作用駆動型合成ベンチマークと実世界の2つのデータセットを体系的に評価し,予測精度,ガウス的特徴雑音に対する堅牢性,および限られたトレーニングデータに基づく性能を評価し,一致したパラメータ予算の下で実値と複素値の変種を比較した。
SHAP(SHapley Additive exPlanations)に基づく相互作用解析では、PUREはMLPベースラインよりも集中的で構造的に整合的な相互作用パターンを学習している。
PUReは、競争力や性能の向上、低データ状態におけるロバスト性の向上、サンプル効率の向上、相互作用レベルの解釈性の向上を実現している。
関連論文リスト
- A unified framework for global and local interpretability using adaptive derivative-ordered random explanation [2.6717072353469997]
複雑な機械学習モデルのポストホックな解釈性は、特に医療や金融といった現実世界のハイテイクな領域において、最重要事項である。
本稿では, 非線形モデル複雑度に対応するために, 1次導関数と2次導関数を利用する新しい手法であるAdaptive Derivative-Ordered Random Explanation (ADORE)を提案する。
ADOREは、グローバルな特徴とローカルなサンプルコントリビューションを統合し、大きさと方向の両方をキャプチャすることで、特徴の影響を正確に定量化する。
ランダム化特異値分解(SVD)と動的疎度検出によって計算効率を向上し、大規模で高次元のデータセットにスケーラブルにすることができる。
論文 参考訳(メタデータ) (2026-09-15T13:34:10Z) - Beyond Isolation: Unlocking Reinforcement Learning Component Synergy for Sample-Efficient Continuous Control [59.15149762610843]
強化学習システムは、他の機械学習パラダイムよりもはるかに複雑である。
個々のアルゴリズムコンポーネントの進歩にもかかわらず、それらの機能的相互依存性は未解明のままである。
モデルベース表現,最適化安定性,経験再現の3つの重要な次元を協調する RL フレームワーク ROSER を提案する。
論文 参考訳(メタデータ) (2026-08-07T10:38:31Z) - Graph Structured Combinatorial Semi-Bandit with Nonlinear Reward Associations through Separable Signals [9.51084845180104]
我々は,グラフに基づく因果報酬モデリングのためのルーチンを備えた,新しい汎用的かつ適応的な戦略を開発する。
時間的および時間的データボリュームの線形化に関する理論的性能保証を確立する。
我々は、ベンチマークされた合成データと実世界の輸送データの両方を用いて数値実験を行う。
論文 参考訳(メタデータ) (2026-06-12T17:11:56Z) - SMI: Efficient Self-Supervised Learning via Mutual-Information-Inspired Dependency Optimization [8.864968998286772]
自己教師付き学習(SSL)は、卓越した表現学習性能を達成した。
既存の多くのメソッドは、大きなバッチサイズ、メモリバンク、モーメントエンコーダ、あるいはグローバル同期機構に依存している。
本稿では,相互情報に触発された依存性の定式化から導かれる軽量な自己教師対象であるセマンティック・ミューチュアル・インフォメーション(SMI)を提案する。
論文 参考訳(メタデータ) (2026-06-06T20:50:04Z) - Joint Model and Data Sparsification via the Marginal Likelihood [53.29070892356214]
本稿では,個々の特徴とサンプルの相違点を同時学習し,同時にモデルとデータスペーシングを実現することを提案する。
このモデルとデータの対称的なプルーニングは、共役を保存する自然な拡張を提供する。
多様な回帰タスクにわたる経験的結果は、共同ARDアプローチがスパースモデルとロバスト予測モデルの両方を一貫して生成することを確認した。
論文 参考訳(メタデータ) (2026-05-28T13:26:53Z) - K-Models: a Flexible and Interpretable Method for Ordinal Clustering with Application to Antigen-Antibody Interaction Profiles [65.21921642886367]
K-Modelsは、順序的制約を統合し、観察された機能プロファイルを生成するランダムプロセスの基本的な要素を推定する新しいフレームワークである。
提案手法はシミュレーションと実世界の応用を通して評価する。
論文 参考訳(メタデータ) (2026-05-14T13:35:44Z) - Max-pooling Network Revisited: Analyzing the Role of Semantic Probability in Multiple Instance Learning for Hallucination Detection [31.935824861650005]
幻覚検出は、大規模言語モデルの信頼性を向上させるためにますます重要になっている。
近年,MIL(Multiple Instance Learning)による内部モデル状態とセマンティック一貫性を組み合わせたHaMIのようなハイブリッドアプローチが,最先端のパフォーマンスを実現している。
本研究では,まず,決定マージンの観点からHaMIの理論的解析を行い,内部状態を意味的整合性で拡張すると決定マージンが大きくなることを示した。
論文 参考訳(メタデータ) (2026-05-09T10:30:30Z) - Explainability of Complex AI Models with Correlation Impact Ratio [10.61008729196936]
複雑なAIシステムはより良い予測を行うが、透明性が欠如し、信頼性、解釈可能性、安全なデプロイメントが制限されることが多い。
ExCIR(Explainability through correlation Impact Ratio)は,モデル出力に対する入力特徴の寄与を説明するための理論的基礎とシンプルで信頼性の高い指標である。
我々は,ExCIRが軽量なシングルパスの定式化により,相関した特徴から生じる依存関係をキャプチャすることを示した。
論文 参考訳(メタデータ) (2026-01-10T21:56:24Z) - SCALAR: Self-Calibrating Adaptive Latent Attention Representation Learning [2.152549977410309]
複雑な特徴相互作用を持つ高次元ヘテロジニアスデータは、従来の予測モデリングアプローチに重大な課題をもたらす。
本アーキテクチャでは,異なる特徴群を個別に処理するアダプティブカーネルベースのアテンション機構を導入している。
実験結果は、さまざまなデータセットにわたる最先端の手法と比較して、パフォーマンス指標が大幅に改善されたことを示している。
論文 参考訳(メタデータ) (2025-10-18T12:41:18Z) - MaP: A Unified Framework for Reliable Evaluation of Pre-training Dynamics [72.00014675808228]
大規模言語モデルの不安定性評価プロセスは、真の学習力学を曖昧にする。
textbfMaPは、アンダーラインMergingアンダーラインとアンダーラインPass@kメトリックを統合するフレームワークです。
実験により、MaPはよりスムーズな性能曲線を示し、ラン間分散を低減し、より一貫性のあるランキングを保証する。
論文 参考訳(メタデータ) (2025-10-10T11:40:27Z) - Tuning for Trustworthiness -- Balancing Performance and Explanation Consistency in Neural Network Optimization [49.567092222782435]
我々は,異なる特徴帰属法間の合意として定義された,XAI整合性という新しい概念を紹介する。
予測性能と説明のバランスをとる多目的最適化フレームワークを構築した。
本研究は、トレードオフゾーンバランス性能損失とXAI整合性による強靭性向上のモデルについて、今後の研究基盤を提供する。
論文 参考訳(メタデータ) (2025-05-12T13:19:14Z) - iLOCO: Distribution-Free Inference for Feature Interactions [4.56754610152086]
我々は、ペアワイズな特徴相互作用の重要性を測定するための新しいモデルに依存しないメトリクスを開発した。
また,iLOCO距離と信頼区間を計算するためのアンサンブル学習手法を提案する。
我々は,iLOCO測定値と信頼区間を,合成データと実データの両方で検証する。
論文 参考訳(メタデータ) (2025-02-10T16:49:46Z) - Efficient and Interpretable Neural Networks Using Complex Lehmer Transform [11.095723123836965]
重み付きレーマー変換と呼ばれる新しい活性化関数を持つ効率的かつ解釈可能なニューラルネットワークを提案する。
実数値と複素数値の両方のリーマー活性化単位の数学的性質を解析する。
実験により,提案したニューラルネットワークがベンチマークデータセット上での競合精度を実現することを示す。
論文 参考訳(メタデータ) (2025-01-25T14:08:30Z) - Exploiting Structure in Offline Multi-Agent RL: The Benefits of Low Interaction Rank [52.831993899183416]
相互作用ランクという構造的仮定を導入し、相互作用ランクの低い関数が一般的なものよりも分布シフトに対して著しく堅牢であることを示す。
我々は,非正規化と非正規化学習と組み合わせることで,オフラインMARLにおける分散的,計算的,統計的に効率的な学習が可能であることを実証した。
論文 参考訳(メタデータ) (2024-10-01T22:16:22Z) - Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。
実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
論文 参考訳(メタデータ) (2020-07-30T05:48:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。