論文の概要: Exploring Cross-model Neuronal Correlations in the Context of Predicting Model Performance and Generalizability
- arxiv url: http://arxiv.org/abs/2408.08448v3
- Date: Tue, 27 Aug 2024 09:04:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-28 18:28:54.314764
- Title: Exploring Cross-model Neuronal Correlations in the Context of Predicting Model Performance and Generalizability
- Title(参考訳): 予測モデル性能と一般化可能性の文脈におけるクロスモデル神経相関の探索
- Authors: Haniyeh Ehsani Oskouie, Lionel Levine, Majid Sarrafzadeh,
- Abstract要約: 本稿では,新しいモデルを用いたモデルの性能評価手法を提案する。
提案手法は,1つのネットワーク内の各ニューロンに対して,類似の出力を生成する他のネットワークにニューロンが存在するかどうかを判定することにより相関性を評価する。
- 参考スコア(独自算出の注目度): 2.6708879445664584
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As Artificial Intelligence (AI) models are increasingly integrated into critical systems, the need for a robust framework to establish the trustworthiness of AI is increasingly paramount. While collaborative efforts have established conceptual foundations for such a framework, there remains a significant gap in developing concrete, technically robust methods for assessing AI model quality and performance. A critical drawback in the traditional methods for assessing the validity and generalizability of models is their dependence on internal developer datasets, rendering it challenging to independently assess and verify their performance claims. This paper introduces a novel approach for assessing a newly trained model's performance based on another known model by calculating correlation between neural networks. The proposed method evaluates correlations by determining if, for each neuron in one network, there exists a neuron in the other network that produces similar output. This approach has implications for memory efficiency, allowing for the use of smaller networks when high correlation exists between networks of different sizes. Additionally, the method provides insights into robustness, suggesting that if two highly correlated networks are compared and one demonstrates robustness when operating in production environments, the other is likely to exhibit similar robustness. This contribution advances the technical toolkit for responsible AI, supporting more comprehensive and nuanced evaluations of AI models to ensure their safe and effective deployment. Code is available at https://github.com/aheldis/Cross-model-correlation.git.
- Abstract(参考訳): 人工知能(AI)モデルが重要なシステムに統合されるにつれて、AIの信頼性を確立するための堅牢なフレームワークの必要性がますます高まっている。
共同作業はそのようなフレームワークの概念的な基盤を確立してきましたが、AIモデルの品質とパフォーマンスを評価する技術的に堅牢な方法を開発する上で、依然として大きなギャップがあります。
モデルの妥当性と一般化性を評価する従来の方法における重大な欠点は、内部の開発者データセットに依存していることだ。
本稿では,ニューラルネットワーク間の相関関係を計算し,他の既知のモデルに基づく新たなトレーニングモデルの性能評価手法を提案する。
提案手法は,1つのネットワーク内の各ニューロンに対して,類似の出力を生成する他のネットワークにニューロンが存在するかどうかを判定することにより相関性を評価する。
このアプローチはメモリ効率に影響を及ぼし、異なるサイズのネットワーク間で高い相関関係が存在する場合、より小さなネットワークを使用することができる。
さらに、本手法はロバスト性に関する洞察を提供し、2つの高相関ネットワークを比較し、本番環境で運用する場合にロバスト性を示すとすると、他方も同様のロバスト性を示す可能性が高いことを示唆している。
このコントリビューションは、責任あるAIのための技術ツールキットを推進し、より包括的でニュアンスなAIモデルの評価をサポートし、安全で効果的なデプロイメントを保証する。
コードはhttps://github.com/aheldis/Cross-model-correlation.gitで公開されている。
関連論文リスト
- SynthTree: Co-supervised Local Model Synthesis for Explainable Prediction [15.832975722301011]
本稿では,最小限の精度で説明可能性を向上させる手法を提案する。
我々は,AI技術を利用してノードを推定する新しい手法を開発した。
我々の研究は、統計的方法論が説明可能なAIを前進させる上で重要な役割を担っている。
論文 参考訳(メタデータ) (2024-06-16T14:43:01Z) - LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。
全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。
提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
論文 参考訳(メタデータ) (2024-05-23T11:10:32Z) - A Framework for Strategic Discovery of Credible Neural Network Surrogate Models under Uncertainty [0.0]
本研究では,Occam Plausibility Algorithm for surrogate model (OPAL-surrogate)を提案する。
OPAL-surrogateは、予測ニューラルネットワークベースのサロゲートモデルを明らかにするための、体系的なフレームワークを提供する。
モデルの複雑さ、正確性、予測の不確実性の間のトレードオフをバランスさせる。
論文 参考訳(メタデータ) (2024-03-13T18:45:51Z) - On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model,
Data, and Training [109.9218185711916]
アスペクトベースの感情分析(ABSA)は、ソーシャルメディアのテキストやレビューの背後にある製品やサービスの特定の側面に対して、特定の感情の極性を自動的に推測することを目的としている。
我々は、モデル、データ、トレーニングを含むあらゆる可能な角度からボトルネックを体系的に再考することで、ABSAの堅牢性を高めることを提案する。
論文 参考訳(メタデータ) (2023-04-19T11:07:43Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳(メタデータ) (2022-06-26T16:00:22Z) - Federated Learning with Unreliable Clients: Performance Analysis and
Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。
しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。
クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文 参考訳(メタデータ) (2021-05-10T08:02:27Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳(メタデータ) (2021-02-27T03:17:20Z) - Firearm Detection via Convolutional Neural Networks: Comparing a
Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。
これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。
従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文 参考訳(メタデータ) (2020-12-17T15:19:29Z) - Learning Queuing Networks by Recurrent Neural Networks [0.0]
データから性能モデルを導出する機械学習手法を提案する。
我々は、通常の微分方程式のコンパクトな系の観点から、それらの平均力学の決定論的近似を利用する。
これにより、ニューラルネットワークの解釈可能な構造が可能になり、システム測定からトレーニングしてホワイトボックスパラメータ化モデルを生成することができる。
論文 参考訳(メタデータ) (2020-02-25T10:56:47Z) - Semi-Structured Distributional Regression -- Extending Structured
Additive Models by Arbitrary Deep Neural Networks and Data Modalities [0.0]
本稿では、構造化回帰モデルとディープニューラルネットワークを統合ネットワークアーキテクチャに結合する一般的なフレームワークを提案する。
数値実験において,本フレームワークの有効性を実証し,ベンチマークや実世界の応用において,そのメリットを実証する。
論文 参考訳(メタデータ) (2020-02-13T21:01:26Z) - Feature Importance Estimation with Self-Attention Networks [0.0]
ブラックボックスニューラルネットワークモデルは、産業や科学で広く使われているが、理解と解釈が難しい。
近年,ニューラルネットワークモデルの内部動作に関する洞察を提供するアテンションメカニズムが導入されている。
本稿では、命題(タブラル)データから得られたモデルを説明する手段として、注目に基づくニューラルネットワーク機構を用いて特徴重要度を推定する。
論文 参考訳(メタデータ) (2020-02-11T15:15:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。