論文の概要: Empirical influence functions to understand the logic of fine-tuning

• arxiv url: http://arxiv.org/abs/2406.00509v1
• Date: Sat, 1 Jun 2024 17:31:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 06:35:32.671785
• Title: Empirical influence functions to understand the logic of fine-tuning
• Title（参考訳）: 微調整の論理を理解するための経験的影響関数
• Authors: Jordan K. Matelsky, Lyle Ungar, Konrad P. Kording,
• Abstract要約: 微調整を用いて測定した経験的影響を用いて,個別のトレーニングサンプルがアウトプットに与える影響を実証する。 これらのデシダラタは、単純な畳み込みネットワークと現代のLLMの両方に違反していることを示す。 この結果から,一般的なモデルでは論理を一般化・実行できないことが示唆された。
• 参考スコア（独自算出の注目度）: 1.9116784879310031
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the process of learning in neural networks is crucial for improving their performance and interpreting their behavior. This can be approximately understood by asking how a model's output is influenced when we fine-tune on a new training sample. There are desiderata for such influences, such as decreasing influence with semantic distance, sparseness, noise invariance, transitive causality, and logical consistency. Here we use the empirical influence measured using fine-tuning to demonstrate how individual training samples affect outputs. We show that these desiderata are violated for both for simple convolutional networks and for a modern LLM. We also illustrate how prompting can partially rescue this failure. Our paper presents an efficient and practical way of quantifying how well neural networks learn from fine-tuning stimuli. Our results suggest that popular models cannot generalize or perform logic in the way they appear to.
• Abstract（参考訳）: ニューラルネットワークで学習するプロセスを理解することは、パフォーマンスを改善し、振る舞いを解釈するために不可欠である。 これは、モデルのアウトプットが、新しいトレーニングサンプルを微調整するときにどのように影響するかを尋ねることで、概ね理解できます。 意味的距離、スパース性、ノイズ不変性、推移的因果性、論理的一貫性による影響の減少など、このような影響に対するデシラタが存在する。 ここでは、微調整を用いて測定された経験的影響を用いて、個々のトレーニングサンプルが出力に与える影響を実証する。 これらのデシダラタは、単純な畳み込みネットワークと現代のLLMの両方に違反していることを示す。 また、この障害を部分的に解決する方法も説明します。 本稿では、ニューラルネットワークが微調整刺激からいかに学習するかを定量化する、効率的で実用的な方法を提案する。 この結果から,一般的なモデルでは論理を一般化・実行できないことが示唆された。

関連論文リスト

• How Do Training Methods Influence the Utilization of Vision Models? [23.41975772383921]
  すべての学習可能なパラメータが、ニューラルネットワークの決定関数に等しく寄与するわけではない。 アーキテクチャとタスクの複雑さがこの現象にどのように影響するかを調べる以前の研究を再考する。 本研究により, 学習手法は, 与えられた課題に対する決定関数にどの層が重要になるかに強く影響を与えることが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-18T13:54:46Z)
• Benchmark data to study the influence of pre-training on explanation performance in MR image classification [0.6927055673104934]
  CNNは頻繁に使われ、医療予測タスクでうまく使われている。 それらは転送学習と組み合わせて使われることが多く、タスクのトレーニングデータが不足するとパフォーマンスが向上する。 従来,XAI法における地中構造データに対する「説明性能」を定量的に評価することはめったにない。
  論文  参考訳（メタデータ） (2023-06-21T09:53:37Z)
• Adversarial Attacks on the Interpretation of Neuron Activation Maximization [70.5472799454224]
  アクティベーション最大化アプローチは、訓練されたディープラーニングモデルの解釈と解析に使用される。 本研究では,解釈を欺くためにモデルを操作する敵の概念を考察する。
  論文  参考訳（メタデータ） (2023-06-12T19:54:33Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Contrastive Reasoning in Neural Networks [26.65337569468343]
  因果クラス依存性を識別する機能に基づいて構築された推論は、フィードフォワード推論と呼ばれる。 本稿では,コントラスト推論の構造を形式化し,ニューラルネットワークのコントラスト概念を抽出する手法を提案する。 平均精度の3.47%、2.56%、5.48%の改善を報告することにより、歪み下での対比認識の価値を実証する。
  論文  参考訳（メタデータ） (2021-03-23T05:54:36Z)
• Recoding latent sentence representations -- Dynamic gradient-based activation modification in RNNs [0.0]
  RNNでは、サブオプティマティックな方法で情報をエンコーディングすることは、シーケンスの後の要素に基づいて表現の質に影響を与える可能性がある。 勾配に基づく補正機構を用いて,標準RNNへの拡張を提案する。 言語モデリングの文脈で異なる実験を行い、そのようなメカニズムを使うことによる影響を詳細に調べる。
  論文  参考訳（メタデータ） (2021-01-03T17:54:17Z)
• Efficient Estimation of Influence of a Training Instance [56.29080605123304]
  本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。 このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。 提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
  論文  参考訳（メタデータ） (2020-12-08T04:31:38Z)
• Loss Bounds for Approximate Influence-Based Abstraction [81.13024471616417]
  影響に基づく抽象化は、システムの残りの部分が与える「影響」とともに、局所的なサブプロブレムをモデル化することでレバレッジを得ることを目的としている。 本稿では,理論的観点から,そのような手法の性能について考察する。 交叉エントロピーで訓練されたニューラルネットワークは、近似的な影響表現を学習するのに適していることを示す。
  論文  参考訳（メタデータ） (2020-11-03T15:33:10Z)
• Explaining Black Box Predictions and Unveiling Data Artifacts through Influence Functions [55.660255727031725]
  影響関数は、影響力のあるトレーニング例を特定することによって、モデルの判断を説明する。 本稿では,代表課題における影響関数と共通単語順応法の比較を行う。 我々は,学習データ中の成果物を明らかにすることができる影響関数に基づく新しい尺度を開発した。
  論文  参考訳（メタデータ） (2020-05-14T00:45:23Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。