論文の概要: Trace and Edit Relation Associations in GPT
- arxiv url: http://arxiv.org/abs/2401.02976v1
- Date: Sat, 30 Dec 2023 21:04:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 09:32:28.821490
- Title: Trace and Edit Relation Associations in GPT
- Title(参考訳): GPTにおけるトレースと編集関係
- Authors: Jiahang Li, Taoyu Chen, Yuanli Wang
- Abstract要約: 本研究では,関係判断に対する言語モデル計算の影響を理解するための関係追跡手法を開発した。
提案手法は,新しいデータセット上でROMEに対して試験を行い,特異性と一般化のバランスが向上したことを示す。
- 参考スコア(独自算出の注目度): 1.3742950928229078
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study introduces a novel approach for analyzing and modifying entity
relationships in GPT models, diverging from ROME's entity-focused methods. We
develop a relation tracing technique to understand the influence of language
model computations on relationship judgments. Using the FewRel dataset, we
identify key roles of MLP modules and attention mechanisms in processing
relationship information. Our method, tested against ROME on a new dataset,
shows improved balance in specificity and generalization, underscoring the
potential of manipulating early-layer modules for enhanced model understanding
and accuracy.
- Abstract(参考訳): 本研究では,GPTモデルにおけるエンティティ関係を解析・修正するための新しいアプローチを提案する。
言語モデル計算が関係判断に与える影響を理解するための関係追跡手法を開発した。
FewRelデータセットを用いて,MLPモジュールの主要な役割と,関連情報処理におけるアテンション機構を同定する。
提案手法は, ROMEに対して新しいデータセットを用いて実験を行い, モデル理解と精度を高めるために, 初期層モジュールを操作する可能性を示す。
関連論文リスト
- Personalized Federated Learning with Contextual Modulation and
Meta-Learning [2.7716102039510564]
フェデレーション学習は、分散データソース上で機械学習モデルをトレーニングするための有望なアプローチとして登場した。
本稿では,フェデレートラーニングとメタラーニングを併用して,効率性と一般化能力を両立させる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-23T08:18:22Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - A Mechanistic Interpretation of Arithmetic Reasoning in Language Models
using Causal Mediation Analysis [128.0532113800092]
算数問題に対するトランスフォーマーに基づくLMの機械的解釈を提案する。
これにより、算術に関連する情報がLMによってどのように処理されるかについての洞察が得られる。
論文 参考訳(メタデータ) (2023-05-24T11:43:47Z) - SARF: Aliasing Relation Assisted Self-Supervised Learning for Few-shot
Relation Reasoning [43.59319243928048]
知識グラフ (FS-KGR) に基づく一括関係推論は, 長期データと不適切な関係を推定することを目的としている。
本稿では, Aliasing Relations を利用して, SARF と呼ばれる FS-KGR を支援する新しい自己教師付き学習モデルを提案する。
論文 参考訳(メタデータ) (2023-04-20T13:24:59Z) - Knowledge Relation Rank Enhanced Heterogeneous Learning Interaction
Modeling for Neural Graph Forgetting Knowledge Tracing [1.0152838128195467]
知識追跡モデルは 教育データマイニングに応用されています
ニューラルネットワークを用いた知識追跡(NGFKT)のための知識関係ランク強化不均質学習相互作用モデリングを提案する。
NGFKTモデルは、AUC、ACC、パフォーマンス安定性(PS)の観点から、すべてのベースラインモデルより優れていることを示す。
論文 参考訳(メタデータ) (2023-04-08T07:29:53Z) - Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。
本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。
損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
論文 参考訳(メタデータ) (2022-05-22T16:37:53Z) - Influence Tuning: Demoting Spurious Correlations via Instance
Attribution and Instance-Driven Updates [26.527311287924995]
インフルエンスチューニングは、データの急激なパターンからモデルを分解するのに役立ちます。
制御された設定では、インフルエンスチューニングは、データの急激なパターンからモデルを分解するのに役立ちます。
論文 参考訳(メタデータ) (2021-10-07T06:59:46Z) - Transforming Feature Space to Interpret Machine Learning Models [91.62936410696409]
この貢献は、特徴空間変換のレンズを通して機械学習モデルを解釈する新しいアプローチを提案する。
非条件的および条件付きポストホック診断ツールの拡張に使用できる。
提案手法の可能性を実証するために,46特徴のリモートセンシング土地被覆分類の事例研究を行った。
論文 参考訳(メタデータ) (2021-04-09T10:48:11Z) - Triplot: model agnostic measures and visualisations for variable
importance in predictive models that take into account the hierarchical
correlation structure [3.0036519884678894]
変数間の相関に関する情報を利用してモデル解析を支援する新しい手法を提案する。
ユーザが提案した変数群(アスペクト)と、自動的に決定される変数群(アスペクト)を解析する方法を紹介します。
また,可変グルーピングの階層構造を利用して高情報密度モデル可視化を行うtriplotという新しいタイプのモデル可視化手法を提案する。
論文 参考訳(メタデータ) (2021-04-07T21:29:03Z) - Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。
また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文 参考訳(メタデータ) (2020-12-01T11:46:03Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳(メタデータ) (2020-11-13T10:53:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。