論文の概要: G-Loss: Graph-Guided Fine-Tuning of Language Models

• arxiv url: http://arxiv.org/abs/2604.25853v2
• Date: Mon, 04 May 2026 01:35:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 14:09:06.901295
• Title: G-Loss: Graph-Guided Fine-Tuning of Language Models
• Title（参考訳）: G-Loss: グラフガイドによる言語モデルの微調整
• Authors: Aditya Sharma, Vinti Agarwal, Rajesh Kumar,
• Abstract要約: 本稿では,グラフ誘導損失関数であるG-Lossについて述べる。 G-Lossは、グローバルな意味関係をキャプチャする文書類似性グラフを構築し、それによってモデルをより差別的で堅牢な埋め込み学習へと導く。 実験的なセットアップの大多数では、G-Lossはより早く収束し、意味的にコヒーレントな埋め込み空間を生成するため、従来の損失関数を微調整したモデルよりも高い分類精度が得られる。
• 参考スコア（独自算出の注目度）: 4.192786314979423
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional loss functions, including cross-entropy, contrastive, triplet, and su pervised contrastive losses, used for fine-tuning pre-trained language models such as BERT, operate only within local neighborhoods and fail to account for the global semantic structure. We present G-Loss, a graph-guided loss function that incorporates semi-supervised label propagation to use structural relationships within the embedding manifold. G-Loss builds a document-similarity graph that captures global semantic relationships, thereby guiding the model to learn more discriminative and robust embeddings. We evaluate G-Loss on five benchmark datasets covering key downstream classification tasks: MR (sentiment analysis), R8 and R52 (topic categorization), Ohsumed (medical document classification), and 20NG (news categorization). In the majority of experimental setups, G-Loss converges faster and produces semantically coherent embedding spaces, resulting in higher classification accuracy than models fine-tuned with traditional loss functions.
• Abstract（参考訳）: クロスエントロピー、コントラスト、三重項、Suといった伝統的な損失関数は、BERTのような微調整済みの言語モデルに使われ、局所的にのみ機能し、グローバルな意味構造を説明できない。 本稿では,グラフ誘導損失関数であるG-Lossについて述べる。 G-Lossは、グローバルな意味関係をキャプチャする文書類似性グラフを構築し、それによってモデルをより差別的で堅牢な埋め込み学習へと導く。 G-Lossは、MR(知覚分析)、R8およびR52(トピック分類)、Ohsumed(医学文書分類)、20NG(新規分類)の5つの下流分類タスクをカバーする。 実験的なセットアップの大多数では、G-Lossはより早く収束し、意味的にコヒーレントな埋め込み空間を生成するため、従来の損失関数を微調整したモデルよりも高い分類精度が得られる。

関連論文リスト

• Semantic Refinement with LLMs for Graph Representations [37.72134125261354]
  グラフ表現学習のためのデータ適応セマンティック・リファインメントフレームワークDASを提案する。 我々は、テキストリッチグラフとテキストフリーグラフの両方に対するアプローチを評価した。 結果は、セマンティクスに富むグラフに競争力を維持しながら、構造支配グラフに対して一貫した改善を示す。
  論文  参考訳（メタデータ） (2025-12-24T11:10:28Z)
• Enhancing Fairness in Autoencoders for Node-Level Graph Anomaly Detection [3.487370856323828]
  グラフ異常検出(GAD)は、様々な領域でますます重要になっている。 しかし、GADの公平性に関する考察はいまだに過小評価されている。 我々は,GAD性能を維持しながらバイアスを軽減するフレームワークであるtextbfDistextbfEntangled textbfCounterfactual textbfAdversarial textbfFair (DECAF)-GADを提案する。
  論文  参考訳（メタデータ） (2025-08-14T16:12:15Z)
• Understanding the Effect of GCN Convolutions in Regression Tasks [8.299692647308323]
  グラフ畳み込みネットワーク(GCN)は、グラフ上の関数をモデル化する機械学習において重要な手法となっている。 グラフ構造が近隣ノードに類似した信号を示すことを示すネットワークを考える。 一般的な2つの畳み込み(元のGCNとGraphSAGEの畳み込み)が学習エラーにどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2024-10-26T04:19:52Z)
• When Witnesses Defend: A Witness Graph Topological Layer for Adversarial Graph Learning [19.566775406771757]
  計算トポロジー、すなわちグラフの永続的ホモロジー表現から生まれたツールで、逆グラフ学習を橋渡しする。 グラフ上の逆解析に証人複体の概念を導入し、グラフの健全な形状特性にのみ焦点をあてる。 6つのデータセットにわたる実験により、Witness Graph Topological Layerは、さまざまな摂動や、さまざまな敵攻撃に対して、GNNの堅牢性を高めます。
  論文  参考訳（メタデータ） (2024-09-21T14:53:32Z)
• Graph Classification via Reference Distribution Learning: Theory and Practice [24.74871206083017]
  グラフ参照分布学習(GRDL, Graph Reference Distribution Learning)は, グラフの効率的な分類法である。 GRDLはGNN層によって与えられるグラフの潜在ノード埋め込みを離散分布として扱い、グローバルプールなしで直接分類できる。 中規模および大規模グラフデータセットの実験は、GRDLが最先端よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-08-21T06:42:22Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• OrthoReg: Improving Graph-regularized MLPs via Orthogonality Regularization [66.30021126251725]
  グラフニューラルネットワーク(GNN)は現在、グラフ構造データのモデリングにおいて支配的である。 グラフ正規化ネットワーク(GR-MLP)はグラフ構造情報をモデル重みに暗黙的に注入するが、その性能はほとんどのタスクにおいてGNNとほとんど一致しない。 GR-MLPは,最大数個の固有値が埋め込み空間を支配する現象である次元崩壊に苦しむことを示す。 次元崩壊問題を緩和する新しいGR-MLPモデルであるOrthoRegを提案する。
  論文  参考訳（メタデータ） (2023-01-31T21:20:48Z)
• Generalizing Graph Neural Networks on Out-Of-Distribution Graphs [51.33152272781324]
  トレーニンググラフとテストグラフの分散シフトを考慮せずにグラフニューラルネットワーク(GNN)を提案する。 このような環境では、GNNは、たとえ素早い相関であるとしても、予測のためのトレーニングセットに存在する微妙な統計的相関を利用する傾向がある。 本稿では,スプリアス相関の影響を排除するため,StableGNNと呼ばれる一般的な因果表現フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-20T18:57:18Z)
• Learning the Implicit Semantic Representation on Graph-Structured Data [57.670106959061634]
  グラフ畳み込みネットワークにおける既存の表現学習手法は主に、各ノードの近傍を知覚全体として記述することで設計される。 本稿では,グラフの潜在意味パスを学習することで暗黙的な意味を探索する意味グラフ畳み込みネットワーク(sgcn)を提案する。
  論文  参考訳（メタデータ） (2021-01-16T16:18:43Z)
• Embedding Graph Auto-Encoder for Graph Clustering [90.8576971748142]
  グラフ自動エンコーダ(GAE)モデルは、半教師付きグラフ畳み込みネットワーク(GCN)に基づく 我々は、グラフクラスタリングのための特定のGAEベースのモデルを設計し、その理論、すなわち、埋め込みグラフオートエンコーダ(EGAE)と整合する。 EGAEは1つのエンコーダと2つのデコーダで構成される。
  論文  参考訳（メタデータ） (2020-02-20T09:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。