論文の概要: SAFT: Structure-Aware Fine-Tuning of LLMs for AMR-to-Text Generation

• arxiv url: http://arxiv.org/abs/2507.13381v1
• Date: Tue, 15 Jul 2025 18:12:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-21 20:43:26.053994
• Title: SAFT: Structure-Aware Fine-Tuning of LLMs for AMR-to-Text Generation
• Title（参考訳）: SAFT: AMR-to-Text 生成のためのLCMの構造を考慮した微細調整
• Authors: Rafiq Kamel, Filippo Guerranti, Simon Geisler, Stephan Günnemann,
• Abstract要約: SAFTは、事前訓練された言語モデルにグラフトポロジーを注入する構造対応の微調整手法である。 変換されたAMRの磁気ラプラシアンから方向感応的な位置エンコーディングを計算する。 SAFTはAMR 3.0に新しい最先端を設定、ベースラインを3.5BLEU改善した。
• 参考スコア（独自算出の注目度）: 50.277959544420455
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly applied to tasks involving structured inputs such as graphs. Abstract Meaning Representations (AMRs), which encode rich semantics as directed graphs, offer a rigorous testbed for evaluating LLMs on text generation from such structures. Yet, current methods often arbitrarily linearize AMRs, discarding key structural cues, or rely on architectures incompatible with standard LLMs. We introduce SAFT, a structure-aware fine-tuning approach that injects graph topology into pretrained LLMs without architectural changes. We compute direction-sensitive positional encodings from the magnetic Laplacian of transformed AMRs and project them into the embedding space of the LLM. While possibly applicable to any graph-structured inputs, we focus on AMR-to-text generation as a representative and challenging benchmark. SAFT sets a new state-of-the-art on AMR 3.0 with a 3.5 BLEU improvement over baselines. Gains scale with graph complexity, highlighting the value of structure-aware representations in enhancing LLM performance. SAFT offers a general and effective pathway for bridging structured data and language models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、グラフのような構造化された入力を含むタスクにますます適用されています。 AMR(Abstract Meaning Representations)は、リッチなセマンティクスを有向グラフとしてエンコードしたもので、そのような構造からテキスト生成上でLLMを評価するための厳密なテストベッドを提供する。 しかし、現在の手法はAMRを任意に線形化したり、キー構造を破棄したり、標準のLLMと互換性のないアーキテクチャに依存したりすることが多い。 アーキテクチャ変更なしに事前学習したLLMにグラフトポロジを注入する構造を意識した微調整手法であるSAFTを導入する。 変換AMRの磁気ラプラシアンの方向感応位置符号化を計算し,LLMの埋め込み空間に投影する。 グラフ構造化された入力に適用できる可能性があるが、AMR-to-text生成を代表的で挑戦的なベンチマークとして重視する。 SAFTはAMR 3.0に新しい最先端を設定、ベースラインを3.5BLEU改善した。 グラフの複雑さでスケールし、LLM性能を向上させる上で構造認識表現の価値を強調します。 SAFTは構造化データと言語モデルをブリッジするための汎用的で効果的な経路を提供する。

関連論文リスト

• Large Language Models are Good Relational Learners [55.40941576497973]
  本稿では,グラフニューラルネットワーク(GNN)に基づくエンコーダを用いて,大規模言語モデル(LLM)のための構造化リレーショナルプロンプトを生成する新しいアーキテクチャであるRel-LLMを紹介する。 従来のテキストベースのシリアライズ手法とは異なり,本手法はデータベース固有の関係構造を保ちながら,LLMが複雑なエンティティ関係を処理・推論することを可能にする。
  論文  参考訳（メタデータ） (2025-06-06T04:07:55Z)
• Abstractive Visual Understanding of Multi-modal Structured Knowledge: A New Perspective for MLLM Evaluation [48.462734327375536]
  MLLM(Multi-modal large language model)は、多種多様なシナリオやオブジェクトの包括的理解を可能にする。 MLLMの評価ベンチマークやリーダーボードの普及にもかかわらず、彼らはMLLMが視覚的に現れる構造化された抽象化で世界的知識を理解する上で重要な能力を見落としている。 構造化理解のためのマルチモーダルマップを基盤とした,革新的なベンチマークであるM3STRを提案する。 その結果,抽象的視覚情報を構造化知識で処理し,MLLMの総合的推論能力を向上させるための重要な軌道を図った。
  論文  参考訳（メタデータ） (2025-06-02T04:00:35Z)
• SR-LLM: Rethinking the Structured Representation in Large Language Model [25.876300810298797]
  本稿では,構造化表現を大規模言語モデルと統合する優れた方法を探るため,SR-LLMを提案する。 幅広い下流データセットでは、特にPAWSでは3.17%、12.38%のパフォーマンス向上が見られた。
  論文  参考訳（メタデータ） (2025-02-20T08:17:56Z)
• GraphICL: Unlocking Graph Learning Potential in LLMs through Structured Prompt Design [13.365623514253926]
  Graph In-Context Learning (GraphICL)ベンチマークは、グラフ構造をキャプチャし、限られたラベル知識を扱う新しいプロンプトテンプレートからなる包括的なベンチマークである。 システム評価の結果,GraphICLを用いた汎用LLMは,最先端の特殊グラフLLMやグラフニューラルネットワークモデルよりも優れていた。
  論文  参考訳（メタデータ） (2025-01-27T03:50:30Z)
• How to Make LLMs Strong Node Classifiers? [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• Enhancing LLM's Cognition via Structurization [41.13997892843677]
  大規模言語モデル(LLM)は因果的かつシーケンシャルな視点で入力コンテキストを処理する。 本稿では,コンテキスト構造化という新しい概念を提案する。 具体的には、平易で秩序のない文脈文を、適切に順序付けされ階層的に構造化された要素に変換する。
  論文  参考訳（メタデータ） (2024-07-23T12:33:58Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Disentangled Representation Learning with Large Language Models for Text-Attributed Graphs [57.052160123387104]
  本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。 提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。 実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-10-27T14:00:04Z)
• In-Context Retrieval-Augmented Language Models [28.23702459322163]
  In-Context RALMは市販の汎用検索機を利用して、モデルサイズや多様なコーパスに対して驚くほど大きなLMゲインを提供する。 In-Context RALM は LM の接地頻度を増大させる可能性があると結論付けている。
  論文  参考訳（メタデータ） (2023-01-31T20:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。