論文の概要: Relational Probing: LM-to-Graph Adaptation for Financial Prediction

• arxiv url: http://arxiv.org/abs/2604.10212v1
• Date: Sat, 11 Apr 2026 13:43:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.905278
• Title: Relational Probing: LM-to-Graph Adaptation for Financial Prediction
• Title（参考訳）: リレーショナル・プロービング:財務予測のためのLM-to-Graph適応
• Authors: Yingjie Niu, Changhong Jin, Rian Dolphin, Ruihai Dong,
• Abstract要約: 言語モデルは、テキスト内の金融エンティティ間の関係を識別するために使用することができる。 本稿では,標準言語モデルヘッドをリレーショナルグラフに置き換えるEmphRelational Probingを提案する。 言語モデルの出力はテキストを超えることができ、ダウンストリームモデルのタスク固有のフォーマットに変換できる。
• 参考スコア（独自算出の注目度）: 3.7582774908258294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models can be used to identify relationships between financial entities in text. However, while structured output mechanisms exist, prompting-based pipelines still incur autoregressive decoding costs and decouple graph construction from downstream optimization. We propose \emph{Relational Probing}, which replaces the standard language-model head with a relation head that induces a relational graph directly from language-model hidden states and is trained jointly with the downstream task model for stock-trend prediction. This approach both learns semantic representations and preserves the strict structure of the induced relational graph. It enables language-model outputs to go beyond text, allowing them to be reshaped into task-specific formats for downstream models. To enhance reproducibility, we provide an operational definition of small language models (SLMs): models that can be fine-tuned end-to-end on a single 24GB GPU under specified batch-size and sequence-length settings. Experiments use Qwen3 backbones (0.6B/1.7B/4B) as upstream SLMs and compare against a co-occurrence baseline. Relational Probing yields consistent performance improvements at competitive inference cost.
• Abstract（参考訳）: 言語モデルは、テキスト内の金融エンティティ間の関係を識別するために使用することができる。 しかし、構造化された出力機構はあるものの、プロンプトベースのパイプラインは依然として自己回帰的復号化コストを発生させ、下流最適化からグラフ構築を分離する。 本稿では,標準言語モデルヘッドを言語モデル隠れ状態から直接リレーショナルグラフを誘導するリレーショナルヘッドに置き換える「emph{relational Probing}」を提案する。 このアプローチは、意味表現を学習し、誘導された関係グラフの厳密な構造を保存する。 言語モデルの出力はテキストを超えることができ、ダウンストリームモデルのタスク固有のフォーマットに変換できる。 再現性を高めるために、我々は、特定のバッチサイズおよびシーケンス長設定の下で、単一の24GB GPU上で、エンドツーエンドで微調整可能な小型言語モデル(SLM)の運用定義を提供する。 実験では、Qwen3のバックボーン(0.6B/1.7B/4B)を上流SLMとして使用し、共起ベースラインと比較した。 リレーショナル・プロービングは競争力のある推論コストで一貫したパフォーマンス改善をもたらす。

関連論文リスト

• Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models [102.20309135516186]
  クロスエントロピー(CE)トレーニングは、言語モデルの密集したスケーラブルな監視を提供する。 言語モデル微調整のための特徴マッチング手法を提案する。 この目的を効率的に最適化するために,エネルギーベースファインチューニングを提案する。
  論文  参考訳（メタデータ） (2026-03-12T17:57:50Z)
• Instruction-Tuning Open-Weight Language Models for BPMN Model Generation [0.0]
  命令チューニングによって適応されたオープンウェイトな大規模言語モデルが高品質なBPMNプロセスモデルを生成することができるかどうかを検討する。 InstruBPMは、ペア化されたテキストダイアグラムデータを作成し、オープンソースの大規模言語モデルをチューニングする再現可能なアプローチである。 調整済みモデルと未調整のオープンウェイトベースラインと、一貫したプロンプトレジームの下で強力なプロプライエタリモデルを比較した。
  論文  参考訳（メタデータ） (2025-12-12T22:07:51Z)
• Context-level Language Modeling by Learning Predictive Context Embeddings [79.00607069677393]
  textbfContextLMは、固有のtextbfnext-context予測目標で標準事前学習を強化するフレームワークである。 このメカニズムは、将来のトークンチャンクから派生したエラー信号を利用して、マルチトークンコンテキストの予測表現を学ぶようモデルを訓練する。 GPT2およびPythiaモデルファミリーの実験では、1.5ドルBのパラメータまでスケールし、ContextLMがパープレキシティとダウンストリームのタスクパフォーマンスの両方で一貫した改善を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-23T07:09:45Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。