論文の概要: Graph Property Inference in Small Language Models: Effects of Representation and Inference Strategy
- arxiv url: http://arxiv.org/abs/2603.06635v1
- Date: Tue, 24 Feb 2026 13:46:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-15 16:38:22.461241
- Title: Graph Property Inference in Small Language Models: Effects of Representation and Inference Strategy
- Title（参考訳）: 小言語モデルにおけるグラフ特性推論:表現と推論戦略の効果
- Authors: Michal Podstawski,
- Abstract要約: これらの構造がテキスト形式で提示されるとき、リレーショナル構造の形式的性質を効果的に推測できるかは不明だ。
小型言語モデルにおけるグラフ理論的特性推定の体系的研究を行う。
構造的性能は関係情報の整理方法に非常に敏感であることがわかった。
- 参考スコア（独自算出の注目度）: 0.48302896549293584
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent progress in language modeling has expanded the range of tasks that can be approached through natural language interfaces, including problems that require structured reasoning. However, it remains unclear how effectively limited-capacity language models can infer formal properties of relational structures when those structures are presented in textual form. Understanding the conditions under which structured reasoning succeeds or fails is essential for applying small models in graph-based domains. We conduct a systematic study of graph-theoretic property inference in small instruction-tuned language models, isolating the roles of input representation and reasoning strategy. Across a diverse set of local and global graph metrics, we find that structural performance is highly sensitive to how relational information is organized. Representations that preserve neighborhood structure consistently improve estimation stability and ordinal consistency, while multi-branch reasoning yields the most reliable aggregate gains across configurations. These results show that graph property inference in small language models depends critically on representational organization and inference design. Structural competence is therefore shaped not only by model scale, but by how relational information is encoded and how predictions are elicited. The findings identify practical levers for improving structured inference under constrained model capacity.
- Abstract（参考訳）: 言語モデリングの最近の進歩は、構造化推論を必要とする問題を含む自然言語インタフェースを通してアプローチできるタスクの範囲を広げている。
しかし、これらの構造がテキスト形式で提示されるとき、リレーショナル構造の形式的性質がどの程度効果的に推測できるかは定かではない。
構造化推論が成功したり失敗したりする条件を理解することは、グラフベースの領域で小さなモデルを適用するために不可欠である。
我々は,入力表現と推論戦略の役割を分離した,小さな命令付き言語モデルにおけるグラフ理論的特性推論の体系的研究を行う。
局所的およびグローバルなグラフのメトリクスの多種多様なセットにおいて、構造的性能は関係情報の整理方法に非常に敏感であることがわかった。
近傍構造を保存する表現は、推定安定性と順序整合性を一貫して改善する一方、マルチブランチ推論は構成全体で最も信頼性の高い集約ゲインをもたらす。
これらの結果から,小言語モデルにおけるグラフ特性の推測は,表現的構造や推論設計に大きく依存していることが示唆された。
したがって、構造的能力はモデルスケールだけでなく、リレーショナル情報がどのように符号化され、どのように予測が引き出されるかによって形成される。
その結果,制約付きモデルキャパシティ下での構造推論を改善するための実用的レバーが同定された。
関連論文リスト
- Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models [77.98801218316505]
大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。
テキスト内概念推論におけるLLMの内部処理について検討する。
論文 参考訳（メタデータ） (2026-02-08T03:14:39Z) - Schoenfeld's Anatomy of Mathematical Reasoning by Language Models [56.656180566692946]
我々は、Schoenfeldのエピソード理論を誘導型中間スケールレンズとして採用し、ThinkARM(モデルにおける推論の解剖学)を紹介する。
ThinkARMは、推論トレースを分析、探索、実装、検証などの機能的推論ステップに明示的に抽象化する。
エピソードレベルの表現は推論ステップを明確にし、現代の言語モデルにおける推論がどのように構造化され、安定化され、変更されるかの体系的な分析を可能にする。
論文 参考訳（メタデータ） (2025-12-23T02:44:25Z) - Structure-Aware Decoding Mechanisms for Complex Entity Extraction with Large-Scale Language Models [8.15127799301814]
本稿では,大規模言語モデルに基づく構造認識復号法を提案する。
ネストおよび重複するエンティティ抽出タスクにおいて、意味的整合性と構造的整合性の両方を維持することの難しさに対処する。
ACE 2005データセットで実施された実験では、精度、精度、リコール、F1-Scoreが大幅に改善された。
論文 参考訳（メタデータ） (2025-12-16T00:40:06Z) - Sequences of Logits Reveal the Low Rank Structure of Language Models [22.148282143726835]
本稿では,言語モデルの低次元構造をモデルに依存しないレベルで研究する手法を提案する。
われわれはまず,多種多様な現代言語モデルが低ランク構造を示すことを実証的に実証した。
そして、この低ランク構造を生成に活用できることが示される。
論文 参考訳（メタデータ） (2025-10-28T20:55:58Z) - Knowledge Graph-Infused Fine-Tuning for Structured Reasoning in Large Language Models [41.59092188743925]
知識グラフ注入に基づく微調整アルゴリズムフレームワークを提案する。
事前訓練された言語モデルに基づいて構築され、補助学習のための構造化グラフ情報を導入している。
構造的推論やエンティティ抽出を含むシナリオにおいて、セマンティック一貫性とコンテキスト論理モデリングがより優れていることを示す。
論文 参考訳（メタデータ） (2025-08-20T04:52:12Z) - A Markov Categorical Framework for Language Modeling [9.910562011343009]
自己回帰言語モデルは、優れたパフォーマンスを達成するが、内部メカニズム、訓練が表現をどのように形作り、複雑な振る舞いを可能にするかを説明する統一理論は、いまだ解明されていない。
本稿では,マルコフカテゴリーの言語を用いた情報処理段階の合成として,単一ステップ生成過程をモデル化する新しい分析フレームワークを提案する。
この研究は、モデルを通して情報がどのように流れ、訓練対象が内部形状をどう形成するかを理解するための強力な新しいレンズを提供する。
論文 参考訳（メタデータ） (2025-07-25T13:14:03Z) - Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。
局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。
この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
論文 参考訳（メタデータ） (2025-05-11T17:44:14Z) - Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部の動作や推論メカニズムを理解することは大きな課題である。
本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。
我々は、GPTのような生成モデルがCFG定義階層を正確に学習し、推論し、それに基づいて文を生成することを実証する。
論文 参考訳（メタデータ） (2023-05-23T04:28:16Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳（メタデータ） (2022-10-26T13:27:26Z) - TAGPRIME: A Unified Framework for Relational Structure Extraction [71.88926365652034]
TAGPRIMEは、与えられた条件に関する情報を入力テキストに追加するシーケンスタグ付けモデルである。
事前学習された言語モデルにおける自己認識機構により、プライミングワードは、出力された文脈化された表現に、与えられた条件に関するより多くの情報を含む。
5つの異なる言語にまたがる10のデータセットをカバーする3つのタスクに関する大規模な実験と分析は、TAGPRIMEの汎用性と有効性を示している。
論文 参考訳（メタデータ） (2022-05-25T08:57:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。