論文の概要: Improving LLM Predictions via Inter-Layer Structural Encoders

• arxiv url: http://arxiv.org/abs/2603.22665v1
• Date: Tue, 24 Mar 2026 00:37:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.231294
• Title: Improving LLM Predictions via Inter-Layer Structural Encoders
• Title（参考訳）: 層間構造エンコーダによるLCM予測の改善
• Authors: Tom Ulanovski, Eyal Blyachman, Maya Bechler-Speicher,
• Abstract要約: 層間構造学(ILSE)は、内部層表現から1つの効果的な表現を学ぶための強力な構造的アプローチである。 ケイリーエンコーダ(Cayley-Encoder)は、拡張子ケイリーグラフを有効活用し、層間情報伝達を行う数学的基底を持つ幾何学的エンコーダである。 ILSEはベースラインと既存のアプローチを一貫して上回り、正確性は最大44%向上し、類似度は25%向上した。
• 参考スコア（独自算出の注目度）: 3.3772986620114387
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The standard practice in Large Language Models (LLMs) is to base predictions on the final-layer token representations. Recent studies, however, show that intermediate layers encode substantial information, which may contain more task-relevant features than the final-layer representations alone. Importantly, it was shown that for different tasks, different layers may be optimal. In this work we introduce Inter-Layer Structural Encoders (ILSE), a powerful structural approach to learn one effective representation from the LLM's internal layer representations all together. Central to ILSE is Cayley-Encoder, a mathematically grounded geometric encoder that leverages expander Cayley graphs for efficient inter-layer information propagation. We evaluate ILSE across 13 classification and semantic similarity tasks with 9 pre-trained LLMs ranging from 14 million to 8 billion parameters. ILSE consistently outperforms baselines and existing approaches, achieving up to 44% improvement in accuracy and 25% in similarity metrics. We further show that ILSE is data-efficient in few-shot regimes and can make small LLMs competitive with substantially larger models.
• Abstract（参考訳）: LLM(Large Language Models)の標準的なプラクティスは、最終層のトークン表現に基づく予測である。 しかし,近年の研究では,中間層が重要な情報をエンコードしていることが示されている。 重要なことは、異なるタスクに対して異なるレイヤが最適であることを示している。 本研究では,ILSE (Inter-Layer Structure Encoders) を導入し,LLMの内部層表現から1つの効果的な表現を学習する。 ILSEの中心となるのがケイリーエンコーダ(Cayley-Encoder)である。 ILSEは13の分類および意味的類似性タスクにまたがって,1400万から80億のパラメータから9つの事前学習されたLLMを用いて評価した。 ILSEはベースラインと既存のアプローチを一貫して上回り、正確性は最大44%向上し、類似度は25%向上した。 さらに、ILSEは、数ショットのレギュレーションにおいてデータ効率が良く、より大規模なモデルと小さなLLMを競合させることができることを示す。

関連論文リスト

• Fine-R1: Make Multi-modal LLMs Excel in Fine-Grained Visual Recognition by Chain-of-Thought Reasoning [47.868429337792314]
  Fine-R1は、ファイングラインド視覚認識用に設計されたR1スタイルのMLLMである。 4ショットのトレーニングだけで、Fine-R1は既存のMLLMよりも優れており、MLLMの推論や、対照的なCLIPモデルも優れている。
  論文  参考訳（メタデータ） (2026-02-07T16:16:51Z)
• Pre-Trained LLM is a Semantic-Aware and Generalizable Segmentation Booster [18.666242153073476]
  CNNエンコーダ・デコーダ・セグメンテーション・フレームワーク(LLM4Seg)に事前学習した凍結LDM層を統合する単純なハイブリッド構造を提案する。 驚くべきことに、この設計は、超音波、皮膚内視鏡、ポリスコピー、CTスキャンなど、様々なモードでトレーニング可能なパラメータを最小限に増やすことで、セグメンテーション性能を向上させる。
  論文  参考訳（メタデータ） (2025-06-22T13:34:00Z)
• Multimodal Language Models See Better When They Look Shallower [54.5303326937134]
  マルチモーダル大言語モデル(MLLM)は、通常、事前訓練された視覚変換器(ViT)の最終層から視覚的特徴を抽出する。 MLLMの視覚層選択に関する最初の総合的研究を行い,VT層間の表現類似性を解析した。 我々は、深い層がOCRのようなセマンティックリッチなタスクに優れているのに対して、浅い層と中層の層は、きめ細かい視覚的なタスクでそれらを著しく上回っていることに気付きました。
  論文  参考訳（メタデータ） (2025-04-30T09:07:10Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale [66.73529246309033]
  MLLM(Multimodal large language model)は、多モーダルタスクにおいて大きな可能性を秘めている。 既存の命令チューニングデータセットは、中間的合理性のないフレーズレベルの答えのみを提供する。 そこで本研究では,大規模マルチモーダル・インストラクション・チューニング・データセットを構築するためのスケーラブルで費用対効果の高い手法を提案する。
  論文  参考訳（メタデータ） (2024-12-06T18:14:24Z)
• EchoAtt: Attend, Copy, then Adjust for More Efficient Large Language Models [29.57891007810509]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて優れた性能を示している。 本稿では,レイヤ間の注目パターンの類似性を解析し,活用することにより,トランスフォーマーベースモデルの最適化を目的とした,新しいフレームワークであるEchoAttを紹介する。 TinyLLaMA-1.1Bによる最良の結果は、EchoAttが推論速度を15%改善し、トレーニング速度を25%改善し、パラメータ数を約4%削減し、ゼロショット性能を改善したことを示している。
  論文  参考訳（メタデータ） (2024-09-22T21:08:37Z)
• Bridging LLMs and KGs without Fine-Tuning: Intermediate Probing Meets Subgraph-Aware Entity Descriptions [49.36683223327633]
  大規模言語モデル(LLM)は、幅広い世界の知識をカプセル化し、強力なコンテキストモデリング能力を示す。 実効的で効率的なKGCを実現するために,LLMの強みを頑健な知識表現と相乗化するための新しいフレームワークを提案する。 従来手法に比べて47%の相対的な改善を達成し,我々の知る限り,ファインチューニング LLM に匹敵する分類性能を初めて達成した。
  論文  参考訳（メタデータ） (2024-08-13T10:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。