論文の概要: Towards LLM-guided Efficient and Interpretable Multi-linear Tensor Network Rank Selection

• arxiv url: http://arxiv.org/abs/2410.10728v1
• Date: Mon, 14 Oct 2024 17:09:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 19:55:21.241316
• Title: Towards LLM-guided Efficient and Interpretable Multi-linear Tensor Network Rank Selection
• Title（参考訳）: LLM誘導型効率的かつ解釈可能なマルチ線形テンソルネットワークランク選択に向けて
• Authors: Giorgos Iacovides, Wuyang Zhou, Danilo Mandic,
• Abstract要約: 本稿では,高次データ解析のためのテンソルネットワークモデルにおけるランク選択を導く新しいフレームワークを提案する。 LLMの本質的な推論能力とドメイン知識を利用することで、ランク選択の解釈可能性を高めることができる。 この研究は、大規模言語モデルと高次データ分析の交差点に置かれている。
• 参考スコア（独自算出の注目度）: 2.06242362470764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel framework that leverages large language models (LLMs) to guide the rank selection in tensor network models for higher-order data analysis. By utilising the intrinsic reasoning capabilities and domain knowledge of LLMs, our approach offers enhanced interpretability of the rank choices and can effectively optimise the objective function. This framework enables users without specialised domain expertise to utilise tensor network decompositions and understand the underlying rationale within the rank selection process. Experimental results validate our method on financial higher-order datasets, demonstrating interpretable reasoning, strong generalisation to unseen test data, and its potential for self-enhancement over successive iterations. This work is placed at the intersection of large language models and higher-order data analysis.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)を活用してテンソルネットワークモデルにおけるランク選択を高次データ解析に導く新しいフレームワークを提案する。 LLMの本質的な推論能力とドメイン知識を利用することで、ランク選択の解釈可能性を高め、目的関数を効果的に最適化することができる。 このフレームワークにより、ドメインの専門知識のないユーザは、テンソルネットワークの分解を利用して、ランク選択プロセスの根底にある根拠を理解することができる。 実験により,提案手法を財務上の高次データセット上で検証し,解釈可能な推論,未確認テストデータへの強い一般化,連続反復による自己改善の可能性を示した。 この研究は、大規模言語モデルと高次データ分析の交差点に置かれている。

関連論文リスト

• Online Preference Alignment for Language Models via Count-based Exploration [46.46627519343809]
  Reinforcement Learning from Human Feedback (RLHF)は、人間の好みに合わせて微調整された大規模言語モデル(LLM)に大きな可能性を示している。 既存のメソッドは、データカバレッジに制限のある、固定データセットからの好みのアライメントを実行する。 オンラインRLHFは、プロンプト-レスポンスペアを反復的に収集することで、LLMが初期データセットのサポートの外部を探索できるようにするのが望ましい。
  論文  参考訳（メタデータ） (2025-01-22T09:12:09Z)
• AltFS: Agency-light Feature Selection with Large Language Models in Deep Recommender Systems [43.279297619296635]
  ディープレコメンデータシステムのためのエージェントライト特徴選択手法であるAltFSを提案する。 本稿では,ディープレコメンデータシステムのためのエージェントライト特徴選択手法であるAltFSを提案する。
  論文  参考訳（メタデータ） (2024-12-11T16:28:18Z)
• How to Make LLMs Strong Node Classifiers? [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• The Truth is in There: Improving Reasoning in Language Models with Layer-Selective Rank Reduction [22.659005954676598]
  重み行列の高次成分を選択的に除去することにより,大規模言語モデルの性能を大幅に向上させることができることを示す。 LAER(Layer-Selective Rank reduction)と呼ばれるこの単純な介入は、トレーニングが完了した後、モデル上で行うことができる。 言語モデルとデータセットにまたがって、この発見の汎用性を実証する広範な実験を示す。
  論文  参考訳（メタデータ） (2023-12-21T03:51:08Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。