Fugu-MT 論文翻訳(概要): Leveraging Lora Fine-Tuning and Knowledge Bases for Construction Identification

論文の概要: Leveraging Lora Fine-Tuning and Knowledge Bases for Construction Identification

arxiv url: http://arxiv.org/abs/2601.13105v1
Date: Mon, 19 Jan 2026 14:43:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-21 22:47:22.933089
Title: Leveraging Lora Fine-Tuning and Knowledge Bases for Construction Identification
Title（参考訳）: 構造同定のためのロラ微調整と知識基盤の活用
Authors: Liu Kaipeng, Wu Ling,
Abstract要約: 本研究では,Leroをベースとした大規模言語モデルの微調整とRetrieval-Augmented Generationフレームワークを統合する。イギリス国定企業からの注釈付きデータに基づいて二分分類を行った。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This study investigates the automatic identification of the English ditransitive construction by integrating LoRA-based fine-tuning of a large language model with a Retrieval-Augmented Generation (RAG) framework.A binary classification task was conducted on annotated data from the British National Corpus. Results demonstrate that a LoRA-fine-tuned Qwen3-8B model significantly outperformed both a native Qwen3-MAX model and a theory-only RAG system. Detailed error analysis reveals that fine-tuning shifts the model's judgment from a surface-form pattern matching towards a more semantically grounded understanding based.
Abstract（参考訳）: 本研究では,LoRAに基づく大規模言語モデルの微調整をRAG(Retrieval-Augmented Generation)フレームワークに組み込むことにより,英語の2進的構造の自動識別について検討した。その結果,LoRA微調整Qwen3-8BモデルがネイティブQwen3-MAXモデルと理論のみのRAGシステムの両方で有意に優れていた。詳細なエラー解析により、微調整により、より意味論的に基礎付けられた理解に基づく表面形状のパターンマッチングから、モデルの判断が微調整されることが明らかになった。

関連論文リスト

Disco-RAG: Discourse-Aware Retrieval-Augmented Generation [81.53888908988756]
生成プロセスに談話信号を注入する談話認識フレームワークであるディスコRAGを提案する。提案手法は,チャンク内談話木を構築し,局所階層を捕捉し,クロスパスコヒーレンスをモデル化するためのチャンク間修辞グラフを構築する。質問応答と長期文書要約ベンチマークの実験から,提案手法の有効性が示された。
論文参考訳（メタデータ） (2026-01-07T20:32:50Z)
Supervised Contrastive Machine Unlearning of Background Bias in Sonar Image Classification with Fine-Grained Explainable AI [1.4610038284393168]
音響ソナー画像解析は、物体の検出と分類において重要な役割を果たす。高精度を実現する既存のAIモデルは、しばしば海底の特徴に過度に依存し、一般化が不十分になる。 i) 海底による背景バイアスを低減するために従来の三重項損失を拡大するTCUモジュール,(ii) 浮き彫りソナーフレームワーク(UESF) という2つの重要なモジュールを統合した新しいフレームワークを提案する。
論文参考訳（メタデータ） (2025-12-01T05:25:34Z)
Evaluating Embedding Generalization: How LLMs, LoRA, and SLERP Shape Representational Geometry [0.0]
本研究では,SLERPモデルがタスク固有適応によって導入された超特殊化を緩和する程度について検討する。モデルの4つのファミリを比較する: ゼロから訓練された非LLMエンコーダ、パラメータ係数法(LoRA)に適応したLLMベースのエンコーダ、LoRAを用いたLLMベースのエンコーダ、ベースウェイトにマージしたモデルスープ、および同じLoRA適応LLMはチェックポイントやステージをまたいだSLERPを用いてマージされる。
論文参考訳（メタデータ） (2025-11-16T17:28:06Z)
ORION Grounded in Context: Retrieval-Based Method for Hallucination Detection [2.2298542726382276]
幻覚検出の枠組みとして「文脈に囲む」がある。 RAGアーキテクチャにインスパイアされた本手法は,検索モデルとNLIモデルを統合し,実際の一貫性を予測する。本フレームワークは,RAGTruthの応答レベル分類タスクにおいて,F1スコア0.83の支持クレームを識別する。
論文参考訳（メタデータ） (2025-04-22T10:28:23Z)
The Scaling Law for LoRA Base on Mutual Information Upper Bound [16.527968425791393]
微調整では、モデル性能、モデルパラメータ、データ複雑性の法則がこの分野において問題となっている。そこで我々は,Mutual Information Upper Bound (MIUB) 理論に基づく内部メトリクスを提案し,大規模モデルLORAファインタニングのスケーリング法則について検討する。提案したMIUB測度は、クロスエントロピーやパープレキシティと比較して、ロラ微調整のスケーリング法則とより正確かつ安定に一致している。
論文参考訳（メタデータ） (2025-01-06T17:19:19Z)
A Comprehensive Evaluation and Analysis Study for Chinese Spelling Check [53.152011258252315]
音声とグラフィックの情報を合理的に使用することは,中国語のスペルチェックに有効であることを示す。モデルはテストセットのエラー分布に敏感であり、モデルの欠点を反映している。一般的なベンチマークであるSIGHANは、モデルの性能を確実に評価できない。
論文参考訳（メタデータ） (2023-07-25T17:02:38Z)
Rethinking Masked Language Modeling for Chinese Spelling Correction [70.85829000570203]
言語モデルと誤りモデルという2つの異なるモデルによる共同決定として,中国語のスペル補正(CSC)について検討する。細調整されたBERTは、言語モデルに不適合なままエラーモデルに過度に適合する傾向にあり、その結果、分布外エラーパターンへの一般化が不十分であることがわかった。微調整中に入力シーケンスから20%の非エラートークンをランダムにマスキングする非常に単純な戦略は、エラーモデルを犠牲にすることなく、はるかに優れた言語モデルを学ぶのに十分であることを示す。
論文参考訳（メタデータ） (2023-05-28T13:19:12Z)
Entailment Tree Explanations via Iterative Retrieval-Generation Reasoner [56.08919422452905]
我々はIRGR(Iterative Retrieval-Generation Reasoner)と呼ばれるアーキテクチャを提案する。本モデルでは,テキストの前提からステップバイステップの説明を体系的に生成することにより,与えられた仮説を説明することができる。前提条件の検索と細分化木の生成に関する既存のベンチマークを上回り、全体の正しさはおよそ300%向上した。
論文参考訳（メタデータ） (2022-05-18T21:52:11Z)
Ordinal-ResLogit: Interpretable Deep Residual Neural Networks for Ordered Choices [6.982614422666432]
我々は、完全に解釈可能なディープラーニングに基づく順序回帰モデルを開発する。市場シェア、代替パターン、弾力性の定式化が導出される。以上の結果から,Ordinal-ResLogitは従来の順序回帰モデルよりも優れていることがわかった。
論文参考訳（メタデータ） (2022-04-20T02:14:28Z)
Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
論文参考訳（メタデータ） (2020-05-06T01:51:30Z)
Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
論文参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。