論文の概要: RoD-TAL: A Benchmark for Answering Questions in Romanian Driving License Exams

• arxiv url: http://arxiv.org/abs/2507.19666v1
• Date: Fri, 25 Jul 2025 20:40:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:55.88563
• Title: RoD-TAL: A Benchmark for Answering Questions in Romanian Driving License Exams
• Title（参考訳）: RoD-TAL:ルーマニアの運転免許試験で疑問に答えるベンチマーク
• Authors: Andrei Vlad Man, Răzvan-Alexandru Smădu, Cristian-George Craciun, Dumitru-Clementin Cercel, Florin Pop, Mihaela-Claudia Cercel,
• Abstract要約: 我々は,ルーマニアの運転法則の理解と推論において,Large Language Models (LLMs) とVision-Language Models (VLMs) の能力を評価することを目的とする。 これを容易にするために,ルーマニアの運転試験質問,テキストベース,画像ベースからなる新しいマルチモーダルデータセットであるRoD-TALを紹介した。 我々は、情報検索(IR)、質問回答(QA)、ビジュアルIR、ビジュアルQAを含むタスクにまたがって、検索拡張生成(RAG)パイプライン、高密度検索、推論最適化モデルを実装し、評価する。
• 参考スコア（独自算出の注目度）: 1.7500335853294604
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The intersection of AI and legal systems presents a growing need for tools that support legal education, particularly in under-resourced languages such as Romanian. In this work, we aim to evaluate the capabilities of Large Language Models (LLMs) and Vision-Language Models (VLMs) in understanding and reasoning about Romanian driving law through textual and visual question-answering tasks. To facilitate this, we introduce RoD-TAL, a novel multimodal dataset comprising Romanian driving test questions, text-based and image-based, alongside annotated legal references and human explanations. We implement and assess retrieval-augmented generation (RAG) pipelines, dense retrievers, and reasoning-optimized models across tasks including Information Retrieval (IR), Question Answering (QA), Visual IR, and Visual QA. Our experiments demonstrate that domain-specific fine-tuning significantly enhances retrieval performance. At the same time, chain-of-thought prompting and specialized reasoning models improve QA accuracy, surpassing the minimum grades required to pass driving exams. However, visual reasoning remains challenging, highlighting the potential and the limitations of applying LLMs and VLMs to legal education.
• Abstract（参考訳）: AIと法体系の交差は、法律教育、特にルーマニア語のような未公開言語において、法的教育をサポートするツールの必要性が高まっていることを示している。 本研究では,大規模言語モデル (LLMs) と視覚言語モデル (VLMs) のルーマニアの運転法について,テキストおよび視覚的質問応答タスクによる理解と推論の能力を評価することを目的とする。 これを容易にするために,ルーマニアの運転試験質問,テキストベース,画像ベースからなる新しいマルチモーダルデータセットであるRoD-TALを紹介した。 我々は、情報検索(IR)、質問回答(QA)、ビジュアルIR、ビジュアルQAを含むタスクにまたがって、検索拡張生成(RAG)パイプライン、高密度検索、推論最適化モデルを実装し、評価する。 実験により,ドメイン固有の微調整は検索性能を大幅に向上させることが示された。 同時に、チェーン・オブ・シグネリングや特別な推論モデルによってQAの精度が向上し、運転試験に合格するために必要な最低等級を超えた。 しかし、視覚的推論は依然として困難であり、法的教育にLLMとVLMを適用する可能性と限界を強調している。

関連論文リスト

• VLQA: The First Comprehensive, Large, and High-Quality Vietnamese Dataset for Legal Question Answering [4.546567493379192]
  ベトナムの法律ドメインに適した包括的で高品質なリソースであるVLQAデータセットを紹介した。 また、データセットの包括的統計分析を行い、その有効性を評価する。
  論文  参考訳（メタデータ） (2025-07-26T16:26:50Z)
• MateInfoUB: A Real-World Benchmark for Testing LLMs in Competitive, Multilingual, and Multimodal Educational Tasks [0.0]
  本研究では, バイリンガル (英語-ルーマニア語) マルチモーダル (テキストと画像) による複数質問のデータセットを提案する。 我々のデータセットの特長は、問題のいくつかが論文の推論で簡単に解けるように考えられているのに対して、他の方法ではより効率的であることです。
  論文  参考訳（メタデータ） (2025-07-03T20:43:28Z)
• Natural Language Understanding and Inference with MLLM in Visual Question Answering: A Survey [17.33078069581465]
  VQA(Visual Question Answering)は、自然言語処理とコンピュータビジョン技術を組み合わせた課題である。 この調査は、画像とテキストの自然言語理解の最新の合成を提供する。
  論文  参考訳（メタデータ） (2024-11-26T16:21:03Z)
• Natural Language Processing for the Legal Domain: A Survey of Tasks, Datasets, Models, and Challenges [7.767611860493713]
  本調査は,手動フィルタリング後の131項目を最終選択した154の研究をレビューし,システムレビューおよびメタ分析フレームワークの優先報告項目に従う。 法律分野におけるNLPに関する基礎概念を探求し、法律文書の処理の独特な側面と課題を詳述する。 本稿では, 文書要約, エンティティ認識, 質問回答, 議論マイニング, テキスト分類, 判断予測など, 法的テキストに特有のNLPタスクの概要について述べる。
  論文  参考訳（メタデータ） (2024-10-25T01:17:02Z)
• Benchmarking Large Language Models for Conversational Question Answering in Multi-instructional Documents [61.41316121093604]
  対話型質問応答(CQA)の文脈における大規模言語モデル(LLM)を評価するための新しいベンチマークであるInsCoQAを提案する。 InsCoQAは、百科事典スタイルの教育内容から派生したもので、複数の文書から手続き的ガイダンスを抽出し、解釈し、正確に要約する能力のモデルを評価する。 また,LLM支援型評価器であるInsEvalを提案する。
  論文  参考訳（メタデータ） (2024-10-01T09:10:00Z)
• Retrieval Meets Reasoning: Even High-school Textbook Knowledge Benefits Multimodal Reasoning [49.3242278912771]
  RMR(Retrieval Meets Reasoning)と呼ばれる新しいマルチモーダルRAGフレームワークについて紹介する。 RMRフレームワークは、最も関連性の高い問合せ対を特定するために、バイモーダル検索モジュールを使用する。 これは、ベンチマークデータセットのスペクトルにわたって様々なビジョン言語モデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-05-31T14:23:49Z)
• Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
  大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。 質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。 我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
  論文  参考訳（メタデータ） (2024-05-26T22:30:29Z)
• A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
  大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。 Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。 RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
  論文  参考訳（メタデータ） (2024-05-10T02:48:45Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• RAG and RAU: A Survey on Retrieval-Augmented Language Model in Natural Language Processing [0.2302001830524133]
  本稿では,検索言語モデル (RALM) に関する総合的な概要の欠如について論じる。 本稿では、Retrievers、Language Models、Augmentationsなど、ALMの本質的なコンポーネントについて論じる。 RALMは、翻訳や対話システムから知識集約アプリケーションまで、様々なタスクにおいて有用性を示す。
  論文  参考訳（メタデータ） (2024-04-30T13:14:51Z)
• Towards Complex Document Understanding By Discrete Reasoning [77.91722463958743]
  VQA(Document Visual Question Answering)は、自然言語による質問に答えるために、視覚的に豊富なドキュメントを理解することを目的としている。 我々は3,067の文書ページと16,558の質問応答ペアからなる新しいドキュメントVQAデータセットTAT-DQAを紹介する。 我々は,テキスト,レイアウト,視覚画像など,多要素の情報を考慮に入れたMHSTという新しいモデルを開発し,異なるタイプの質問にインテリジェントに対処する。
  論文  参考訳（メタデータ） (2022-07-25T01:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。