基于隱式知識(shí)增強(qiáng)的KB-VQA知識(shí)檢索策略研究

摘要： 基于知識(shí)的視覺(jué)問(wèn)答(KB-VQA)不僅需要圖像信息和問(wèn)題信息，還需要從知識(shí)源中獲取到相關(guān)知識(shí)才能回答問(wèn)題?，F(xiàn)有方法通常使用檢索器從知識(shí)庫(kù)中檢索外部知識(shí)，或直接從大型模型中得到隱式知識(shí)，但依靠?jī)H有的圖文信息往往不足以支撐獲取相關(guān)知識(shí)。針對(duì)檢索階段的查詢和外部知識(shí)，提出了一種強(qiáng)化檢索策略。在查詢端，利用大模型中的隱式知識(shí)來(lái)增強(qiáng)現(xiàn)有的圖像和問(wèn)題信息，增強(qiáng)后的圖文信息可以幫助檢索器從知... （共12頁(yè)）