【本站讯】水下场景观测解析是海洋科学研究的重要组成部分，水下光学影像的智能理解对海洋认知探索与海洋资源可持续开发利用具有重要支撑作用。受水体吸收散射效应影响，水下影像普遍存在色彩畸变、细节衰减、场景复杂多变等问题，水下影像语义描述面临基准缺失、特征表征能力不足、跨区域语义认知困难等多重技术瓶颈。开展大模型赋能的水下光学影像智能解析研究，可为水域环境智能化分析提供关键技术基础，对推动海洋观测智能化发展具有重要现实意义。

针对水下光学影像语义描述领域缺少统一评测基准、公开数据集匮乏的行业痛点，我校任鹏教授团队系统剖析水下光学影像语义描述任务独有的难点与挑战，构建国际首个水下光学影像语义描述基准模型框架，同步发布该领域标准公开数据集。该成果填补了领域基准资源的空白，为后续相关算法研究提供统一基线平台。

在基准体系的基础上，团队面向水下影像语义表达精度不足的难题，创新提出视觉‑文本多模态特征融合方法。该方法借助CLIP模型完成与图像对齐的文本精确编码，利用两级聚类充分挖掘文本层级特征，结合多头注意力机制实现图像、文本特征深度耦合；同时引入强化学习训练策略，有效提升水下影像语义描述结果的准确度与语言自然流畅度。

在最新研究中，团队将大模型技术引入水下场景区域认知任务，实现水下影像前景、背景区域的精准分离。研究揭示水下成像不同区域之间的内在关联，攻克跨区域场景表征能力不足的关键技术难题，实现大模型赋能水下复杂场景智能理解的新突破。

相关成果以“Underwater Image Captioning: Challenges, Models, and Datasets”、“Underwater Image Captioning via Attention Mechanism Based Fusion of Visual and Textual Information”和“Large Foundation Model Empowered Region‑aware Underwater Image Captioning”为题，分别发表于《ISPRS Journal of Photogrammetry and Remote Sensing》（IF=12.2）、《Information Fusion》（IF=15.5）、CCF‑A类国际顶级期刊《International Journal of Computer Vision》（IF=9.3）。其中，三篇论文均入选ESI高被引论文，一篇论文同时入选ESI热点论文，一篇论文获评ISPRS期刊特色论文。李环宇博士、李莉博士和任鹏教授分别为相关论文第一作者和通讯作者，中国石油大学（华东）为第一署名单位。

文章链接：

https://www.sciencedirect.com/science/article/pii/S0924271624004726 

https://www.sciencedirect.com/science/article/pii/S1566253525003422 

https://link.springer.com/article/10.1007/s11263-025-02650-w