创新创业训练项目——基于扩散模型的芯片封装测试终止预测
2023年03月 - 2023年12月
探索研究扩散模型算法在EDA芯片领域的应用。为提高故障诊断的效率和质量,创新性地将测试反馈转化为图像,设计多种机器学习算法结合预测的方式动态终止测试,并采用高效扩散模型Denoising Diffusion Implict Model扩充图像数据集用以训练。
- 在已有的芯片电路故障日志-图片数据集上实现DDPM、DDIM、D3PM模型,从中采样出故障数据图片补充原图片数据集,构成新的合成数据集。
- 在原数据集和合成数据集上分别训练用于测试终止预测分类任务的yolo8n-cls模型,对比评估两模型并验证数据增强效果,结果表明新方案比原方案准确率更高,预计获得近90%的测试成本节省
- 团队产出论文《Translating Test Responses to lmages for Test-termination Prediction via Multiple Machine Learning Strategies》,投稿ACM-TODEAS(ccf-b)
华中大-悉尼大学暑期学校——并行编程实践
2023年07月 - 2023年08月
了解基础并行编程方法,对共享存储和分布式存储并行计算机系统进行编程和性能优化。了解针对GPU设计的CUDA编程优化。
- 掌握并行优化算法设计的基本方法,并实现基于OpenMP、MPI等方法的计算机性能优化。与传统方式相比,在矩阵运算等关键问题实现2到4倍的性能提升。
在校科研——联邦学习影像分割研究
2023年12月 - 至今
研究医学影像分割模型。针对模型结构复杂,计算代价高,难以直接部署在资源受限的医疗设备端侧等问题,探索并融合量化感知训练QAT进行模型压缩和推理加速,将分割模型量化到8bit,量化后的模型计算量减少到浮点数精度的1/4左右,大幅降低计算量的同时对精度几乎无损。
- 探索联邦学习在多机构肿瘤分割系统中的应用,融合PET-CT双模态图像进行学习,引入自注意力LSA模块和对抗噪声扰动ANP模块对联邦学习模型训练进行优化,相对于基线模型有较大提升
- 针对边缘设备资源和算力受限问题,采用量化感知训练压缩模型。对权重采用非对称均匀量化,对比后量化训练PTQ的方法,精度损失更小
- 论文撰写中 预计投稿IEEE-BIBM(ccf-b)
信息安全作品赛——基于神经网络的多元音频攻击检测
2024年03月 - 至今
设计并实现面向语音识别系统的多元音频攻击智能检测系统,在检测合成攻击、重放攻击和对抗攻击方面有着良好性能,用户友好,支持多端访问
- 针对语音欺骗攻击识别中的脆弱性和环境复杂性问题,开发基于残差网络的高效声纹特征提取与分析系统。将新型残差网络Res2Net与挤压激励SE模块融合,实现对关键语音特征的细致捕捉和对语音信号全局特性的深入分析。使用国际ASVSpoof数据集训练和测试,在识别合成攻击和重放攻击方面,具有比基线模型更高的准确性和泛化性,EER在1%以内。
- 采用生成对抗网络构建神经声码器重建语音波形,利用重建音频与原始音频之间的ASV匹配得分差异来识别未知攻击手段的对抗样本,在VoxCeleb开源数据集上测试,AUC达99%,识别精度高。
- 团队产出成果提交至全国大学生信息安全作品赛