博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
深度学习原理与框架-卷积网络细节-网络设计技巧 1. 3个3*3替换7*7卷积核 2. 1*1 和 3*3 替换 3*3卷积核...
阅读量:6611 次
发布时间:2019-06-24

本文共 550 字,大约阅读时间需要 1 分钟。

感受野:对于第一次卷积,如果卷积核是3*3,那么卷积的感受野就是3*3,如果在此卷积上,再进行一次卷积的话,那么这次的卷积的感受野就是5*5 

因为5*5的区域,卷积核为3*3, 卷积后每一个点的感受野是3*3,卷积后的区域为3*3

第二次卷积还用用3*3的卷积的话,第二次卷积的结果就变成了1*1,因此每一个点的感受野是5*5

 

对应于3次卷积的结果,每一点的感受野就是7*7, 

由上式我们可以看出,对于3个3*3卷积后的感受野和一个7*7卷积核卷积的感受野是相同的,我们下面做一个比较,3个3*3卷积的参数要小于一个7*7,这样可以防止过拟合的情况,同时多层的relu激活,增加了卷积过程中的非线性, 

网络结构技巧1:3个3*3卷积替换一个7*7卷积

网络结构技巧2:使用1*1*c*c/2, 3*3*c/2*c/2, 1*1*c/2*c 卷积来替换一个3*3的卷积

 

网络技巧总结

1.尽量使用3*3的卷积来替代5*5和7*7的卷积

2.使用1*1的卷积,用来增加或者减少矩阵的维度也是很有效的

3.将N*N的卷积转换为1*N和N*1的卷积

4.尽量给出较少的参数和较少的计算

 

转载于:https://www.cnblogs.com/my-love-is-python/p/10514856.html

你可能感兴趣的文章
《Node.js区块链开发》一3.6 总结
查看>>
《UG NX8.0中文版完全自学手册》一2.8 布尔运算
查看>>
移动阅读时代“长文章”生存状态调查
查看>>
springboot docker笔记
查看>>
跟我一起学QT3:电子表格的制作
查看>>
mysql char和varchar区别
查看>>
Modbus RTU 通信工具设计
查看>>
服务化改造实践 | 如何在 Dubbo 中支持 REST
查看>>
Logwatch linux日志监视器解析
查看>>
【第8章】JVM内存管理
查看>>
在绿色的河流上
查看>>
ovirt官方安装文档 附录G
查看>>
磁盘故障小案例
查看>>
了解相关.NET Framework不同组件区别及安装知识
查看>>
ToughRADIUS快速指南
查看>>
Kubernetes+Prometheus+Grafana部署笔记
查看>>
linux磁盘管理基本命令
查看>>
HTML
查看>>
【转】左手坐标系和右手坐标系
查看>>
我的友情链接
查看>>