網絡修剪
網絡修剪，採用當網絡權重非常小的時候（小於某個設定的閾值），把它置0，就像二值網絡一般;然後屏蔽被設置為0的權重更新，繼續進行訓練;以此循環，每隔訓練幾輪過後，繼續進行修剪。
例如Deep-Compression這篇paper
權重共享
對於每一層的參數，我們進行k-均值聚類，進行量化，對於歸屬於同一個聚類中心的權重，採用共享一個權重，進行重新訓練。需要注意的是這個權重共享並不是層之間的權重共享，這是對於每一層的單獨共享
增加L2權重
增加L2權重可以讓更多的權重，靠近0，這樣每次修剪的比例大大增加。
從結構上，簡化網絡計算，
這些需要自己閱讀比較多相關文獻，才能設計出合理，速度更快的網絡，比如引入消防模塊，NIN，除全連接層等一些設計思想，這邊不進行具體詳述。
SqueezeNet
其他
Huffman Coding