论文记录_MobileNets Efficient Convolutional Neural Networks for Mobile Vision Application

1、概述

  • Google在2017年提出的适用于手机端的神经网络模型
  • 主要使用了深度可分离卷积Depthwise Separable Convolution 将卷积核进行分解计算来减少计算量
  • 引入了两个超参数减少参数量和计算量
    • 宽度乘数（Width Multiplier）: [减少输入和输出的 channels ]
    • 分辨率乘数（Resolution Multiplier）：[减少输入输出的 feature maps 的大小]
more >>

展开全文 >>

论文记录-Pruning Filters For Efficient ConvNets

1、概述

  • 一些剪枝的操作主要是减少了全连接层的参数，全连接层的参数量占比最多（比如VGG-16中全连接层操作占了90%，计算量只占了不到1%）, 但是主要的计算量集中在卷层操作
  • 论文就是提出了对卷积层进行剪枝操作，然后进行retrain，不会造成稀疏连接（像上篇论文一样，稀疏矩阵操作需要特殊的库等来处理）
  • 全连接层可以使用平均池化层来代替以减少参数量
more >>

展开全文 >>

论文记录-Deep Compression:Compressing DeepNeural Networks With Pruning, Trained Quantization And Huffman Coding

1、概述

  • 压缩主要分为三个阶段：剪枝(pruning)、训练分层(trained quantization)以及 哈夫曼编码(Huffman coding)
  • 可以压缩35到49倍，并且不影响精度
  • [模型压缩的主要用于还是能够用于小型的设备上，例如手机端等，比如Google的Mobile Net, 但是准确度肯定要比正常的电脑端训练的大网络低一些，在所难免]
  • [一般的训练好的神经网络模型文件有几百兆的大小，比如Google预训练好的模型，计算量也很大，在手机端运行不太现实]
more >>

展开全文 >>

R语言学习

  • 基础内容来自W3C，直接查看这里即可，这里只是个人学习的记录
  • 只是最近感觉有必要学习一下R，哈哈

一、基础

1、概述

  • R语言是用于统计分析，图形表示和报告的编程语言和软件环境。
  • 解释型语言

    2、Windows上安装

  • 下载地址：R-3.4.0，直接下载安装即可
  • IDE使用RStudio: 点击下载
more >>

展开全文 >>

RNN-LSTM循环神经网络-03Tensorflow进阶实现

  • 全部代码：点击这里查看
  • 关于Tensorflow实现一个简单的二元序列的例子可以点击这里查看
  • 关于RNN和LSTM的基础可以查看这里
  • 这篇博客主要包含以下内容
    • 训练一个RNN模型逐字符生成文本数据(最后的部分)
    • 使用Tensorflow的scan函数实现dynamic_rnn动态创建的效果
    • 使用multiple RNN创建多层的RNN
    • 实现Dropout和Layer Normalization的功能
more >>

展开全文 >>

RNN-循环神经网络-02Tensorflow中的实现

一、源代码实现一个binary例子

1、例子描述

(1) 数据描述

  • 输入数据X是二进制的一串序列, 在t时刻，有50%的概率是1，50%的概率是0，比如：X=[1,1,0,0,1,0.....]
more >>

展开全文 >>

本站总访问量次 总访客数人次

tag:

    缺失模块。
    1、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    2、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: true
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

程序猿👨🏻‍💻