udacity课程ud730深度学习学习笔记

2017-03-31

最近在看Udacity的ud730课程，号称是tensorflow官方宣传片哈哈，因为用到的代码直接在tensorflow的代码里面。

课程主要包括四大部分：

机器学习的基本概念
深度神经网络
卷积神经网络
循环神经网络

机器学习基本概念

softmax
cross-entropy
overfitting & regularization
train / validate / test dataset的用途
SGD，随机梯度下降算法
Momentum & learning rate decay，动量法和学习率调节下降
Hyper-parameter，超参数空间

深度神经网络

线性模型的局限
ReLu
Chain Rule，链式法则
Back propagation，反向传播
Regularization，正则化
Dropout

卷积神经网络

Statistical Invariants，统计不变性
Convolutional NN，Convnets，卷积网络
- feature map
- stride
- max pooling

循环神经网络

Embeddings
word2vec
tSNE
RNN
梯度消失/爆炸
LSTM
Beam搜索

课程总共有6个tasks，目前完成了3个，代码在github上，后续会继续更新本文和代码，欢迎有兴趣的关注。

To be continued…

缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是yilia根目录）执行以下命令：
npm i hexo-generator-json-content --save

3、在根目录_config.yml里添加配置：

  jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

Just For Fun!<br><br>用科技优化生活！<br>