动机🤔有时候想看视频，遭遇1-2min的广告，望而却步“歪，我要看的视频也就3min好嘛？？？”有时候你想看个新闻，却还要装个Flash想起乔帮主说的话“移动时代是低功耗设备、触摸屏界面和开放网络标准的时代，Flash已经落伍。”于是乎，mac和win平台下，都有解😎SolutionMac下，果
1、introduction第7章节，讲了PG，从episode经验学习到策略policy之前的章节，讲了从episode经验学习到价值函数本章，从过去经验学习到环境模型通过规划的手段，构建值函数或者策略Model-free没有模型从经验中学习，得到价值函数Model-based有模型根据模型规划价
之前的策略优化，用的基本都是ϵ\epsilon-greedy的policyimprove方法，这里介绍policygradient法，不基于v、q函数1.introduction策略梯度是以P(a∣s)P(a|s)入手，概率π(s,a)\pi(s,a)的形式，同样是modelfree的πθ(s,a)
张小跳-ios黄页分享一个ios黄页工具，领取方式见文末黄页是什么说白了，可以理解为指电话号码簿，几乎世界每一个城市都有过这种纸张为载体所印制的电话号码本。【百度百科】定义：黄页是国际通用按企业性质和产品类别编排的工商企业电话号码簿，以刊登企业名称、地址、电话号码为主体内容，相当于一个城市或地区的工
一年级的时候搬砖搬多了，数分课也没好好上，回头一看，这么简单的东西，当时竟然整的稀里糊涂的。为什么要用RK4先po一张图，直观感受一下仿真的误差。对于给定线性常微分方程x˙=x\dotx=x易得，其解是x(t)=Cetx(t)=Ce^tRK4是龙格库塔法曲线，None是一阶解法x(t+dt)=x(t
introductionv、q表的问题解决离散化的s,a,导致q-table存储量、运算量大解决连续s、a的表示问题solution用带权重估计函数，估计vorqv^(s,w)≈vπ(s)orq^(s,a,w)≈qπ(s,a)\begin{aligned}\hat{v}(s,\mathbf{w})&
深度学习精炼图笔记总结本文转自知乎（Sophia）公众号【计算机视觉联盟】笔记图片由TessFerrandez整理，这套信息图优美地记录了深度学习课程的知识与亮点。因此它不仅仅适合初学者了解深度学习，还适合机器学习从业者和研究者复习基本概念。这不仅仅是一份课程笔记，同时还是一套信息图与备忘录。从深度
Keras是一个高层神经网络API，Keras由纯Python编写而成并基于Tensorflow、Theano以及CNTK后端。Keras为支持快速实验而生，能够把你的idea迅速转换为结果，如果你有如下需求，请选择Keras：简易和快速的原型设计（keras具有高度模块化，极简，和可扩充特性）支持
适用于：MDPmodel未知：经验的采样可以获取MDPmodel已知：无法使用（e.g.原子级动力学），采样可以使用策略、非策略学习：On-policy：动作采样来自policyπ\piOff-policy：采样来自采样μ或来自于其他策略π\pi，On-policyMCcontrol贪婪策略梯度法如
AI->机器学习分类图分类几种网络结构分类NN——回归预测CNN（convolutionNN）卷积神经网络——图片RNN(RecurrentNeuralNetwork）递归神经网络——声音、语言处理LSTM长短期记忆网络——激活函数sigmoidReLU——rectifiedlinearunit修正
高级控制理论Dr_canARC步骤
Introduction这一章，解决的是用prediction的方法，来评估策略π\pi的问题。对于Env来说，不是参数已知的MDP比如元组中a、s、P的关系不确定or未知Prediction->ControlEvaluation->Optimization蒙特卡洛法Monte-Carlolearn
规划，适用于MDP模型参数已知学习，适用于Env未知或部分未知概述动态规划分为两步，Prediction、Control（Prediction）Valueπ\pi的评价<s,Pπ,Rπ,γ>,π→Vπ<s,P^\pi,R^\pi,\gamma>,\pi\rightarrowV_\
MBSE根据国际系统工程协会（INCOSE）在2007年发布的《SE愿景2020》中的定义，MBSE是建模方法在系统工程中的形式化应用，用以支持在系统全生命周期内开展需求、设计、分析、验证和确认相关的活动。从定义可以看到，MBSE是基于文档的传统系统工程工作模式的演进，力求以多视角的系统模型做为桥梁
马尔科夫过程（MarkovProcess，MP）我们说一个state若满足，则其具有马尔可夫性，即该state完全包含了历史中的所有信息。马尔科夫过程是无记忆的随机过程，即随机状态序列具有马尔可夫属性。一个马尔科夫过程可以由一个元组组成⟨S,P⟩\langle\mathcal{S},\mathcal
