Tolshao
笔记
为什么数值仿真里要用RK4（龙格库塔法）
一年级的时候搬砖搬多了，数分课也没好好上，回头一看，这么简单的东西，当时竟然整的稀里糊涂的。为什么要用RK4先po一张图，直观感受一下仿真的误差。对于给定线性常微分方程x˙=x\dotx=x易得，其解是x(t)=Cetx(t)=Ce^tRK4是龙格库塔法曲线，None是一阶解法x(t+dt)=x(t
RK4数值仿真
强化学习笔记
强化学习笔记6：值函数估计Value function Approximation
introductionv、q表的问题解决离散化的s,a,导致q-table存储量、运算量大解决连续s、a的表示问题solution用带权重估计函数，估计vorqv^(s,w)≈vπ(s)orq^(s,a,w)≈qπ(s,a)\begin{aligned}\hat{v}(s,\mathbf{w})&
强化学习 RL值函数估计 value function approximation
机器学习笔记
深度学习22张精炼图笔记总结
深度学习精炼图笔记总结本文转自知乎（Sophia）公众号【计算机视觉联盟】笔记图片由TessFerrandez整理，这套信息图优美地记录了深度学习课程的知识与亮点。因此它不仅仅适合初学者了解深度学习，还适合机器学习从业者和研究者复习基本概念。这不仅仅是一份课程笔记，同时还是一套信息图与备忘录。从深度
深度学习DL
机器学习笔记
Keras & Tensorflow 笔记
Keras是一个高层神经网络API，Keras由纯Python编写而成并基于Tensorflow、Theano以及CNTK后端。Keras为支持快速实验而生，能够把你的idea迅速转换为结果，如果你有如下需求，请选择Keras：简易和快速的原型设计（keras具有高度模块化，极简，和可扩充特性）支持
机器学习 MLkerastensorflow
强化学习笔记
强化学习笔记5：无模型控制 Model-free control
适用于：MDPmodel未知：经验的采样可以获取MDPmodel已知：无法使用（e.g.原子级动力学），采样可以使用策略、非策略学习：On-policy：动作采样来自policyπ\piOff-policy：采样来自采样μ或来自于其他策略π\pi，On-policyMCcontrol贪婪策略梯度法如
强化学习 RL无模型控制 model-free control
机器学习笔记
深度学习-Coursera笔记
AI->机器学习分类图分类几种网络结构分类NN——回归预测CNN（convolutionNN）卷积神经网络——图片RNN(RecurrentNeuralNetwork）递归神经网络——声音、语言处理LSTM长短期记忆网络——激活函数sigmoidReLU——rectifiedlinearunit修正
深度学习 DL机器学习 MLCoursera
机器学习笔记
卷积神经网络CNN（convolutional）
卷积神经网络CNN（convolutional）卷积运算：原图像*卷积核=新图像，经常用来做边缘检测人造核：手动指定权重，改善效果指定核权重为变量，通过反向传播，学习卷积核的权重补白和步幅决定了卷积后的补白PaddingValidconvolution：p=0n×n∗f×f−>(n−f+1)×(n−
深度学习CNN卷积神经网络
控制理论笔记
控制理论笔记-2
高级控制理论Dr_canARC步骤
高级控制理论经典控制理论
强化学习笔记
强化学习笔记4：无模型预测 model-free prediction
Introduction这一章，解决的是用prediction的方法，来评估策略π\pi的问题。对于Env来说，不是参数已知的MDP比如元组中a、s、P的关系不确定or未知Prediction->ControlEvaluation->Optimization蒙特卡洛法Monte-Carlolearn
强化学习 RL无模型预测 model-free prediction
强化学习笔记
强化学习笔记3：动态规划 planning by dynamic programming（DP）
规划，适用于MDP模型参数已知学习，适用于Env未知或部分未知概述动态规划分为两步，Prediction、Control（Prediction）Valueπ\pi的评价<s,Pπ,Rπ,γ>,π→Vπ<s,P^\pi,R^\pi,\gamma>,\pi\rightarrowV_\
强化学习 RL动态规划 dynamic programming
笔记
MBSE 基于模型的系统工程
MBSE根据国际系统工程协会（INCOSE）在2007年发布的《SE愿景2020》中的定义，MBSE是建模方法在系统工程中的形式化应用，用以支持在系统全生命周期内开展需求、设计、分析、验证和确认相关的活动。从定义可以看到，MBSE是基于文档的传统系统工程工作模式的演进，力求以多视角的系统模型做为桥梁
系统工程MBSE
强化学习笔记
强化学习笔记2：马尔科夫决策过程Markov decision process(MDP)
马尔科夫过程（MarkovProcess，MP）我们说一个state若满足，则其具有马尔可夫性，即该state完全包含了历史中的所有信息。马尔科夫过程是无记忆的随机过程，即随机状态序列具有马尔可夫属性。一个马尔科夫过程可以由一个元组组成⟨S,P⟩\langle\mathcal{S},\mathcal
强化学习 RL马尔科夫决策过程 MDP
强化学习笔记
强化学习笔记1：基本概念
概述强化学习是一门多学科交叉的技术与传统控制的关系：相似性：RLtraditionalcontrolagentcontrollerenvplant+enviromentrewardfeedback（errorsignals）valueoptimizefunction不同点：传统的控制：将任务分解成多
强化学习RL