Yinjin Yao的博客

多层感知机:label:sec_mlp 隐藏层在网络中加入隐藏层我们可以通过在网络中加入一个或多个隐藏层来克服线性模型的限制，使其能处理更普遍的函数关系类型。要做到这一点，最简单的方法是将许多全连接层堆叠在一起。每一层都输出到上面的层，直到生成最后的输出。我们可以把前层看作表示，把最后一层看作线性预测器。这种架构通常称为多层感知机（multilayer perceptron），通常缩写为MLP。下面，我们以图的方式描述了多层感知机（ :numref:fig_mlp）。 .ktqrrfmtytfe{} :label:`fig_mlp` 这个多层感知机有4个输入，3个输出，其隐藏层包含5个隐藏单元。 输入层不涉及任何计算，因此使用此网络产生输出只需要实现隐藏层和输出层的计算。 因此，这个多层感知机中的层数为2。 注意，这两个层都是全连接的。 每个输入都会影响隐藏层中的每个神经元， 而隐藏层中的每个神经元又会影响输出层中的每个神经元。 从线性到非线性同之前的章节一样，我们通过矩阵来表示个样本的小批量，其中每个样本具有个输入特征。对于具有个隐藏单元的单隐藏层多层感知机，用表示隐藏层...

层和块 :label:sec_model_construction 之前首次介绍神经网络时，我们关注的是具有单一输出的线性模型。在这里，整个模型只有一个输出。注意，单个神经网络（1）接受一些输入；（2）生成相应的标量输出；（3）具有一组相关 参数（parameters），更新这些参数可以优化某目标函数。 然后，当考虑具有多个输出的网络时，我们利用矢量化算法来描述整层神经元。像单个神经元一样，层（1）接受一组输入，（2）生成相应的输出，（3）由一组可调整参数描述。当我们使用softmax回归时，一个单层本身就是模型。然而，即使我们随后引入了多层感知机，我们仍然可以认为该模型保留了上面所说的基本架构。 对于多层感知机而言，整个模型及其组成层都是这种架构。整个模型接受原始输入（特征），生成输出（预测），并包含一些参数（所有组成层的参数集合）。同样，每个单独的层接收输入（由前一层提供），生成输出（到下一层的输入），并且具有一组可调参数，这些参数根据从下一层反向传播的信号进行更新。 事实证明，研究讨论“比单个层大”但“比整个模型小”的组件更有价值。例如，在计算机视觉中广泛流行的ResNet...

线性回归 回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。 在机器学习领域中的大多数任务通常都与预测（prediction） 有关。当我们想预测一个数值时，就会涉及到回归问题。常见的例子包括：预测价格（房屋、股票等）、预测住院时间（针对住院病人等）、预测需求（零售销量等）。但不是所有的预测都是回归问题。 线性回归的基本元素线性回归基于几个简单的假设： 首先，假设自变量和因变量之间的关系是线性的，即可以表示为中元素的加权和，这里通常允许包含观测值的一些噪声； 其次，我们假设任何噪声都比较正常，如噪声遵循正态分布。 通常，我们使用来表示数据集中的样本数。对索引为的样本，其输入表示为，其对应的标签是。 线性模型线性假设是指目标（房屋价格）可以表示为特征（面积和房龄）的加权和，如下面的式子： :eqlabel:eq_price-area :eqref:eq_price-area中的 和称为权重（weight），权重决定了每个特征对我们预测值的影响。称为*偏置（bias）、*偏移量（offs...

数学 ：标量 ：向量 ：矩阵 ：张量 ：单位矩阵 , ：向量第个元素 , ：矩阵第行第列的元素 集合论 : 集合 : 整数集合 : 实数集合 : 维实数向量集合 : 包含行和列的实数矩阵集合 : 集合和的并集 ：集合和的交集 ：集合与集合相减，关于的相对补集 函数和运算符 ：函数 ：自然对数 : 指数函数 : 指示函数 : 向量或矩阵的转置 : 矩阵的逆 : 按元素相乘 ：连结 ：集合的基数 : ： 正则 :  正则 ：向量和的点积 : 连加 : 连乘 ：定义 微积分 ：关于的导数 ：关于的偏导数 ：关于的梯度 : 在到区间上关于的定积分 : 关于的不定积分 概率与信息论 ：概率分布 : 随机变量具有概率分布 ：的条件概率 : 概率密度函数 : 函数对的数学期望 : 随机变量和是独立的 : 随机变量和在给定随机变量的条件下是独立的 : 随机变量的方差 : 随机变量的标准差 : 随机变量和的协方差 : 随机变量和的相关性 : 随机变量的熵 : 和的KL-散度 复杂度 ：大O标记

1、公式排版 ​ MarkDown中公式公式的语法与LaTeX类似，排版可以分为两种： 行内公式： 使用$包裹公式 例如： 1`$E=mc^2$` -->$E=mc^2$ 独立公式： 使用$$包裹公式例如： 123$$E=mc^2$$ 显示为： \boxed命令给公式加一个边框 ，例如： 123$$\boxed{E=mc^2}$$ 显示为： 2、特殊转义字符 ​ # $ & ~ _ ^ \ { } %这些字符在MarkDown中有特殊的意义，在需要使用这些字符的时候，需要进行转义： \# –> # \$ –> $ \& –> & \~ –> ~ \_ –> _ \^ –> ^ \\ –> \ \ \{ –> { \} –> }\% –> % 3、希腊字母 名称 大写 TeX 小写 TeX alpha $A$ α $\alpha$ beta $B$ β $\beta$ gamma $\Gamma$ $...

名词解释目标函数在机器学习中，我们需要定义模型的优劣程度的度量，这个度量在大多数情况是“可优化”的，这被称之为目标函数（objective function）。我们通常定义一个目标函数，并希望优化它到最低点。 因为越低越好，所以这些函数有时被称为损失函数（loss function，或cost function）。 在一个数据集上，我们可以通过最小化总损失来学习模型参数的最佳值。 该数据集由一些为训练而收集的样本组成，称为训练数据集（training dataset，或称为训练集（training set））。 然而，在训练数据上表现良好的模型，并不一定在“新数据集”上有同样的性能，这里的“新数据集”通常称为测试数据集（test dataset，或称为_测试集_（test set））。 训练数据集用于拟合模型参数，测试数据集用于评估拟合的模型。 优化算法一个模型和一个合适的损失函数，接下来就需要一种算法，它能够搜索出最佳参数，以最小化损失函数。大多流行的优化算法通常基于一种基本方法–**_梯度下降_（gradient descent）** 监督学习_监督学习_（supervise...

一、虚拟机环境搭建 本次实践是通过Vmware虚拟机是实现的， 基于CentOS 7 64位系统， 1核1G 20G 网络桥接 使用1panel面版 docker部署的mysql和nextcloud 接下来开始 创建第一台虚拟机打开VMware虚拟机–>新建虚拟机–>典型–>下一步–>选择自己准备好的映像文件（CentOS-7-x86_64-DVD-2009.iso）–>下一步–>自己取名字和位置–>下一步–>20G,将虚拟磁盘拆分为多个文件–>下一步–>自定义硬件–>网络适配器–>桥接模式，复制物理网络连接状态–>完成 编辑–>虚拟网络编辑器–>更改设置–>桥接模式–>以桥接至WiFi–>应用，完成 自己初始化开机用户：root密码：123456 关闭防火墙 1systemctl disable firewalld 编写网络配置 1vi /etc/sysconfig/network-scripts/ifcfg-ens33 ifcfg-ens33文件内容 1234...

Spring 1.1 简介官网地址：https://docs.spring.io/spring-framework/reference/index.htmlgithub地址：https://github.com/spring-projects/spring-framework 123456789101112<!--https://mvnrepository.com/artifact/org.springframework/spring-webmvc --><dependency> <groupId>org.springframework</groupId> <artifactId>spring-webmvc</artifactId> <version>5.2.0.RELEASE</version></dependency><!--https://mvnrepository.com/artifact/org.springframework/spring-webmvc -...

RAG介绍RAG(Retrieval Augmented Generation) RAG（检索增强生成）是一种结合语言模型与信息检索技术的技术，通过从外部知识源检索相关背景信息来提升文本生成或回答问题的准确性和质量。 1.LLM的缺陷 1.LLM的知识不是实时的，不具备知识更新 2.LLM可能不知道你私有的领域/业务知识， 3.LLM有时会在回答中生成看似合理但实际上是错误的信息， 2.为什么会用到RAG1.提高准确性：通过检索相关的信息，RAG可以提高生成文本的准确性。2.减少训练成本：与需要大量数据来训练的大型生成模型相比，RAG可以通过检索机制来减少所需的训练数据量，从而降低训川练成本。3.适应性强：AG模型可以适应新的或不断变化的数据。由于它们能够检索最新的信息，因此在新数据和事件出现时，它们能够快速适应并生成相关的文本。 3.RAG概念RAG(Retrieval Augmented Generation)顾名思义，通过检索外部数据，增强大模型的生成效果。RAG即检索增强生成，为LLM提供了从某些数据源检索到的信息，并基于此修正生成的答案。RAG基本上是Se...

笔记为硅谷搬运工 Maven简介为什么学习MavenMaven是一个依赖管理工具①jar 包的规模 随着我们使用越来越多的框架，或者框架封装程度越来越高，项目中使用的jar包也越来越多。项目中，一个模块里面用到上百个jar包是非常正常的。 比如下面的例子，我们只用到 SpringBoot、SpringCloud 框架中的三个功能： Nacos 服务注册发现 Web 框架环境 视图模板技术 Thymeleaf 最终却导入了 106 个 jar 包： org.springframework.security:spring-security-rsa:jar:1.0.9.RELEASE:compilecom.netflix.ribbon: ribbon:jar:2.3.0:compileorg.springframework.boot:spring-boot-starter-thymeleaf:jar:2.3.6.RELEASE:compilecommons-configuration:commons-configuration:jar:1.8:compileorg.apache....