Yinjin Yao的博客

github + Hexo + Typora 博客创建参考教程从0开始到部署到github hexo史上最全搭建教程 文档 | Hexo Hexo + Typora + 开发Hexo插件 解决图片路径不一致 图片插件开源地址 本文大部分内容出处 基本步骤1. 安装git2. 安装nodejs3. 安装hexo前面git和nodejs安装好后，就可以安装hexo了，你可以先创建一个文件夹Blog，然后cd到这个文件夹下（或者在这个文件夹下直接右键git bash打开）。 输入命令安装： 1npm install -g hexo-cli 查看版本命令：hexo -v 初始化hexo 1hexo init myblog 这个myblog可以自己取什么名字都行，会在当前文件夹（Blog）目录下创建一个myblog文件夹 12cd myblog #进入这个myblog文件夹npm install 新建完成后，指定文件夹目录下有： 12345678910111213YaoYinjin@LAPTOP-3VRKRFG2 MINGW64 /e/blog/myblog$ tree -L 1....

docker介绍在安装部署程序过程中存在的问题： 版本依赖 典型案例：java环境有很多的jre版本 环境依赖 典型案例：oracle安装需要大量支撑包 安全风险 典型案例：多个应用无法安装一个服务器 性能瓶颈 典型案例：硬件设备扩展困难 什么是虚拟化技术在计算机技术中，虚拟化是一种资源管理技术，是将计算机的各种实体资源，如服务器，网络，内存以及存储等予以抽象转换后呈现出来，打破实体实体结构间不可切割的障碍，使用户可以用比原本的组态更好的方式来应用这些资源 docekr容器技术的发展 Docker是基于Go语言实现的开原容器项目它诞生于2013年年初.现在主流的操作系统包括引inux各大发行版本，MacOS,windows等都支持Docker..各大云服务提供商也纷纷推出了基于Docker的服务 Docker的构想是要实现”Build ship and run any App,Anywhere‘“即通过对应用的封装(packaging),分发(distribution),部署(deploymen).运行(runtime)生命周期进行管理，达到应用组件级...

hadoop问答小测验1. hadoop组件有哪些?分别有什么功能一、核心组件由三个基础组件构成，它们是整个框架的基石： Hadoop Distributed File System（HDFS）—— 分布式文件系统 功能： 专为存储海量数据设计的分布式文件系统，具有高容错性和高吞吐量。 将大文件分割成固定大小的 “块”（默认 128MB），分散存储在集群的多个节点上，每个块会有多个副本（默认 3 个），确保数据安全。适合处理 “一次写入、多次读取” 的场景，不支持频繁的文件修改（更适合静态数据）。 MapReduce—— 分布式计算框架 功能： ​ 基于 “分而治之” 思想的编程模型，用于并行处理大规模数据。 Map 阶段：将输入数据分割成多个子任务，并行处理后生成中间结果（键值对）。 Reduce 阶段：汇总 Map 阶段的中间结果，合并计算得到最终输出。 YARN（Yet Another Resource Negotiator）—— 资源管理器 功能 ：负责集群资源（CPU、内存等）的统一管理和任务调度，替代了早期 Hadoop 中的 Jo...

什么是HIVEHive 是基于 Hadoop 的一个数据仓库工具。以下是具体介绍: 功能特点：Hive 可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，能将 SQL 语句转换为 MapReduce 任务进行运行。它允许熟悉 SQL 的用户方便地查询数据，也支持熟悉 MapReduce 的开发者自定义 mapper 和 reducer，以处理复杂的分析工作。 优势：学习成本低，通过类 SQL 语句可快速实现简单的 MapReduce 统计，无需开发专门的 MapReduce 应用，十分适合数据仓库的统计分析。 应用场景：常用于对时效性要求不高的数据分析场景。由于 Hive 底层依赖 Hadoop 的 HDFS 存储数据，利用 MapReduce 进行计算，因此能够处理大规模的数据，在处理海量结构化日志的数据统计等方面应用广泛。 与数据库的区别： 数据库一般用于在线应用，支持对某一行或某些行数据的更新、删除等操作，采用 “写时模式”，数据加载慢但查询快。 而 Hive 不支持对具体行的操作，也不支持事务和索引，采用 “读时模式”，适合处理非结构化或存储模式...

Hadoop简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构 主要解决，海量数据的存储和海量数据的分析计算问题 广义上来说，Hadoop通常是指一个更广泛的概念-Hadoop生态圈 分布式存储Hadoop 的分布式存储主要基于 HDFS（分布式文件系统）:HDFS将数据分割成多个数据块（block），这些数据块分散存储在集群中的不同节点上。每个数据块会有多个副本，通常默认是 3 个副本.采用分布式存储在不同的节点上，提高了数据的可靠性和容错性。 Hadoop的分布式核心组件是MapReduce编程模型:在MapReduce任务中，数据被切分为多个任务，每个任务由或多个节点并行。每个节点负责将输入数据映射为键-值对生成中间结果。最后，中间结果按照键的排序进行合并和归并。 Hadoop组件(面试重点)hadoop问答小测验 HDFS 架构概述HDFS组件用于存储数据,主要由NameNode,DataNode,SecondaryNameNode 组成 NameNode (nn): 存储文件的元数据，如文件名，文件目录结构，文件属性 (生成时间、副本数、文...

国内常用镜像源12345678910111213清华大学 ：https://pypi.tuna.tsinghua.edu.cn/simple/阿里云：http://mirrors.aliyun.com/pypi/simple/中国科学技术大学 ：http://pypi.mirrors.ustc.edu.cn/simple/华中科技大学：http://pypi.hustunique.com/豆瓣源：http://pypi.douban.com/simple/腾讯源：http://mirrors.cloud.tencent.com/pypi/simple华为镜像源：https://repo.huaweicloud.com/repository/pypi/simple/ 数据类型 数字型： bool int float ⾮数字型： str list tuple set dict ⽇期型： time datetime 例子： 123456sno=1age=18sname="小明"high=1.786print(f"{sname&#...

文件目录类Linux目录结构 linux的目录有且只有一个根目录 / linux的各个目录存放的内容的规划好的, 不用乱放文件 linux是以文件的形式管理我们的设备, 因此linux系统, 一切皆为文件 linux的各个目录下存放什么内容, 大家必须有一个认识 学习后, 你的脑海里应该有一棵linux目录树 目录 功能 目录 功能 / 根目录系统的起点包含所有其他目录 /opt 可选的第三方软件 /bin 存放基本和系统级的可执行文件 /proc 虚拟文件系统提供系统信息 /boot 启动相关文件 /root root用户的主目录 /dev 设备文件 /run 运行时数据 /etc 系统配置文件 /tmp 临时文件 /home 用户的主目录 /usr 用户级应用程序和数据 /lib 共享库文件 /var 可变数据，如日志和缓存 /mnt 挂载点 /op...

什么是数据库 数据库（Database，DB） 数据库管理系统（Batabase Management System，DBMS） 结构化查询语言（Structured Query Language，SQL） 关系型数据库（Relational Database，RDB）：目前应用最广泛的数据库。 常见的五种关系型数据库管理系统：①Oracle Database：甲骨文公司②SQL Server：微软公司③DB2：IBM 公司④PostgreSQL：开源⑤MySQL：开源 术语及概念简单介绍 服务器：用于接收并处理其它程序发出的请求的程序（软件），或者是安装此类程序的设备（计算机）。 客户端：向服务器发出请求的程序（软件），或者是安装此类程序的设备（计算机）。 表（table）：类似 Excel，由行和列组成的二维表。行（Row）和列（Column） 字段：表中的列（垂直方向），叫做一个字段 记录：表的行（水平方向），叫做一条记录。【注意】关系数据库必须以行为单位进行数据读写。 单元格：行列交汇处。【注意】与 Excel 不同，一个单元格只能输入一个数据。 SQL是什么...