今天你体温上报了吗?

今天你体温上报了吗?

沉寂一个学期后,终于有空折腾点东西了。不知不觉每天起床第一件事——健康打卡已经快一年了。下至-274℃上至9999999999999℃,都无人过问,有时忘了打卡还要被不停的催。身为程序猿怎么能忍受此般形式主义每天霸占我宝贵的1分钟!(所以我花了两天时间写了这个程序)

下面步入整体,本来我觉得这不就抓个包每天定时发送就行了吗。然而事情并没有想象中那么简单,这个登录状态每天都会失效,所以不能存个cookie就完事。一番研究下,学校的登录认证系统还有点东西。应该是采用客户端cookie+服务端session的方式。

阅读更多
最优化问题求解及Lingo教程
python模块相对路径引用错误处理
python正则用法整理
matplotlib绘图基本操作&美化教程
Github+jsDelivr+Coding 免费高速稳定图床get!

Github+jsDelivr+Coding 免费高速稳定图床get!

图床一直是影响博客撰写体验的重要工具,之前我一直用的是sm.ms图床,配合Typora的图片上传功能,可谓写作体验极佳。sm.ms图床虽然才成立没几年,但作为免费图床,自带https,免账号上传,注册就有有后台管理,就已经吊打不少家了。总体而言,他的速度还算不错,但免不了有时候抽风,而且毕竟一小厂,现在又近乎用爱发电,万一哪天跑路了,博客里挂着的那些图岂不全没了。所以既想有稳定的体验,又想免费白嫖,可谓鱼和熊掌不可兼得啊。

不过最近我还真就发现了这近乎完美的解决方案。用GitHub作为存储,jsDelivr作为CDN加速,如有必要,还可加上国内的Coding作为跳板,提升稳定性。

首先这几个都是大厂完全不必担心跑路。GitHub就不必说了,jsDelivr由ProspectOne维护的公共库,免费提供了npm和GitHub仓库的静态文件加速服务,可以说非常的良心,而且它在中国大陆也有数百个节点,可以说访问速度极佳,一张3mb的图片加载速度不到1秒钟!

之所以我还多用了个腾讯的Coding,是因为国内的GitHub访问真的太不稳定了,上传失败的概率非常高。虽然Coding有放外链机制,速度也不是很快,但不妨让他做个跳板,帮我们自动把图片同步到GitHub仓库。

阅读更多
Pandas数据分析常用操作整理

记一次服务器迁移

用了一年的DigitalOcean终于到期了,服务器配置还是不错的,只是这网速真的是一言难尽,才用了没多久,后台面板都没办法直连了,服务器出故障了强制重启还只能另寻他路登录后台。。。不过这5刀一年近乎白嫖还要啥自行车?

在服务器到期前赶紧物色下一台小鸡,看了不少评测网站,最终选择了一款极具性价比的极光VPS,优惠后1H1G30Mbps一年只要200块!美西CN2线路和香港CMI线路都挺不错的,带宽也够大,用了1个多月来香港线路还是比较稳定的,平均延时只有50ms左右,太香了!虽说国内小厂有跑路风险,但自用挂个博客站在偶尔挂点测试站足够了,配置下自动备份到谷歌云,也不怕他跑路了。

阅读更多

Flume安装与应用

Flume概述

  • 日志采集和汇总工具
  • 收集到的日志数据汇总到HDFS存储
  • flume: 1.9.0

Flume组件

  • source:数据源(需要采集的数据)
  • channel:临时存储的数据位置,通常存储在内存
  • sink:数据目标存储,hdfs
阅读更多

网络数据采集与存储

网络访问工具

  • 访问工具:浏览器
  • 测试工具:postman
  • 编程实现:apache httpclient
  • 响应返回的也买你数据解析
    • jsoup实时页面数据解析
    • document对象数据抽取
  • 抓包工具:Charles
  • :warning:注意
    • 多线程
    • 无间断

实现功能

  • httpclient发送请求访问豆瓣电影Top250
  • html, jsoup, 字符串
阅读更多

搭建hadoop分布式环境

安装环境

  • CentOS 8
  • JDK:1.8_231
  • hadoop:3.2.1

主机准备

  • 主机名:hadoop

  • vi /etc/hostname

  • 主机名与IP地址映射:

    1
    2
    vi /etc/hosts
    IP地址 hadoop
  • 防火墙关闭

    1
    systemctl status firewalld
  • 创建hadoop用户

    1
    2
    useradd hadoop
    passwd hadoop
  • hadoop用户环境变量,配置JDK; /home/hadoop/.bash_profile

阅读更多

Ajax编程应用及Nginx部署

Ajax异步请求

  • 前后端分离
    • 发送异步请求获取接口数据(Vue/axios)
    • 请求跨域问题@CrossOrigin
  • 部署服务器
    1. 前端部署:nginx
    2. 后端接口服务,nohup java -jar xxx.jar &

Ajax特点

  • 允许在同一页面中多次发送请求,并动态加载服务器数据至页面中
  • 可以有效地避免页面的频繁刷新
  • image-20200707090233216
阅读更多

MySQL数据库搭建

MySQL安装

  1. 安装信息

    • 操作系统:centos8
    • MySQL版本:8.0.19
    • 安装方式:rpm
  2. 安装

    • 上传安装文件到服务器
    • 使用root用户安装,自动创建mysql用户

    • 客户端

    1
    2
    3
    rpm -ivh mysql-community-common-8.0.19-1.el8.x86_64.rpm 
    rpm -ivh mysql-community-libs-8.0.19-1.el8.x86_64.rpm
    rpm -ivh mysql-community-client-8.0.19-1.el8.x86_64.rpm
    • 服务端

      1
      rpm -ivh mysql-community-server-8.0.19-1.el8.x86_64.rpm
阅读更多

虚拟机环境配置

课程内容

  • Linux操作系统(VirtualBox、CentOS)
  • MySQL数据库
  • Spring Boot开发环境
  • Ajax编程(Vue/Axios)
  • 企业应用部署(Nginx/jar/负载)
  • hadoop分布式环境
  • hdfs常用命令/管理命令
  • Java应用访问hdfs数据
  • HttpClient工具应用
  • jsoup页面解析
  • logback日志存储
  • flume日志采集工具
  • Hive数据仓库
  • Sqoop数据迁移工具
阅读更多

Git学习笔记

提交代码

  1. 本地初始化环境
    • git init
  2. 创建服务关联到仓库
  3. 拉取服务器仓库的环境
    • git pull --rebase duckfarm master
  4. 创建分支
    • git branch localbranch
  5. 在分支中工作
    • git checkout localbranch
  6. 提交分支的文件到本地仓库
    • 暂存 git add .
    • 提交 git commit -a -m "Day 0 Note"
  7. 同步本地代码到服务器仓库
    • git push --set-upstream duckfarm localbranch
阅读更多

谈谈 Pyinstaller 的编译和反编译

用Python写脚本,小程序可谓非常方便,但它需要有特定的python环境才能运行,因此如果你想在别的电脑上运行时就会出现许多问题,就算已经安装了Python,但版本可能相差较大,且相关的依赖库没有安装,同样不能正常运行。那有没有一种工具能把我们写的代码和依赖库以及编译环境打包到一起呢?答案是肯定的,Pyinstaller就是一款不错的工具,可以一键把你的代码打包成exe文件。下面就先来聊一聊pyinstaller的使用方法。

阅读更多

将你的网站解析到1.0.0.1,Cloudflare羊毛薅到底

Cloudflare这个域名解析服务商相信很多人一定不陌生,它好像是目前唯一免费提供CDN服务的商家,但由于其cdn服务器多数在国外,在国内的访问速度不佳,甚至起不到加速效果,反而会减速。但通过cdn访问,能是你的服务器匿名性提升不少,也能有效避免DDOS攻击,还能减少服务器流量开支,何乐而不为呢?

那么有没有办法更换DNS服务器地址呢?官网上也确实提供了更改CNAME地址的服务,不过是要收费的。作为一个白嫖党怎么可能付钱呢
这两天,我有发现了Cloudflare推出了免费的公共DNS1.1.1.11.0.0.1(可真是财大气粗啊,这ip比Google的8.8.8.8还nb)。

阅读更多

百度搜索API

最近需要做一个爬取新闻网站的项目,但考虑到各个网站的搜索api都不同,且准确性较低,所以我想到了百度的高级搜索功能,于是就对其搜索api探索了一番。

以下就是我整理的百度api参数列表,可能不够全面,欢迎补充.

阅读更多

基于Java Swing 的日历桌面应用

这是我大二上学期费时一个月完成的Java大作业。不得不吐槽都9102年了,还有人用Swing写界面?丑到爆不说,页面布局永远是玄学,你永远不知道调了这个参数它是什么效果,区区一个垂直布局,竟只能用一个一个盒子套起来(禁止套娃)。这也太蠢了8。
哎,算了不吐槽了,下面进入正题。虽然做的算不上美观,总算能看一下了。功能我自认为实现得比较完善了吧。

阅读更多

从申请服务器到建站

1.申请服务器

具体过程我就不细说了,新手可以申请一个阿里云可以免费用一个月,够你耍了。
(本站的话目前是搭建在Digital Ocean上,以后会做详细的介绍,本文就暂且以阿里云为例)

2.选择环境

我选的是centos7,比较稳定,程序包也比较丰富。
接下来一番操作,设置密码什么的,系统就基本装好了。

阅读更多