基于Mysql binlog恢复线上数据
周五晚上下班前正在赶着写一些重要的代码，突然两个同事跑过来和我说线上的程序炸了，因为其中一个同事自己导入数据到了线上生产环境的时候做了误操作导致重要数据库中一个非常重要的表数据丢失，并且数据结构损坏，当场炸了。其中一个同事尝试用了一个比较旧的数据库表数据暂时恢复了程序的可用性，但是将近一个月的数据丢失。由于之前的备份机制，仅仅每周做一次全量备份，所以最新的全量备份也在上周，如果贸然用全量数据恢复数...
ElasticSearch 修改算分和自定义排序
项目实际中需要满足如下搜索需求，根据用户输入的关键词从若干个字段中去去分词匹配，搜素出的结果要求根据该条数据的中的用户评分、收藏数去排序，同时要求精确匹配的放在第一条，由于景区匹配的数据的用户评分和收藏数未必是最高的，所以默认情况下根据用户评分和收藏数去排序精确匹配的数据是不会出现在第一条的，如果按照ElasticSearch算分来实现的话精确匹配的那条算分是最高的，但是排序是不正确的。在这里我的...
使用Metricbeat监控Mysql性能
继续上篇内容介绍Elastic stach中beats相关的东西，由于新上线的mysql没有监控服务，这里就做下如何使用metricbeat另外完成mysql性能指标收集和所在主机的性能指标收集。 安装metricbeat这次采用yum来安装，首先加入es官方yum的key sudo rpm import https://packages.elastic.co/GPGKEY...
通过ELK Statck进行nginx日志数据收集和分析
- Lokie.Wang
- 2020-06-13 22:24:53
- DevOps
- ElasticSea ELK
日志分析收集是维持线上系统稳定和分析线上应用数据非常重要的一项工作。nginx做为主流web服务器承载了后端API的大部分流量，特别是通过proxy_pass这种反向代理模式可以将访问代理给后端的Java、PHP、Golang、Python等各类型API使用，因此对nginx访问日志的分析和收集非常重要。本次来说下我们对于nginx日志的收集和分析是怎么做的。这里的方案主要是ELK Stack的方...
MySQL性能指标及计算方法
绝大多数MySQL性能指标可以通过以下两种方式获取：（1）mysqladmin使用mysqladmin extendedstatus命令获得的MySQL的性能指标，默认为累计值。如果想了解当前状态，需要进行差值计算；加上参数 relative(r)，就可以看到各个指标的差值，配合参数sleep(i)就可以指定刷新的频率。 mysqladmin h127.0.0.1 uro...
MySQLReplication GTID方式
由于需要迁移线上数据到一个新的Mysql服务器并且不影响在线业务，需要维持迁移过程中应用程序的大部分可用。因此不可能对线上的Mysql服务器进行停机处理，所采用的的方式也就是通过Replication的方式，保持主从复制，在逐步修改应用程序的链接数据，最后停掉主从来达到这个目的。由于应用上的微服务架构，不存在一个应用程序访问多个数据这个问题，所以当应用程序切换的时候数据是安全的。首先关于M...
Mysql线上生产环境常见配置
下面是对于Mysql线上生产环境的配置和一些基本的解释： client section used for "mysql", "mysqladmin" and similar command line clients. port = 3306 socket = /tmp/mysql.sock Just in case your...
ElasticSearch xpack 基本安全的开启和配置
- Lokie.Wang
- 2020-05-20 23:11:36
- 数据库
- ElasticSea ELK
公司App需要上线一个新的搜索服务，比起之前其他开发过的其他ElasticSearch相关服务，从来没有自己动手开启过7版本的xpack功能，要么是云部署要么就没有开启或者是旧版本不一样。首先Elastic Stack默认是没有安全特性的，API都可以随便访问，官方通过Xpack来加强安全性，之前Xpack是一个收费包，现在Xpack中的部分功能已经免费了，先说下什么是XpackXPa...
Windwos下IIS访问NFS映射的盘
之前做了一次关于分布是文件系统迁移，程序已经逐步的完成了改造，现在需要通过asp.net mvc下访问nfs映射出来的驱动器，但是发现有问题，不能访问到映射出来的驱动器，查找原因发现是因为应用程序池运行的账号可以没有权限，可以采用没有提权的本机账号进行，但是这样就要明文保存用户名和密码并且用户名和密码更改后会发生问题。读了微软的相关文档，发现是账号权限隔离的问题，也就是如果运行在netwo...
SQL Server索引结构
索引是我们常见的优化数据库查询速度的重要手段和方式，本文将通过如下几个方面来描述SQL Server数据的索引结构相关知识。1. 什么是索引对于索引的理解，我们可以看成一本书的目录，当书没有目录存在时候，要找到书上某一章的内容时非常麻烦，只有从第一页开始翻一页一页看，直到找到我们所要找的内容所在的那一页位置。那么对于数据库也是如此，如果从表A中要找一个某一个字段B它的值等于C的所有...
