博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
使用curator 来管理elasticsearch的index
阅读量:6274 次
发布时间:2019-06-22

本文共 2586 字,大约阅读时间需要 8 分钟。

这里我们参考官网安装curator

https://www.cookiesinn.org/elasticsearch_curator_delete_indices/

https://www.elastic.co/guide/en/elasticsearch/client/curator/5.4/installation.html

https://blog.csdn.net/u013613428/article/details/78229090

https://blog.csdn.net/zou79189747/article/details/80526221

这里我们使用yum 的方式来安装

先说 一下我的环境:

centos 7

es 5.6.9

https://www.elastic.co/guide/en/elasticsearch/client/curator/5.4/yum-repository.html cd /data/packagesudo rpm --import https://packages.elastic.co/GPG-KEY-elasticsearchcd /etc/yum.repos.dvim elasticsearch.repo[curator-5]name=CentOS/RHEL 7 repository for Elasticsearch Curator 5.x packagesbaseurl=https://packages.elastic.co/curator/5/centos/7gpgcheck=1gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearchenabled=1sudo yum install elasticsearch-curator

 正题看下面:

curator由python研发的非常轻量级的工具.

curator不仅仅可以删除多余的索引其实还有其他功能也能使用比如:添加别名、创建快照、删除快照、添加索引、删除索引、索引设置等等内容。并且可以将这些设置定义在YAML风格的配置文件

我们目前用到的是对index的过期删除,这里我们要注意的是,我们的index的命名最好是有规范的。这样对我们的index管理起来是方便的。最好是  “业务-服务-date”

1、下载rpm包并且安装Elasticsearch-curator:

cd /data/toolswget https://packages.elastic.co/curator/5/centos/7/Packages/elasticsearch-curator-5.3.0-1.x86_64.rpmsudo yum install -y elasticsearch-curator-5.2.0-1.x86_64.rpm #安装会安装在/opt目录下

 

我们常用的是curator和curator_cli,具体的参见官网:

curator_cli --host 127.0.0.1 --port 9200 show_indices --verbose

这样我们直接上正题:直接删除过期的index

mkdir

/data/package/curator

这里我们在编写配置文件的时候,一定要注意缩进,yml 语法对这个要求很严格

首先我们配置vim config.yml

client:  hosts:    - 10.10.124.125    - 10.10.96.46  port: 9200  url_prefix:  use_ssl: False  certificate:  client_cert:  client_key:  aws_key:  aws_secret_key:  aws_region:  ssl_no_validate: False  http_auth:  timeout: 30  master_only: Falselogging:  loglevel: INFO  logfile:  logformat: default  blacklist: ['elasticsearch', 'urllib3']

 

现在我们上清理索引的配置:

这里我是删除了所有的超过七天的index,同时我们也可以使用 filtertype: pattern 匹配规则来删除相应的index,这里就提现出我们在命名index的是有规则是有多么的重要

actions: 1:   action: delete_indices   description: "Delect all index"   options:     ignore_empty_list: True     disable_action: False   filters:#   - filtertype: pattern#     kind: regex#     value: test2   - filtertype: age     source: creation_date     direction: older     unit: days     unit_count: 7

 

一个索引进行匹配只能定义在一个任务中,除非是像我上面一样,直接就是根据filtertype: age来。

注意:再次提示,这里最好不要复制粘贴文件,可能一不小心就把缩进给弄乱了,真想复制粘贴可以复制官网上的,这样格式不会乱(大笑)(大笑)(大笑)

这里我们调试使用的命令是: curator --config config.yml delete_index.yml --dry-run真正执行的命令是: curator --config config.yml delete_index.yml 真正上线的时候我们结合crontab 一起使用,这样我们就可以实现定时的去清理elasticsearch  index  的目的了,妈妈在用不用担心我们磁盘满了, 以前都是用脚本处理的,因为以前的elasticsearch的index数据文件是有规则的,现在是一串字符串,不好用脚本处理,发现了这个开源工具,真的很好用。强烈推荐

 

你可能感兴趣的文章
windows 密钥登陆 linux
查看>>
IOS 录制视频
查看>>
limit检查
查看>>
Android Things 简介
查看>>
菜鸟学Linux 第049篇笔记 DNS log, zone, view
查看>>
菜鸟学Linux 第054篇笔记 建立加密的http
查看>>
ListView 的多选模式
查看>>
宏正自动科技发表新款8/16端口双滑轨LCD KVM多电脑切换器
查看>>
解决 Missing GL version
查看>>
VS 编译链接错误集锦
查看>>
Dns域名服务器之,ACL ,转发域及子域授权的基本配置
查看>>
Android权限列表
查看>>
Linux中的网络监控命令
查看>>
360项目-07
查看>>
使用Nginx进行TCP/UDP端口转发
查看>>
读书笔记2(Effective java)
查看>>
[bat]批量替换文件内容
查看>>
Java代码到字节码——第一部分
查看>>
Linux挂载安装VMware tool
查看>>
Android中利用ViewFliper实现屏幕切换效果
查看>>