杂项 on 最后的DBA

一个 DBA 视角看 0526 安可数据库名单

Fri, 29 May 2026 00:00:00 +0000

AI率 5%

太长不看
#

5 月 26 日，信创数据库名单 2026 年第 2 号发布，23 款产品通过（8 集中式 + 15 分布式），为历次最多。最值得关注：平安、银联、移动、电信四家大甲方各自孵化的数据库首次入围。信创逻辑变了——甲方不再只是买方的角色。

批次	时间	数据库产品数	获Ⅱ级
2023#1	2023-12-26	11（集中式）	无
2024#2	2024-09-30	17（集中式6+分布式11）	GaussDB
2025#2	2025-08-22	3（集中式）	无
2026#2	2026-05-26	23（集中式8+分布式15）	达梦/崖山/GaussDB/GoldenDB

厂商	次数
达梦	3
南大通用	3
阿里云	3
瀚高	2
腾讯云	2
东方金信	2
海量数据	2
华为云	2
中兴(GoldenDB)	2
OceanBase	2
金仓	2
神通	2
虚谷	2
崖山	2
仅1次	平凯/万里/优炫/平安/移动/银联/天翼云/天谋/星环/智臾/自然原数/中移苏州

分类	厂商
大厂	华为云(GaussDB/TaurusDB/DWS)、阿里云(PolarDB/AnalyticDB)、腾讯云(TDSQL)、中兴(GoldenDB)、OceanBase(蚂蚁)
独角兽	平凯(TiDB)、崖山(深算院)、星环(ArgoDB)、天谋(TimechoDB)、智臾(DolphinDB)
大甲方	平安科技(RASESQL)、中国银联(UPDRDB)、中国移动(磐维+He3DB)、天翼云(TeleDB)
老牌信创	达梦、金仓、南大通用、神通、瀚高、虚谷、海量、东方金信、万里、优炫

开闸放水
#

这次名单一出，我的感受就四个字：开闸放水。23 款产品，历次最多。几个看点：

平安 RASESQL。 最没有想到的一家。平安集团的金融科技能力一直很强，但他们做数据库这事此前几乎没有公开信息。看到榜单上出现 RASESQL 三个字的时候我愣了好几秒。平安这种体量的金融甲方，自研数据库一旦过了国测，内部信创替代路线就多了一条。

银联 UPDRDB。 同样神秘。之前完全不知道银联在做分布式数据库。银联的交易量摆在那，能扛住自己业务的分布式数据库，技术上不会差。

阿里云 PolarDB for MySQL。 PolarDB 的 MySQL 兼容版没过是记在许多人心里的。这次过后，PolarDB 三大主线——PG 版、分布式版、MySQL 版——全过了。加上 AnalyticDB，阿里云数据库全家桶基本凑齐。

移动磐维 + 电信 TeleDB。 移动去年已经有 He3DB（中移苏州）通过国测，今年磐维是第二个产品。电信 TeleDB 首次入围。两家运营商都有自家孵化的信创数据库，各自的信创替换压力应该小不少。反倒是联通一直没有动静——可以想见联通的信创战略跟移动电信肯定不一样。

星环 ArgoDB。 星环是大数据/Hadoop 生态起家的，现在分布式数据库也过了国测。曾经顶着"国产大数据基础软件第一股"的光环，市值一度冲到 300 亿+，从数据湖到信创数据库，路线走通了。

影响
#

这次开闸放水，透露出的最重要的信号是——甲方可以自研数据库。

有什么影响？

自研成功的大甲方可以不用当待宰的肥羊
那些还没做出来的大甲方，可能会再次启动自研
大厂和独角兽在国内数据库市场上能争夺的蛋糕，少了一块

金融行业的银联、平安，电信行业的移动、电信，都成功通过了国测，等于是"研发成功"的金徽章，各单位内部应该都是喜大普奔的状态。而对于外部厂商来说，他们丢失的不只是大客户，准确一点说，丢失了绝对话语权。

“我知道你困难，也知道你不买不行，所以杀猪刀不磨了，直接换屠龙刀往死里宰”——对于成功孵化自研数据库的甲方来说，这种处境就释缓了许多，意义重大。

至于未来信创方向会怎么变动，谁都说不好。从以前的名单看应该是越来越严（上次数据库名单只过了 3 个），这次反倒意外地开闸放水。下次急剧收拢也不是不可能。不仅是联通，保险行业的太保、人保，甚至金融行业有能力的都可以考虑下场自己手搓一个数据库。

令人唏嘘
#

因为我们内核组就坐在我背后，我还算了解一些信创研发的经过。在连续送测均未通过的情况下，整个团队氛围是极其低落的，我相信不止我们是这样，许多送测通不过的团队也是这样。对于金融、电信等行业来说就是有信创要求，但是自研的产品没有过安可，在公司战略层面就没有选择，在团队层面也当然没有了存在价值。所以“过国测”这三个字含金量、影响力都非常大。还好他们过了，真心祝贺他们！RaseSQL No1！

同时可以看出，信创结果和风向不稳定，变化大，影响大。它决定了一些公司的战略，也决定了许多人的命运。我自己甚至都是这命运轮盘中的一员。

除了信创名单上的，还有许多不在名单又付出了巨大努力的单位。他们的产品可能很拉，也可能非常好。但国测就是这样严峻的分水岭，一张神秘的入场券——过与不过，在国内市场，就是两个概念。

OK，有感而发，可能会删。

参考
#

https://www.itsec.gov.cn/aqkkcp/cpgg/

个人博客上线

Sat, 16 May 2026 00:00:00 +0000

上线啦！
#

博客终于上线了。

地址：https://lastdba.com

国内可以访问，手机访问也友好

76 篇文章，都是这几年写 PostgreSQL 的东西——案例、内功、源码、论文精读。

这次算是正式上线：换框架、换域名、换主题，从头到尾搞了一遍。

亮点
#

界面漂亮

界面简约，阅读友好，搜索功能也比较有用

框架：Jekyll → Hugo

第一版：Jekyll + minima 主题 + 2000 行 CSS

第二版：Hugo + Blowfish 主题 + 0 行 CSS

第一版其实也不错，就是自己搞UI很费劲，想到老冯之前写过一个文章关于网站架构选择的，我直接就上去白嫖了。把架构跟AI说明，让它偷学vonng.com，页面质感提升了一个档次，后面再调整调整细节就收工了。

域名：github.io → lastdba.com

买了 lastdba.com，配了 Cloudflare。GitHub Pages 绑自定义域名，免费 HTTPS 证书，全自动续。不用科学上网也可以访问了！

图片本地化

原来文章里的图片散落在各个地方——CSDN 的 CDN、GitHub PicBed、墨天轮 OSS。CSDN 有防盗链，不给看。GitHub PicBed又是外网的，国内经常加载不出来。这次让AI搞到本地路径，以后再也不怕图床跑路。跨网访问也不会有图片加载不出来的问题，very good。

上线感悟
#

其实博客网址以前也搞过，白嫖一个博客网站项目然后用GitHub Pages就可以搭建出来，域名是 liuzhilong62.github.io/blogs。但是由于个人有些质感癖（不是），效果一般般我就下线了，后面直接把github仓库当博客网址用，pages都没有搞。最近由于各种原因时间比较多，再次想起这个事情，就用hermes从头开始弄博客网站。

作为一个DBA，后端工程师，什么Jekyll，Hugo，Blowfish，css这些前端的东西我完全不懂，我只需要给Hermes目标，然后它做，它跟我说啥我也听不懂（当然也不好意思跟它说我搞不懂），基本就是"你继续"，我网页端看下效果满意就行，偶尔会"回退这个"。

说实话，换 Hugo 最大的感受不是技术上的，而是「不要重新发明轮子」。之前花了很多时间手写暗色模式、TOC、搜索，结果发现换个主题全自带，写得还不如人家好看。

另外，lastdba.com 这个域名挂上去之后，博客突然有了一种「正式感」。以前 liuzhilong62.github.io/blogs 像是个人的实验项目，现在像一个真正的网站。虽然内容没变，但感觉不一样了。

花了多少钱
#

全部费用：

项目	费用
`lastdba.com` 域名（Cloudflare，1年）	¥70
GitHub Pages 托管	¥0
Hugo 框架	¥0
Blowfish 主题	¥0
Cloudflare DNS + CDN	¥0
token	¥60
合计	¥130

这可能是性价比最高的个人网站方案了。

最后
#

有些细节可能没有打磨好，欢迎反馈bug，优化建议

后面应该会持续更新

参考
#

https://vonng.com/

我的年终总结2025

Sun, 21 Dec 2025 00:00:00 +0000

As a DBA
#

作为一个DBA，在问题分析方面我非常相信第一性原理与信息论。DBA需要非常了解这套系统，了解postgres，才能从原理上解释异象。比如上半年花了很多精力去了解linux内存，去探索内存问题的本质和解决方案。同时，今年在系统运维层面更进了一步，不再仅关注技术层面的问题和处理，而更关注提供解决方案，它应该包含postgres数据库技术维度、系统维度和管理维度的思考。

简单分类了一下云DBA的工作：

很多Ops论文都只是说故障处理，实际上故障处理应该不到运维实际工作量的5%，而且无论是学术还是实际，anamaly ops本身效果也不好，所以我不是很看好AIOps能帮DBA大忙这件事。请注意DBA运用AIOps和DBA运用AI是两码事。

其实这个图一般般，因为没有包含领导任务，领导任务肯定是大头

然后看了下23、24年的年记，可以简单给出我这个dba的工作年度总结：

2023年全面学习postgres
2024年全面运维postgres
2025年负责1510情绪价值

非常讽刺的是，去年有一个结论“dba在给领导们提供1510情绪价值”，今年就陷进这个结论实践了。多的也不想说，总之是很累，心力交瘁。希望明年会有改善。

READING
#

今年比去年看的书更多了（从20+到30+本），反倒是写的什么读书笔记之类的更少了。写东西确实麻烦，很费精力，而我也更喜欢看书的感觉。今年看的书相比于去年，明显pg技术类的减少，技术综合类的增多，甚至开始看心理学、经济学和哲学。总之是狩猎更广，不是仅限于数据库本身了。同时小说也更少了，小说像零食一样，越发对此类没有营养的内容没兴趣。

今年的书单总体分为IT系统类、经济学、科普类、心灵类、小说类，还是像去年一样凭个人喜好排个先后顺序。

IT系统类书单：

1.《SRE Google运维解密》：DBA并不是SRE，不过其工作含有对系统稳定性的目标，这跟DBA是有类似之处的。本书中有些云环境或者管理方面的内容，确实获益匪浅，例如对SLA、系统工程、运维压力、工作琐事、角色轮换、“相信团队而不是相信某一个技术专家”等等内容，非常精彩。前段时间还听到DBRE–Database Reliability Engineer这个概念，比DBA都符合我现在的工作定位。总之是一本好书，现代运维必读之书。

.《奔跑吧 Linux内核入门篇》：运维开源数据库，必须了解操作系统。我研究linux内存的书之一

2.《深入理解Linux进程与内存》：我研究linux内存的书之一

2.《深入理解Linux内核》：我研究linux内存的书之一

5.《可观测性工程》：传统监控和传统运维的模式和缺陷，可观测性本质又是什么，还是比较有帮助的。

经济学书单：

《微观经济学》：神作，作者德隆·阿西莫格鲁。我理解为人生必读读物，这本书是我笔记做的最好的一本书。不仅了解经济，也进一步了解这个社会。里面有些观点我印象深刻，比如

证明为什么市场是一个无形的手，使社会剩余价值最大化，任何调整都会减少社会剩余价值。
什么情况下市场是无效的，无效的有：外部性、公共资源、公共池塘。
女性的职场收入比男性低，其中一个原因是女性要生育，生育期间不能参与生产。
学历的作用是信息传递。也就是一定程度上保真这个人的生产价值
企业的进入和退出是市场正常的信号，不代表紊乱
公平与效益的权衡是一个课题

2.《国家为什么会失败》：神作，作者德隆·阿西莫格鲁。一句话可以总结这本书：国家为什么成功？因为有破坏性创新。德隆·阿西莫格鲁是24年诺贝尔经济学得主，获奖理由是 “对制度如何形成以及如何影响繁荣的研究”。更难得的是，这本书相比于其他经济学著作更容易让人理解。经济学首推神作。

3.《理性乐观派》：说是比肩《人类简史》，那肯定是差一截了。但是内容性不差，也更偏经济学。里面有些观点非常新颖，比如：

现代经济使富人更富，但贫者并未愈穷
自给自足就是贫穷
人类与动物的区别是物物交换（在人类简史里面是认知革命）
收入越多会越幸福，这是事实
贸易在社会地位中的提升，是因为海洋贸易的兴起。因为陆地贸易不稳定，非常容易被掠夺。

4.《股票大作手回忆录》：好像学到了什么好像又啥也没学到。好看还算是好看。

.《博弈论》：说实话，我觉得一般。内容是不多的，也很浅显，主要是经济学老提到博弈论，所以就翻开评鉴一下。

6.《国富论》：非常晦涩，不是给正常人看的，内容性非常强。亚当·斯密一定是个天才，难以想象是什么脑子写出来的。对我来说难度太高，没看完放弃了。

科普类书单：

1.《A BREIF HISTORY OF INTELLIGENCE》：神作，AI时代必读物，这本书被我翻到陈旧，到处都是笔记。解构人类的大脑，理解什么是智力，理解AI是怎么来的。我给满分！我现在只要看到一个动物，首先会想它是什么智力级别···

2.《浪潮之巅》：作者吴军。每个IT工作者都应该看的一本书。讲述IT大公司的沉浮，你可以了解到ORACLE、GOOGLE、仙童、贝尔实验室、甚至融资方面的基础知识。每个公司都有自己的基因，这个基因几乎是不可改变的，也决定了公司的文化和特点。程序员必读。

3.《纳瓦尔宝典》：有很多有用的观点，比如对边际效益的看法。还有更重要的是，里面推荐了我今年最喜欢的书之一——《微观经济学》。以及推荐了改变我习惯的冥想。

4.《如何管理一家软件公司》：作者是弗兰克・斯洛特曼 (Frank Slootman)，一位带领三家软件公司 (ServiceNow、Data Domain、Snowflake) 成功实现 IPO 的硅谷传奇 CEO。很不错的书，从IT公司管理者的角度看待公司发展、员工管理、执行力、决策以及决策失误等等。非常推荐。

5.《银发经济学》：作者大前研一。从日本老龄化问题窥探中国老龄化问题和机遇。天朝的人口结构隐患严重，差不多要到暴雷的时候了，在这个时代下，非常推荐一读。

6.《第四次浪潮》：作者大前研一。主要是讲日本没有赶上IT科技浪潮，仍然是老工业在支撑国民经济，看上去有些嫉妒韩国和中国。我个人很喜欢作者直接喷首相的态度，哈哈。

7.《清单革命》：讲解西医手术前的清单检查的必要性，看似简单的步骤可以极大的提升手术成功率。这本书对我的工作有很大的影响，我确实把清单这个概念带入了工作，我也把数据库运维当成一次外科手术，清单是提高手术成功率的简单又必要的手段。

《人月神话》：“加人”不能使系统工程项目时间线性减少，但也不能通过这个简单的排斥“加人”，因为大型系统工程确实需要很多人协作完成。是不错的书，但是说程序员必读，感觉有点过了。

9.《数学之美》：作者吴军。也挺不错的书，技术总有他的数学基础，这本书通俗易懂地讲述数学之美。

10.《麦肯锡结构化思维》：任何问题都应该结构化拆解，我遇到新的问题我会这么思考。有用的书。

11.《菊与刀》：几年前的囤货没有看所以掏出来看的。写一个二战后的老美对日本的看法，可以窥探一些日本的文化，比如改良的儒家文化，无“仁”，亏欠心理等等。有个缺点是有点太久远了，现在的日本很大程度上不是以前那个样子。

12.《黑天鹅》：黑天鹅指没有预测到的奇异事件。黑天鹅事件总是会发生的，没有100%预测准确这种事情。同时里面还说到分类，我自己联想了一下《结构化思维》《the world I see》的内容，“人类理解事物的本质是对事务分类”，但是分类总会将一些东西分得尴尬甚至分不下去，黑天鹅事件从分类那一刻起就存在了。是一个值得注意的思考，比较有意思。

13.《专业主义》：作者大前研一。非常一般，不推荐

心灵类书单：

1.《欲望的演化》：进化心理学，神作

2.《最优解人生》：在不同的人生阶段，体验正确的事、物，即便是错过后的再体验，也不会有那个时候体验的感受了。人生读物，非常推荐。

3.《十分钟冥想》：主要是讲冥想的重要性，以及怎么去冥想。我就是通过这本书学会的冥想。当我第一次完成冥想时我就爱上了冥想，它给我一种把我带到外太空，然后又回到地球上的感觉。更重要的是，它确实可以减压。冥想已经成为了我生活的一部分。

4.《操纵心理学》：还可以

5.《悉达多》：不明所以，rubbish

6.《生命之书》：纯心灵鸡汤，rubbish

小说类书单：

1.《局外人》：神作。难以描述的真实感，感觉自己就像个局外人。

《yellow face》：很有趣的书，讲的是一个美国白人剽窃一个已故黄种人作家的未发布的作品去发布，甚至笔名都很chinese，当粉丝知道她是白人时，可以感受到有多尴尬。趣味性地探讨种族偏见，像看美剧一样神奇，高潮迭起引人入胜。非常推荐。

3.《昨日的世界》：作者茨威格。一个作家眼中的奥地利、欧洲、一战二战。以另一个角度回到那个动乱的欧洲，很不错的书。

4.《挽救计划》：科幻小说，越发不喜欢看科幻小说了。这本还可以，假如你在外星探索时船员死光光了，你刚好又遇到了一个友好的外星人，你该如何跟他交流···

5.《一个陌生女人的来信》：作者茨威格。不好看，就第一篇新奇一点，其余两篇没有兴趣好好读

6.《撒旦探戈》：不明所以，诺贝尔文学奖亦有差距

博客和公众号
#

公众号的名字一直都很纠结，本来也没什么心思维护，就随便用了几个名字。今年看了个纪录片-最后的棒棒，感触颇多。其实DBA这个行业跟棒棒一样在发生巨变，所以干脆就改成“最后的DBA”了。这个名字还算朗朗上口，也能代表一些时代背景和哲思，看起来是个不错的名字。

由于投入工作的时间很多，本来写东西的时间就不多，再加上今年的运维方式也在不断变化，我的作息怎么调整都调不出一个好的时间段安排，甚至最后投入了一些资金，自己的时间也没见增加，为此恼火了好一阵。现在回过头一看，今年才发了12篇文章，甚至上半年一篇都没有。

很不满意。😠

也不知道是水平高了还是系统真的稳定了，能深入研究的案例似乎变少了。不过这也不算什么大问题，今年还把解读论文当成一种文章类型，我自己感觉效果还可以，能学到不少东西，没有那么故步自封闭门造车。AI去解读论文肯定是快的，但是我自己感觉有2个问题

是否真的理解了。我感觉没有，跟自己去读一遍不是一个概念。自己去读不仅可以了解的更深入，还可以发现一些奇奇怪怪的细节
水不了文章。如果我一个prompt就可以解读论文，那我感觉传播意义不大，现在不用AI的人应该没有了吧

当然不是所有的论文都去一字一句的读，毕竟效率太低了，我只会选一些我感觉还不错有必要逐帧解读的，拿出来细品。

简单总结今年的文章：

数量过少
质量稍有提升，并且是有用的东西(有几篇我个人非常满意)
探索了新的方式

最后
#

今年是忙碌的一年，有不好也有好的回忆，有很多重要的事情没有完成，明年应该做出较大的改变。写这个年记还是挺有意思的，回头看看前几年的自己在干嘛，也是有趣的事情。

去年定的2025年OKR：

一些东西继续–失败
想想怎么做产出–失败
掌握一个其他赛道–半成功
PG···没想好还要怎么做–失败
想办法重拾健身–失败

2025年计划：

一些东西继续
关注自己的心理和身体健康，明年年度巡检告警低于今年
关注文章的阅读量，维护公众号
探索DB AI OPS，明年向自己汇报
向上管理，不可以投入过多时间到工作上
假期旅游而不是卷
读书不低于30本，不可仅关注数量

我的年终总结2024

Sat, 11 Jan 2025 00:00:00 +0000

As a DBA
#

2023对我来说是全面学习pg的一年，而2024就是全面运维pg的一年。其实还有一些资料我很想dive in但是一直没有时间搞，今年主要是案例分析，基础知识学习只有靠时不时的补补了。

年中的时候有一个关于“dba会不会被云时代淘汰的”的讨论，这次讨论我印象很深，我后面也想了很多东西，想了很多为什么别人事情很少，但是我的dba事情这么多之类的，甚至最后还去云计算群里面battle了一圈，确实有收获，不同的立场会有意想不到的结果。battle的结论可能只有一个：dba在给领导们提供1510情绪价值。

无论对还是错吧，今年可以在很多文章中看到对dba职业的思考。dba再继续走传统dba模式肯定是死路一条了，现在的dba会更倾向业务数据层运维，或者上升到架构设计，专注数据库的专家型dba的职位其实是很少的。

READING
#

再说下为何执着看书（23年也说过···）：

阅读带来的价值短期无法估量
阅读带来的知识充值愉悦感
学习是一种信仰。尤瓦尔有个观点是：相信科学实际上也是一种信仰。我选择相信这个信仰，至少24年以及短期可见的未来是这样

我的书单大概分成3类：pg类、大技术范围类、课外书。有中文也有英文，有纸质有电子。

今年继续来个书单排名，类别不同横向对比有点扯，就分类对比吧。再次备注，这些书单是“从头到尾”式的冲着finish去的，当reference的看的书不在此列。

2024年pg书单（按喜好排名）：

《PostgreSQL数据库内核分析》，思路框架清晰，就是版本有点老
《快速掌握PostgreSQL版本新特性》，这应该是我今年最喜欢的pg书，因为它全程无废话，看着舒服
《PostgreSQL指南内幕探索》，这本书我本来想放到第一位，但是因为有interdb在线免费文档，我甚至都不推荐这本书，排在这里是因为interdb太棒了，替身在这里当神供着
《PostgreSQL修炼之道从小工到专家第二版》，很细但也很多，建议快速翻完找到里面的重点，不要逗留太久
《PostgreSQL技术内幕事务处理深度探索》，事务是pg的基础，也是我的源码入门基础
《PostgreSQL实战》，里面的实战还是很值得借鉴
《PostgreSQL 16 Administration Cookbook》，不推荐，目录框架看着不错，内容很空，不推荐在这本书上浪费时间

2024年大技术范围类书单（按喜好排名）：

《DDIA-v2 设计数据密集型应用（第二版）》，好到不知道从何说起，棒到我专门写了读书笔记（我今年唯一的读书笔记文章），相见恨晚
《数据库简史》，读史真的可以明鉴，数据库的故事从这里开始，有些技术的东西都想得更明白了。
《ITIL 4 与devops 服务管理认证指南（第二版）》，IT服务管理的经典，提升一下对运维这个角色的理解，和我工作息息相关的这些东西又是怎么来的，哪些又是不符合实际以及为什么没有应用上？可以领悟到很多东西。
《云原生Kubernetes》，硬核，另一个赛道
《深入浅出Docker》，理解容器和容器历史还不错，容器本身的知识其实不多
《鸟哥的linux私房菜》，sorry我确实没有读过这本经典，补番来的。里面的写做思路很值得借鉴，缺点在于很多东西对于我的职能来说无法受益
《机器学习》，排在这里不是这本书不好，是很难看懂，大概到1/4的时候就放弃了，这本书让我了解了我的智力上限，我很难过
《从零搭建向量数据库》，看源码应该去github
《深入理解go语言》，理解了个寂寞

2024年课外书单（按喜好排名）：

《癌症楼》，这本书上半年早期就看完了，看的时候就觉得，不出意外这本书今年能排第一。诺贝尔文学奖，实至名归
《亲密关系》，理解和恋人、和朋友、和老板的关系，论文风格，扎实，我喜欢
《上帝掷骰子吗？量子物理史话》，别的不说，写作风格极其提供情绪价值，让我想一直看下去，没几天就把他看完了
《The Worlds I see》，AI 李飞飞的自传，一个成都长大的姑娘到水生活热美利坚冒险，最后执掌谷歌AI的故事，顺便讲述了一下AI的发展历史
《今日简史》，尤瓦尔三部曲最后一部，前两本都看完甚是喜欢，但是这一本感觉一般般，算是有始有终吧
《the old man and the sea》，不好评价，我喜欢它的气质，但不喜欢它的内容
《朝问道》，这是一本刘慈欣的短篇小说集，某天在图书馆因为第一篇短篇把它买下了，买回来发现其他短篇都很boring很幼稚，感觉被骗了
《西游记》，暴论：唐僧的身世都讲不明白，乱起八遭、稀里糊涂。看了点就放弃了（我去年对《三国演义》的评价是很高的）

博客和公众号
#

2024年的创作文章：

pg技术 21篇
其他技术 2篇
读书笔记 1篇
无用文章 1篇

今年只写了25篇文章，写作数量较去年明显下降了。

公众号followers 600，虽然人不多，但是我相信每一个都是有品位的人 😸

写技术文章其实挺累的，花的时间要比想象的多的多，不过在写作过程中确实可以学到东西，完作的成就感还是有的。应为要对文章负责，不懂的事情我自己不会去乱写。至于理解有误而出现的错误，其实也是正常现象，没人能保证5年后的自己不怼现在的自己，在当前状态下写对就行了。

今年写作内容上，放弃了课外书的读后感写作，去年写的挺多的，写读后感很费时间而且价值很低，低情绪价值的事情自然就放弃了。其实我每年的写作内容都有差别，目前来看就PG库技术类文章是永恒不变坚持创作的，其他类型的都没那么稳定。这也算正常吧，本来写博客就是为了写数据库，其他领域如果没有应用场景的话，短暂试探期过去就不会再接触了。

还想吐槽一点，国内的博客平台只对文章数量感兴趣，跟我的写作风格十分不契合，我一篇文章都是手敲的上万字，我是宁缺毋滥型博主。所以也懒得管了，准备25年放弃CSDN，就发发github和公众号得了。

CSDN我2017年就开始写了，当初写博客那会就没几个好用的博客托管平台。现在来看CSDN 社区交互为0，上面文章绝大部分都很挫，我自己都不想搜到CSDN的文章，就像虽然有7、8年感情的初恋，该分手还是得分手。

24年的发文途径：

CSDN博客：https://liuzhilong.blog.csdn.net
墨天轮 liuzhilong62
github：https://github.com/liuzhilong62/blogs
公众号：破斯特贵斯库儿

25年预计途径：

github：https://github.com/liuzhilong62/blogs
公众号：破斯特贵斯库儿
其他平台看情况吧

最后
#

我似乎每年都在说work-learning balance···由于今年工作量剧增，有段时间甚至都没办法学习了，balance已经被击碎。没有时间学习我是无法接受的，所以后面调整了一下自己的作息时间（感谢《原子习惯》这本书，我太爱了），总算能挤出一点时间来学习。其实只要周围没人，学习效率就是高的。

收集了一下今年我比较认可的话：

不要让别人成为那你任务链上的依赖 –heisenberg.liu
需要执行力的方案一般都是简单的方案 –heisenberg.liu
没有落地的事情等于没有做 –somebody
自己去想办法解决问题，而不是等别人回消息 –somebody
重要的事情马上就做，等一会都是做不了的 –somebody
不要做重复的低价值的事情，多想想这个需求源头的上下文 –heisenberg.liu
不要在屎里淘金，想办法搞优质信息源 –somebody
SRE需要配置最佳默认参数的能力，也需要批量修改这些参数的能力 –《企业云计算》
杂活做的越多，杂活就越多 –heisenberg.liu
sre 50%的时间用来运维，50%的时间用来研发 –《企业云计算》
过早的优化是万恶之源，过早的代码抽象也是万恶之源 –somebody
人脑接收知识的速度是有限的 –somebody
如果有人不让你看书，那就离开这个人，或者离开这个环境 –heisenberg.liu
做知识库的团队是混子 –somebody
标准的价值是由客户来决定的 –《ITIL 4 》
英雄主义：长时间工作并独立排查故障，长时间的工作也会对工作本身感到倦怠。凡事想成为英雄的人，他们只对自己的成就感兴趣，对团队协调工作置若罔闻 –《ITIL 4 》
不是所有问题都需要定位根因，取决于问题发生频率和故障范围 –《ITIL 4 》

回顾了一下2023年的自己定的计划，总共就2个一个都没完成，KPI达成率0% 😄

结合敏捷运维、敏捷项目管理、OKR的思想，我在年初就给自己定下全年计划，就是不合理的。回想去年、前年，我有些计划就是半路杀出并在优先级上pk过了其他任务。并且有些任务无法完成，这是应该是一个正常状态。so，不给自己立太多flag。

2025年计划：

一些东西继续
想想怎么做产出
掌握一个其他赛道
PG···没想好还要怎么做
想办法重拾健身

ogg搭建oracle-pg同步——实操步骤

Tue, 13 Aug 2024 00:00:00 +0000

源库： oracle(11.2.0.4) 192.168.10.141

目标库：pgsql(10.12) 192.168.10.128

ogg软件版本:(19.1.0.0.4)

ogg软件下载：Oracle GoldenGate Downloads

glibc问题处理：https://www.cnblogs.com/hxlasky/p/16779047.html

1.在源端和目标端安装ogg软件

源端：

一、配置相应文件：oggcore.rsp

oracle.install.responseFileVersion=/home/oracle/oggcore.rsp

INSTALL_OPTION=ORA11g

SOFTWARE_LOCATION=/oracle/ogg

START_MANAGER=false

MANAGER_PORT=7809

DATABASE_LOCATION=/oracle/db/11.2.0.4

INVENTORY_LOCATION=/oracle/oraInventory

UNIX_GROUP_NAME=oinstall

二、静默安装OGG

./runInstaller -silent -nowait -responseFile /home/oracle/oggcore.rsp

oracle@szgtsp431-or@ecsdb>./runInstaller -silent -nowait -responseFile /home/oracle/oggcore.rsp

Starting Oracle Universal Installer…

Checking Temp space: must be greater than 120 MB. Actual 32405 MB Passed

Checking swap space: must be greater than 150 MB. Actual 2048 MB Passed

Preparing to launch Oracle Universal Installer from /tmp/OraInstall2020-08-14_08-57-27AM. Please wait …oracle@szgtsp431-or@ecsdb>You can find the log of this install session at:

/oracle/oraInventory/logs/installActions2020-08-14_08-57-27AM.log

Successfully Setup Software.

The installation of Oracle GoldenGate Core was successful.

Please check ‘/oracle/oraInventory/logs/silentInstall2020-08-14_08-57-27AM.log’ for more details.

2.修改数据库为归档模式

oracle@szgtsp431-or@ecsdb>sqlplus / as sysdba

SQL*Plus: Release 11.2.0.4.0 Production on Fri Aug 14 09:06:34 2020

Connected to:

Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production

With the Partitioning, OLAP, Data Mining and Real Application Testing options

SQL> archive log list;

Database log mode Archive Mode

Automatic archival Enabled

Archive destination /oracle/oradata/archivelog

Oldest online log sequence 19

Next log sequence to archive 21

Current log sequence 21

3.开启数据库的强制日志和最小附加日志

alter database force logging;

alter database add supplemental log data;

alter system switch logfile;

确认是否开启了强制日志和最小附加日志

select force_logging,supplemental_log_data_min from v$database;

4.修改enable_goldengate_replication参数

alter system set enable_goldengate_replication=true scope=both;

若为集群，所有节点都要修改:

alter system set enable_goldengate_replication=true scope=both sid=’*’;

5.创建ogg用户和ogg用户表空间并授权

create tablespace tbs_ogg datafile ‘/oracle/oradata/datafile/tbs_ogg01.dbf’ size 100M;

create user goldengate identified by 123456 default tablespace tbs_ogg temporary tablespace temp;

grant create session,alter session to goldengate;

grant alter system to goldengate;

grant resource to goldengate;

grant connect to goldengate;

grant select any dictionary to goldengate;

grant flashback any table to goldengate;

grant select any table to goldengate;

grant insert any table to goldengate;

grant update any table to goldengate;

grant delete any table to goldengate;

grant select on dba_clusters to goldengate;

grant execute on dbms_flashback to goldengate;

grant create table to goldengate;

grant create sequence to goldengate;

grant alter any table to goldengate;

grant dba to goldengate;

grant lock any table to goldengate;

6.开启表级附件日志

要同步某个schema的表数据或者多个schema的数据，需要对表开启附加日志

检查附件日志：

SELECT

owner,

table_name,

log_group_name,

log_group_type,

decode( always, ‘ALWAYS’, ‘Unconditional’, NULL, ‘Conditional’ ) always

FROM dba_log_groups

ORDER BY owner,table_name,log_group_name;

选择空闲时段打开所需复制表的附加日志:

oracle@szgtsp431-or@ecsdb>ggsci

Oracle GoldenGate Command Interpreter for Oracle

Version 19.1.0.0.4 OGGCORE_19.1.0.0.0_PLATFORMS_191017.1054_FBO

Linux, x64, 64bit (optimized), Oracle 11g on Oct 17 2019 23:13:12

Operating system character set identified as US-ASCII.

GGSCI (szgtsp431-or) 1> dblogin userid goldengate,password 123456

Successfully logged into database.

GGSCI (szgtsp431-or as goldengate@ecsdb) 2> add trandata ecs.*

2020-08-14 09:13:54 INFO OGG-15132 Logging of supplemental redo data enabled for table ECS.DEPT.

2020-08-14 09:13:54 INFO OGG-15133 TRANDATA for scheduling columns has been added on table ECS.DEPT.

2020-08-14 09:13:54 INFO OGG-15135 TRANDATA for instantiation CSN has been added on table ECS.DEPT.

2020-08-14 09:13:54 INFO OGG-15132 Logging of supplemental redo data enabled for table ECS.INFO.

2020-08-14 09:13:54 INFO OGG-15133 TRANDATA for scheduling columns has been added on table ECS.INFO.

2020-08-14 09:13:54 INFO OGG-15135 TRANDATA for instantiation CSN has been added on table ECS.INFO.

2020-08-14 09:13:54 INFO OGG-15132 Logging of supplemental redo data enabled for table ECS.STUDENT_INFO.

2020-08-14 09:13:54 INFO OGG-15133 TRANDATA for scheduling columns has been added on table ECS.STUDENT_INFO.

2020-08-14 09:13:54 INFO OGG-15135 TRANDATA for instantiation CSN has been added on table ECS.STUDENT_INFO.

GGSCI (szgtsp431-or as goldengate@ecsdb) 3>

查看日志是否添加成功:

SQL> select *from (

2 select owner,table_name from dba_tables where owner in (‘BGLWT’)

3 minus

4 select owner,table_name from dba_log_groups)

5 order by owner,table_name;

no rows selected

返回0行，表示所有的表级附加日志添加成功。

7.配置管理进程

oracle@szgtsp431-or@ecsdb>ggsci

Oracle GoldenGate Command Interpreter for Oracle

Version 19.1.0.0.4 OGGCORE_19.1.0.0.0_PLATFORMS_191017.1054_FBO

Linux, x64, 64bit (optimized), Oracle 11g on Oct 17 2019 23:13:12

Operating system character set identified as US-ASCII.

GGSCI (szgtsp431-or) 1> dblogin userid goldengate,password 123456

Successfully logged into database.

GGSCI (szgtsp431-or as goldengate@ecsdb) 2> create subdirs

Creating subdirectories under current directory /home/oracle

Parameter file /oracle/ogg/dirprm: created.

Report file /oracle/ogg/dirrpt: created.

Checkpoint file /oracle/ogg/dirchk: created.

Process status files /oracle/ogg/dirpcs: created.

SQL script files /oracle/ogg/dirsql: created.

Database definitions files /oracle/ogg/dirdef: created.

Extract data files /oracle/ogg/dirdat: created.

Temporary files /oracle/ogg/dirtmp: created.

Credential store files /oracle/ogg/dircrd: created.

Masterkey wallet files /oracle/ogg/dirwlt: created.

Dump files /oracle/ogg/dirdmp: created.

GGSCI (szgtsp431-or as goldengate@ecsdb) 3> edit param mgr

PORT 7809

DYNAMICPORTLIST 7810-7980

PURGEOLDEXTRACTS ./dirdat/*, USECHECKPOINTS, MINKEEPDAYS 3

PURGEDDLHISTORY MINKEEPDAYS 7, MAXKEEPDAYS 10

LAGREPORTHOURS 1

LAGINFOMINUTES 30

LAGCRITICALMINUTES 45

GGSCI (szgtsp431-or as goldengate@ecsdb) 6>

8.配置抽取进程

GGSCI (szgtsp431-or as goldengate@ecsdb) 7> add extract extecs, tranlog, threads 1,begin now

EXTRACT added.

GGSCI (szgtsp431-or as goldengate@ecsdb) 8> add exttrail ./dirdat/lt, extract extecs

EXTTRAIL added.

GGSCI (szgtsp431-or as goldengate@ecsdb) 9> info all

Program Status Group Lag at Chkpt Time Since Chkpt

MANAGER RUNNING

EXTRACT STOPPED EXTECS 00:00:00 00:00:38

GGSCI (szgtsp431-or as goldengate@ecsdb) 10> edit param extecs

EXTRACT extecs

SETENV (ORACLE_HOME = “/oracle/db/11.2.0.4”)

SETENV (ORACLE_SID = “ecsdb”)

USERID goldengate, PASSWORD 123456

EXTTRAIL ./dirdat/lt

TRANLOGOPTIONS EXCLUDEUSER goldengate

TRANLOGOPTIONS DBLOGREADER

DBOPTIONS ALLOWUNUSEDCOLUMN

FETCHOPTIONS USESNAPSHOT, USELATESTVERSION, MISSINGROW REPORT

STATOPTIONS REPORTFETCH

WARNLONGTRANS 1h, CHECKINTERVAL 10m

DYNAMICRESOLUTION

DISCARDFILE ./dirrpt/extecs.dsc, APPEND, MEGABYTES 1024

DISCARDROLLOVER AT 6:00

REPORTROLLOVER AT 6:00

REPORTCOUNT EVERY 1 MINUTES, RATE

DDL INCLUDE MAPPED

DDLOPTIONS ADDTRANDATA, REPORT

DDLOPTIONS NOCROSSRENAME, REPORT

TABLE ECS.*;

9.配置投递进程

GGSCI (szgtsp431-or as goldengate@ecsdb) 11> add extract deliecs, exttrailsource ./dirdat/lt

EXTRACT added.

GGSCI (szgtsp431-or as goldengate@ecsdb) 12> add rmttrail ./dirdat/rt, extract deliecs, megabytes 500

RMTTRAIL added.

GGSCI (szgtsp431-or as goldengate@ecsdb) 13> edit param deliecs

EXTRACT deliecs

PASSTHRU

DYNAMICRESOLUTION

RMTHOST 192.168.10.100, MGRPORT 7809

RMTTRAIL ./dirdat/rt

DISCARDFILE ./dirrpt/deliecs.dsc, APPEND, MEGABYTES 1024

DISCARDROLLOVER AT 6:00

REPORTCOUNT EVERY 1 MINUTES, RATE

REPORT AT 0:00

REPORT AT 1:00

REPORT AT 2:00

REPORT AT 3:00

…

REPORT AT 22:00

REPORT AT 23:00

REPORTROLLOVER AT 00:00

STATOPTIONS RESETREPORTSTATS

TABLE ECS.*;

10.启动抽取进程

GGSCI (szgtsp431-or as goldengate@ecsdb) 20> start extecs

Sending START request to MANAGER …

EXTRACT EXTECS starting

GGSCI (szgtsp431-or as goldengate@ecsdb) 21> info all

Program Status Group Lag at Chkpt Time Since Chkpt

MANAGER RUNNING

EXTRACT STOPPED DELIECS 00:00:00 00:06:06

EXTRACT RUNNING EXTECS 00:00:00 00:00:01

11.配置目标端ogg软件

一、上传ogg软件并解压

二、配置ogg软件的环境变量

[pgsql@szgtsp428-or ~]$ vi .bash_profile

.bash_profile
#

Get the aliases and functions
#

if [ -f ~/.bashrc ]; then

. ~/.bashrc

User specific environment and startup programs
#

PATH=$PATH:$HOME/bin

export PATH

export PGHOME=/usr/local/pgsql

export PGDATA=/data/pgsql

export OGG_HOME=/data/ogg

export PATH=$PATH:$PGHOME/bin:$OGG_HOME

LD_LIBRARY_PATH=$PGHOME/lib

LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib:$OGG_HOME/lib

export LD_LIBRARY_PATH

export ODBCINI=/home/pgsql/odbc.ini

export DD_ODBC_HOME=/data/ogg

[pgsql@szgtsp428-or ~]$ ggsci

Oracle GoldenGate Command Interpreter for PostgreSQL

Version 19.1.0.0.200714 OGGCORE_19.1.0.0.0OGGBP_PLATFORMS_200628.2141

Linux, x64, 64bit (optimized), PostgreSQL on Jun 29 2020 03:59:15

Operating system character set identified as UTF-8.

GGSCI (szgtsp428-or) 1>

12.目标端创建库及表

ecsdb=# \l

List of databases

———–+———-+———-+————-+————-+——————-

(4 rows)

ecsdb=# \d

List of relations

Schema | Name | Type | Owner

——–+————–+——-+———-

public | student_info | table | postgres

(1 row)

ecsdb=# select * from student_info;

id | name | address

—-+——+———

1 | 张三 | 广州

2 | 李四 | 深圳

3 | 王五 | 上海

4 | 赵六 | 北京

5 | 孙七 | 武汉

6 | 阿大 | 成都

7 | 阿二 | 南京

(7 rows)

13.配置目标端管理进程并启动mgr

[pgsql@szgtsp428-or ogg]$ ggsci

Oracle GoldenGate Command Interpreter for PostgreSQL

Version 19.1.0.0.200714 OGGCORE_19.1.0.0.0OGGBP_PLATFORMS_200628.2141

Linux, x64, 64bit (optimized), PostgreSQL on Jun 29 2020 03:59:15

Operating system character set identified as UTF-8.

GGSCI (szgtsp428-or) 1> info all

Program Status Group Lag at Chkpt Time Since Chkpt

MANAGER STOPPED

GGSCI (szgtsp428-or) 2> create subdirs

Creating subdirectories under current directory /data/ogg

Parameter file /data/ogg/dirprm: created.

Report file /data/ogg/dirrpt: created.

Checkpoint file /data/ogg/dirchk: created.

Process status files /data/ogg/dirpcs: created.

SQL script files /data/ogg/dirsql: created.

Database definitions files /data/ogg/dirdef: created.

Extract data files /data/ogg/dirdat: created.

Temporary files /data/ogg/dirtmp: created.

Credential store files /data/ogg/dircrd: created.

Masterkey wallet files /data/ogg/dirwlt: created.

Dump files /data/ogg/dirdmp: created.

GGSCI (szgtsp428-or) 3> edit param mgr

port 7809

GGSCI (szgtsp428-or) 4> info all

Program Status Group Lag at Chkpt Time Since Chkpt

MANAGER STOPPED

GGSCI (szgtsp428-or) 5> start mgr

Manager started.

GGSCI (szgtsp428-or) 7> info all

Program Status Group Lag at Chkpt Time Since Chkpt

MANAGER RUNNING

GGSCI (szgtsp428-or) 8>

这个时候在源端启动投递进程 deliecs

oracle@szgtsp431-or@ecsdb>ggsci

Oracle GoldenGate Command Interpreter for Oracle

Version 19.1.0.0.4 OGGCORE_19.1.0.0.0_PLATFORMS_191017.1054_FBO

Linux, x64, 64bit (optimized), Oracle 11g on Oct 17 2019 23:13:12

Operating system character set identified as US-ASCII.

GGSCI (szgtsp431-or) 1> info all

Program Status Group Lag at Chkpt Time Since Chkpt

MANAGER RUNNING

EXTRACT ABENDED DELIECS 00:00:00 01:06:41

EXTRACT RUNNING EXTECS 00:00:00 00:00:07

GGSCI (szgtsp431-or) 2> start deliecs

Sending START request to MANAGER …

EXTRACT DELIECS starting

GGSCI (szgtsp431-or) 3> info all

Program Status Group Lag at Chkpt Time Since Chkpt

MANAGER RUNNING

EXTRACT RUNNING DELIECS 00:00:00 01:06:55

EXTRACT RUNNING EXTECS 00:00:00 00:00:01

GGSCI (szgtsp431-or) 4> info all

Program Status Group Lag at Chkpt Time Since Chkpt

MANAGER RUNNING

EXTRACT RUNNING DELIECS 00:00:00 00:00:00

EXTRACT RUNNING EXTECS 00:00:00 00:00:05

14.目标端pgsql的参数调整

[pgsql@szgtsp428-or pgsql]$ vi /data/pgsql/postgresql.conf

wal_level = logical #minimal, replica, or logical

max_replication_slots = 10 #max number of replication slots

max_wal_sender = 10 #maximum number of wal sender processes

wal_receiver_status_interval=10s #optional, keep the system default

wal_sender_timeout = 60s #optional, keep the system default

track_commit_timestamp=off #optional, keep the system default

调整参数后重启pgsql

[pgsql@szgtsp428-or pgsql]$ pg_ctl status -D /data/pgsql/ -l /data/pgsql/logfile

pg_ctl: server is running (PID: 2370)

/usr/local/pgsql/bin/postgres “-D” “/data/pgsql”

[pgsql@szgtsp428-or pgsql]$ pg_ctl stop -D /data/pgsql/ -l /data/pgsql/logfile

waiting for server to shut down…. done

server stopped

[pgsql@szgtsp428-or pgsql]$ pg_ctl start -D /data/pgsql/

waiting for server to start….2020-08-14 11:00:45.360 CST [2817] LOG: listening on IPv4 address “0.0.0.0”, port 5432

2020-08-14 11:00:45.361 CST [2817] LOG: listening on IPv6 address “::”, port 5432

2020-08-14 11:00:45.364 CST [2817] LOG: listening on Unix socket “/tmp/.s.PGSQL.5432”

2020-08-14 11:00:45.375 CST [2818] LOG: database system was shut down at 2020-08-14 10:50:10 CST

2020-08-14 11:00:45.378 CST [2817] LOG: database system is ready to accept connections

done

server started

15.数据源配置

vi odbc.ini

[pgsql@szgtsp428-or ~]$ vi /home/pgsql/odbc.ini

[ODBC Data Sources]

PGDSN=DataDirect 10.12 PostgreSQL Wire Protocol

postgres=DataDirect 10.12 PostgreSQL Wire Protocol

scott=DataDirect 10.12 PostgreSQL Wire Protocol

[ODBC]

IANAAppCodePage=4

InstallDir=/data/ogg

[PGDSN]

Driver=/data/ogg/lib/GGpsql25.so

Description=DataDirect 10.12 PostgreSQL Wire Protocol

Database=ecsdb

HostName=127.0.0.1

PortNumber=5432

LogonID=postgres

Password=123456

16.连接测试

[pgsql@szgtsp428-or ~]$ cd /data/ogg

[pgsql@szgtsp428-or ogg]$ ggsci

Oracle GoldenGate Command Interpreter for PostgreSQL

Version 19.1.0.0.200714 OGGCORE_19.1.0.0.0OGGBP_PLATFORMS_200628.2141

Linux, x64, 64bit (optimized), PostgreSQL on Jun 29 2020 03:59:15

Operating system character set identified as UTF-8.

GGSCI (szgtsp428-or) 1> info all

Program Status Group Lag at Chkpt Time Since Chkpt

MANAGER RUNNING

GGSCI (szgtsp428-or) 2> dblogin sourcedb pgdsn userid postgres, password postgres

2020-08-14 11:35:01 INFO OGG-03036 Database character set identified as UTF-8. Locale: en_US.UTF-8.

2020-08-14 11:35:01 INFO OGG-03037 Session character set identified as UTF-8.

Successfully logged into database.

GGSCI (szgtsp428-or as postgres@pgdsn) 3>

17.目标端配置复制进程并启动

添加checkpoint table

[pgsql@szgtsp428-or ogg]$ ggsci

Oracle GoldenGate Command Interpreter for PostgreSQL

Version 19.1.0.0.200714 OGGCORE_19.1.0.0.0OGGBP_PLATFORMS_200628.2141

Linux, x64, 64bit (optimized), PostgreSQL on Jun 29 2020 03:59:15

Operating system character set identified as UTF-8.

GGSCI (szgtsp428-or) 1> dblogin sourcedb pgdsn userid postgres, password 123456

2020-08-14 15:22:52 INFO OGG-03036 Database character set identified as UTF-8. Locale: en_US.UTF-8.

2020-08-14 15:22:52 INFO OGG-03037 Session character set identified as UTF-8.

Successfully logged into database.

GGSCI (szgtsp428-or as postgres@pgdsn) 2> add checkpointtable public.chkt

Successfully created checkpoint table public.chkt.

GGSCI (szgtsp428-or as postgres@pgdsn) 4> list table public.*

public.chkt

public.chkt_lox

public.student_info

public.test

Found 4 tables matching list criteria.

GGSCI (szgtsp428-or as postgres@pgdsn) 34> edit param repl

REPLICAT repl

SOURCEDEFS ./dirdef/student_info.def

SETENV (PGCLIENTENCODING = “UTF8”)

SETENV (ODBCINI="/home/pgsql/odbc.ini")

SETENV (NLS_LANG=“AMERICAN_AMERICA.AL32UTF8”)

targetdb pgdsn userid postgres, password 123456

DISCARDFILE ./dirrpt/repl.dsc, purge

MAP ecs.student_info, TARGET public.student_info;

GGSCI (szgtsp428-or as postgres@pgdsn) 36> add replicat repl,exttrail ./dirdat/rt,checkpointtable public.chkt

REPLICAT added.

GGSCI (szgtsp428-or as postgres@pgdsn) 38> start repl

Sending START request to MANAGER …

REPLICAT REPL starting

GGSCI (szgtsp428-or as postgres@pgdsn) 55> info all

Program Status Group Lag at Chkpt Time Since Chkpt

MANAGER RUNNING

REPLICAT RUNNING REPL 00:00:00 00:00:08

18.测试验证

首先在目标端创建跟源端student_info一致的表结构

ecsdb=# create table student_info (id int primary key,name varchar(100),address varchar(100));

CREATE TABLE

然后进行数据初始化:

在源库配置extinit进程

GGSCI (szgtsp431-or as goldengate@ecsdb) 17> edit param extinit

EXTRACT extinit

userid goldengate, PASSWORD 123456

REPORTCOUNT EVERY 30 MINUTES, RATE

DISCARDFILE ./dirrpt/extinit.dsc, APPEND, MEGABYTES 1024

RMTHOST 192.168.10.100,MGRPORT 7809, compress

RMTTASK replicat,GROUP replinit

TABLE ecs.student_info;

GGSCI (szgtsp431-or as goldengate@ecsdb) 18> ADD EXTRACT extinit, SOURCEISTABLE

EXTRACT added.

在目标端配置replinit进程

GGSCI (szgtsp428-or as postgres@pgdsn) 28> edit param replinit

REPLICAT replinit

targetDB pgdsn, USERID postgres, PASSWORD 123456

discardfile ./dirrpt/replinit.dsc, PURGE

SOURCEDEFS ./dirdef/student_info.def

Map ecs.student_info,target public.student_info;

GGSCI (szgtsp428-or as postgres@pgdsn) 29>add replicat repinit, SPECIALRUN

REPLICAT added.

开启oracle到pg的数据初始化:

GGSCI (szgtsp431-or as goldengate@ecsdb) 9> start extinit

Sending START request to MANAGER …

EXTRACT EXTINIT starting

目标端：(查看初始化行数)

View report replicat

查看两边的数据:

源：

SQL> set lines 200 pages 200;

SQL> col name for a10;

SQL> col address for a10;

SQL> select * from student_info;

ID NAME ADDRESS

1 张三广州

2 李四深圳

3 王五上海

4 赵六北京

5 孙七武汉

6 阿大成都

7 阿二南京

8 阿三北京

8 rows selected.

目标:

ecsdb=# select * from student_info;

id | name | address

—-+——+———

1 | 张三 | 广州

2 | 李四 | 深圳

3 | 王五 | 上海

4 | 赵六 | 北京

5 | 孙七 | 武汉

6 | 阿大 | 成都

7 | 阿二 | 南京

8 | 阿三 | 北京

(8 rows)

往源端插入数据:

SQL> insert into ecs.student_info values (10,‘aa’,‘bb’);

1 row created.

SQL> commit;

Commit complete.

SQL> select * from student_info;

ID NAME ADDRESS

1 张三广州

2 李四深圳

3 王五上海

4 赵六北京

5 孙七武汉

6 阿大成都

7 阿二南京

8 阿三北京

10 aa bb

9 rows selected.

查看目标端:

ecsdb=# select * from student_info;

id | name | address

—-+——+———

1 | 张三 | 广州

2 | 李四 | 深圳

3 | 王五 | 上海

4 | 赵六 | 北京

5 | 孙七 | 武汉

6 | 阿大 | 成都

7 | 阿二 | 南京

8 | 阿三 | 北京

10 | aa | bb

(9 rows)

数据已经同步OK了。

ogg搭建pg-oracle同步——实操步骤

Tue, 13 Aug 2024 00:00:00 +0000

ogg软件版本:(19.1.0.0.4) oracle版本：11.2.0.4 pg版本：pg10 ogg下载地址：https://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html

glibc问题处理：https://www.cnblogs.com/hxlasky/p/16779047.html

1.源端创建库及表
#

[root@node2 ~]# su - postgres
Last login: Tue Jul 21 21:08:52 CST 2020 on pts/0
[postgres@node2 ~]$ pg_ctl -D /opt/pgsql_data -l logfile start
waiting for server to start.... done
server started
postgres=# create database test
postgres=# \c lzldb
postgres=# create table tab1(id int primary key,name varchar(20))

2.目标端创建库及表
#

sqlplus / as sysdba
SQL> create table ORALZL.tab1(id number primary key,name varchar2(20));

3.解压安装ogg for postgresql
#

--跟ogg for oracle不同，ogg for pg只需要解压。for o需要跑runinstaller
[postgres@node1 ~]$ id postgres
uid=54323(postgres) gid=54330(postgres) groups=54330(postgres)
[postgres@node1 ~]$ exit
logout
[root@node1 ~]# mkdir /ogg
[root@node1 ~]# chown -R postgres /ogg
[root@node1 ~]# chmod -R 755 /ogg
[root@node1 ~]#
[root@node1 soft]# ls -l

total 240744

-rw-r--r--. 1 root root 87028695 Jul 22 02:51 19100200714_ggs_Linux_x64_PostgreSQL_64bit.zip
[root@node1 soft]# chmod 777 19100200714_ggs_Linux_x64_PostgreSQL_64bit.zip
[root@node1 soft]# unzip 19100200714_ggs_Linux_x64_PostgreSQL_64bit.zip
Archive: 19100200714_ggs_Linux_x64_PostgreSQL_64bit.zip
 inflating: ggs_Linux_x64_PostgreSQL_64bit.tar 
 inflating: OGG-19.1.0.0-README.txt 
 inflating: release-notes-oracle-goldengate_19.1.0.200714.pdf 
[root@node1 soft]# chmod 777 ggs_Linux_x64_PostgreSQL_64bit.tar
[root@node1 soft]# su - postgres
[postgres@node1 ~]$ cd /soft
[postgres@node1 soft]$ tar -xf ggs_Linux_x64_PostgreSQL_64bit.tar -C /ogg

4.pg用户环境变量配置
#

pg源端

[postgres@node1 ~]$ cat .bash_profile
## .bash_profile
## Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
## User specific environment and startup programs
PATH=$PATH:$HOME/.local/bin:$HOME/bin
export GGHOME=/ogg
export PG_DATA=/opt/pgsql/pgsql/bin
export PATH=$PG_DATA:$PATH
export PG_HOME=/opt/pgsql/pgsql
export LD_LIBRARY_PATH=$PG_HOME/lib:$LD_LIBRARY_PATH:$GGHOME/lib
export ODBCINI=/home/postgres/odbc.ini
export DD_ODBC_HOME=/ogg
export PATH
[postgres@node1 ~]$ source .bash_profile

5.配置管理进程
#

[postgres@node1 ~]$ cd /ogg
[postgres@node1 ogg]$ ./ggsci
Oracle GoldenGate Command Interpreter for PostgreSQL
Version 19.1.0.0.200714 OGGCORE_19.1.0.0.0OGGBP_PLATFORMS_200628.2141
Linux, x64, 64bit (optimized), PostgreSQL on Jun 29 2020 03:59:15
Operating system character set identified as UTF-8.
Copyright (C) 1995, 2019, Oracle and/or its affiliates. All rights reserved.
GGSCI (node1) 2> info all
Program Status Group Lag at Chkpt Time Since Chkpt
MANAGER STOPPED 


GGSCI (node1) 3> create subdirs
Creating subdirectories under current directory /ogg
Parameter file /ogg/dirprm: created.
Report file /ogg/dirrpt: created.
Checkpoint file /ogg/dirchk: created.
Process status files /ogg/dirpcs: created.
SQL script files /ogg/dirsql: created.
Database definitions files /ogg/dirdef: created.
Extract data files /ogg/dirdat: created.
Temporary files /ogg/dirtmp: created.
Credential store files /ogg/dircrd: created.
Masterkey wallet files /ogg/dirwlt: created.
Dump files /ogg/dirdmp: created.
GGSCI (node1) 4> edit params mgr
GGSCI (node1) 5> view params mgr
port 7809
GGSCI (node1) 6> start mgr
Manager started.
GGSCI (node1) 7> info all
Program Status Group Lag at Chkpt Time Since Chkpt
MANAGER RUNNING 

6.源端postgresql参数调整
#

[postgres@node1 ogg]$ vi /opt/pgsql_data/postgresql.conf
wal_level = logical #minimal, replica, or logical
max_replication_slots = 10 #max number of replication slots
max_wal_sender = 10 #maximum number of wal sender processes
wal_receiver_status_interval=10s #optional, keep the system default
wal_sender_timeout #optional, keep the system default
track_commit_timestamp #optional, keep the system default
wal_receiver_status_interval=10s
wal_sender_timeout = 60s
track_commit_timestamp=off

调整后重启源端postgresql

[postgres@node1 ogg]$ pg_ctl -D /opt/pgsql_data -l logfile stop
[postgres@node1 ogg]$ pg_ctl -D /opt/pgsql_data -l logfile start

7.ogg for pg数据源配置
#

cd /home/postgres/
vi odbc.ini
[ODBC Data Sources]
PGDSN=DataDirect 7.1 PostgreSQL Wire Protocol
postgres=DataDirect 7.1 PostgreSQL Wire Protocol
scott=DataDirect 7.1 PostgreSQL Wire Protocol
[ODBC]
IANAAppCodePage=4
InstallDir=/ogg
[PGDSN]
Driver=/ogg/lib/GGpsql25.so
Description=DataDirect 7.1 PostgreSQL Wire Protocol
Database=test
HostName=192.168.1.112
PortNumber=5432
LogonID=postgres
Password=postgres

8. 连接测试
#

[postgres@node1 ~]$ cd /ogg
[postgres@node1 ogg]$ ./ggsci
--dblogin sourcedb pgdsn userid pg, password 123456
GGSCI (node1) 1> dblogin sourcedb pgdsn userid postgres, password postgres
2020-07-22 03:10:44 INFO OGG-03036 Database character set identified as UTF-8. Locale: en_US.UTF-8.
2020-07-22 03:10:44 INFO OGG-03037 Session character set identified as UTF-8.
Successfully logged into database.
GGSCI (node1 as postgres@pgdsn) 2>

9.开启表级别附加日志
#

源端：

GGSCI (node1) 3> dblogin sourcedb pgdsn userid postgres, password postgres
2020-07-22 03:21:01 INFO OGG-03036 Database character set identified as UTF-8. Locale: en_US.UTF-8.
2020-07-22 03:21:01 INFO OGG-03037 Session character set identified as UTF-8.
Successfully logged into database.
GGSCI (node1 as postgres@pgdsn) 4> add trandata public.tab1 --如果表有主键这步可以忽略
Logging of supplemental log data is enabled for table public.tab1. REPLICA IDENTITY was DEFAULT and is changed to FULL
GGSCI (node1 as postgres@pgdsn) 5>
GGSCI (node1 as postgres@pgdsn) 5> info trandata public.tab1
Logging of supplemental log data is enabled for table public.t1 with REPLICA IDENTITY set to FULL

10 在pg上注册抽取进程
#

在pg库上注册抽取进程，实际上就是创建了一个复制槽,output plugin 默认使用test_decoding

 GGSCI (node1 as postgres@pgdsn) 6> Register Extract ext_pg
 2020-07-22 03:25:27 INFO OGG-25355 Successfully created replication slot 'ext_pg_2947c06e0ea2ec74' for EXTRACT group 'EXT_PG' in database 'test'.

11.配置抽取进程和投递进程
#

配置抽取进程

 edit param ext_pg

SETENV ( PGCLIENTENCODING = "UTF8" )
 SETENV (NLS_LANG="AMERICAN_AMERICA.AL32UTF8")
 extract ext_pg
 SETENV (ODBCINI="/home/pg/odbc.ini" ) 
 SOURCEDB pgdsn, USERID pg, PASSWORD 123456
 exttrail ./dirdat/st
 TABLE PUBLIC.TAB1;
 ----GETTRUNCATES ###此特性postgresql 2020-07-22 03:33:37 ERROR OGG-25541 GETTRUNCATES is not valid with OGG EXTRACT on PostgreSQL database version 10.12. PostgreSQL database supports capture of TRUNCATE operations starting from version 11.

说明pg到oracle无法同步truncate命令

配置投递进程

 extract pump_pg
 SETENV (ODBCINI="/home/pg/odbc.ini" )
 RMTHOST 172.17.100.150, MGRPORT 7809, compress
 numfiles 10000
 RMTTRAIL ./dirdat/rt
 TABLE PUBLIC.TAB1;

12.添加trail和启动抽取和投递
#

ADD extract ext_pg, TRANLOG,BEGIN now
 add exttrail ./dirdat/st,extract ext_pg,megabytes 500
 add extract pump_pg,exttrailsource ./dirdat/st
 add rmttrail ./dirdat/rt,extract pump_pg,megabytes 500
 start ext_pg
 start pump_pg

13 配置defgen
#

如果表结构一直可以配置参数ASSUMETARGETDEFS

edit param defgen

DEFSFILE ./dirdef/tab1.def, PURGE
 SOURCEDB pgdsn, USERID pg, PASSWORD 123456
 TABLE PUBLIC.tab1;

生成表定义文件

defgen paramfile /oggpg/dirdef/tab1.prm

拷贝defgen文件到目标端的dirdef目录下

14.目标端验证trail投递正常
#

[oracle@lzl dirdat]$ cd dirdat
 [oracle@lzl dirdat]$ ll
 -rw-r----- 1 pg pg 1439 Feb 28 11:02 rt000000000

15.在pg上注册抽取进程
#

在pg库上注册抽取进程，实际上就是创建了一个复制槽

GGSCI (node1 as postgres@pgdsn) 6> Register Extract ext_pg
2020-07-22 03:25:27 INFO OGG-25355 Successfully created replication slot 'ext_pg_2947c06e0ea2ec74' for EXTRACT group 'EXT_PG' in database 'test'.

16.配置oracle用户环境变量
#

export ORACLE_BASE=/oracle/app/oracle
 export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1
 export ORACLE_SID=oralzl
 export OGG_HOME=/oggfororacle
 export PATH=$ORACLE_HOME/bin:$ORACLE_HOME/OPatch:$PATH
 export TNS_ADMIN=$ORACLE_HOME/network/admin
 export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$OGG_HOME:$ORACLE_HOME/lib32:/lib/usr/lib:/usr/local/lib

17.配置oracle侧的监听和tns
#

ogg for oracle会默认使用TNS_ADMIN下的tns 也可以在配置抽取的时候手动配置如：USERID goldengate@127.0.0.1:1521/oralzl, PASSWORD 123456

18.目标端安装ogg for oracle
#

下载ogg软件配置oggcore.rsp文件

oracle.install.responseFileVersion=/home/oracle/oggcore.rsp
INSTALL_OPTION=ORA11g
SOFTWARE_LOCATION=/ogg
START_MANAGER=false
MANAGER_PORT=7809
DATABASE_LOCATION=/oracle/db/11.2.0.4
INVENTORY_LOCATION=/oracle/oraInventory
UNIX_GROUP_NAME=oinstall

静默安装OGG

./runInstaller -silent -nowait -responseFile /home/oracle/oggcore.rsp

19 oracle库的用户和权限
#

create user goldengate identified by "123456";
 grant create session,alter session to goldengate;
 grant alter system to goldengate;
 grant resource to goldengate;
 grant connect to goldengate;
 grant select any dictionary to goldengate;
 grant flashback any table to goldengate;
 grant select any table to goldengate;
 grant select any table to goldengate;
 grant insert any table to goldengate;
 grant update any table to goldengate;
 grant delete any table to goldengate;
 grant select on dba_clusters to goldengate;
 grant execute on dbms_flashback to goldengate;
 grant create table to goldengate;
 grant create sequence to goldengate;
 grant alter any table to goldengate;
 grant dba to goldengate;
 grant lock any table to goldengate;

20 目标端mgr进程
#

edit param mgr

PORT 7809
 DYNAMICPORTLIST 7810-7980
 PURGEOLDEXTRACTS ./dirdat/*, USECHECKPOINTS, MINKEEPDAYS 3
 PURGEDDLHISTORY MINKEEPDAYS 7, MAXKEEPDAYS 10
 LAGREPORTHOURS 1
 LAGINFOMINUTES 30
 LAGCRITICALMINUTES 45

start mgr

21 目标端配置复制进程
#

GGSCI (node2) 8> dblogin userid goldengate@127.0.0.1:1521/oralzl,password 123456
GGSCI (node2 as postgres@pgdsn) 9> add checkpointtable goldengate.chkt
Successfully created checkpoint table public.chkt.

复制进程：

 edit param rep_pg
REPLICAT rep_pg
 USERID goldengate@127.0.0.1:1521/oralzl, PASSWORD 123456
 SOURCEDEFS ./dirdef/tab1.def
 MAP public.tab1, TARGET oralzl.tab1; 
add replicat rep_pg,exttrail ./dirdat/rt,checkpointtable goldengate.chkt
 start rep_pg

22 测试同步
#

[postgres@node1 ~]$ psql
postgres=# \c lzldb
test=# \d tab1;
​ Table "public.tab1"
 Column | Type | Collation | Nullable | Default 
--------+-----------------------+-----------+----------+---------
 id | integer | | not null | 
 name | character varying(20) | | | 
Indexes:
 "t1_pkey" PRIMARY KEY, btree (id)


lzldb=# insert into t2 values(1,'lzl1') ;
INSERT 0 1
lzldb=# select * from t2;
 id | name 
----+------
 1 | lzl1


[postgres@node2 ~]$sqlplus / as sysdba
SQL> select * from oralzl.tab1; 
​ id name 
---------- ----------
​ 1 lzl1 

pg_rewind初识

Tue, 13 Aug 2024 00:00:00 +0000

什么是pg_rewind?
#

pg_rewind是pg提供的工具，当2个pg实例时间线（timeline）出现分叉时，pg_rewind可以做实例间的同步。（比如主库运行的情况下，备库failover后运行了一段时间，此时主备的时间线就出现了分叉） pg_rewind会对比两者的大小，然后把大小不一样的文件从源拷贝到目标，包括配置文件。但是它不会对比没有发生改变的文件，所以pg_rewind在比较大的库，更改少量数据时，运行效率较高。 pg_rewind可以运用在备库failover后，备库即时运行一段时间，也可以把备库拉到和主库一样的状态，重新成为standby。 pg_rewind运行过程中，会对比主（源）备（目标）的差异点，并把主库的差异点后的WAL日志传递给备库。所以，如果主库在差异点之后的WAL也丢失了，那么rewind是不会拷贝不存在的WAL日志的，所以此时备库仍然不会被成功做成standby。解决该问题需要用restore。

！！！在使用pg_rewind时，应备份目标实例。pg_rewind会直接覆盖目标库的文件，如果rewind失败，那么可能目标库无法启动。

pg_rewind的使用
#

主备切换后，老主库仍然运行，导致主备时间线不一致，老主库无法当做新主库的备库启动

拉起备库时，报时间线错误如下

LOG:  entering standby mode
FATAL:  requested timeline 2 is not a child of this server's history
DETAIL:  Latest checkpoint is at 0/6000028 on timeline 1, but in the history of the requested timeline, the server forked off from that timeline at 0/4000098.
LOG:  startup process (PID 22321) exited with exit code 1
LOG:  aborting startup due to startup process failure
LOG:  database system is shut down

此时需要用rewind重新拉齐一次主备

1.配置当前主库的pg_hba 配置pg_rewind的登陆用户登陆源库许可，hba生效需要重启数据库

vi $source/pg_hba.conf
host    all       pg         172.17.100.150/32          trust

pg_rewind需要使用高权限用户，pg新版本可以授权，pg老版本最好用超级用户。我当前环境的版本为pg9.6，直接使用OS超级用户

2.wal_log_hints = on参数配置将wal_log_hints = on追加到目标库postgres.conf，重新启动并关闭一次目标库（此时主库是启动状态，备库是关闭状态）

vi $dest/postgres.conf

wal_log_hints = on

3.pg_rewind命令执行

[pg@lzl pg96data_sla]$ /pg/pg96/bin/pg_rewind --target-pgdata /pg/pg96data_pri --source-server='host=172.17.100.150 port=5433 user=pg password=oracle  dbname=postgres'
servers diverged at WAL position 0/4000098 on timeline 1
rewinding from last common checkpoint at 0/4000028 on timeline 1
Done!

4.配置备库参数更改postgres.conf和recovery.conf中的IP、端口、目录等配置，pg_rewind会把配置文件也cp过来

[pg@lzl pg96data_pri]$ mv recovery.done recovery.conf
[pg@lzl pg96data_pri]$ vi recovery.conf
[pg@lzl pg96data_pri]$ vi postgres.conf

5.启动备库

[pg@lzl pg96data_pri]$ /pg/pg96/bin/pg_ctl -D /pg/pg96data_sla -l /pg/pg96data_sla/server.log start 
server starting
[pg@lzl pg96data_sla]$ psql -p5433 postgres
psql (9.6.17)
postgres=# \x
Expanded display is on.
postgres=# select * from pg_stat_replication ;
-[ RECORD 1 ]----+------------------------------
pid | 24766
usesysid | 16384
usename | lzl
application_name | walreceiver
client_addr | 172.17.100.150
client_hostname | 
client_port | 47345
backend_start | 2021-07-30 07:44:05.582546+00
backend_xmin | 
state | streaming
sent_location | 0/4033790
write_location | 0/4033790
flush_location | 0/4033790
replay_location | 0/4033790
sync_priority | 0
sync_state | async

常见问题
#

pg_rewind命令报错一
#

could not fetch remote file "global/pg_control": ERROR:  must be superuser to read files
Failure, exiting

解决办法：使用高权限用户

postgres=# \du
                                    List of roles
  Role name  |                         Attributes                         | Member of 
-------------+------------------------------------------------------------+-----------
 lzl         | Replication                                                | {}
 pg          | Superuser, Create role, Create DB, Replication, Bypass RLS | {}
 rewind_user |                                                            | {}

pg用户是pg server自带的超级用户，跟pg安装用户相同。os的安装用户肯定有修改pg_control的权限

/pg/pg96/bin/pg_rewind --target-pgdata /pg/pg96data_pri --source-server='host=172.17.100.150 port=5433 user=pg password=oracle  dbname=postgres'

pg_rewind命令报错二
#

could not connect to server: FATAL:  no pg_hba.conf entry for host "172.17.100.150", user "rewind_user", database "postgres"
Failure, exiting

没有配置pg_hba.conf连接解决办法：配置用户的pg_hba，例如

host    all       pg         172.17.100.150/32          trust

pg_rewind命令报错三
#

[pg@lzl pg96data_sla]$   /pg/pg96/bin/pg_rewind --target-pgdata /pg/pg96data_pri --source-server='host=172.17.100.150 port=5433 user=pg password=oracle  dbname=postgres'

target server needs to use either data checksums or "wal_log_hints = on"

问题原因：

full_page_writes （默认开启）
wal_log_hints 设置成 on 或者 PG 在初始化时开启 checksums 功能解决办法：将wal_log_hints = on配置到目标库postgres.conf，启动再关闭一次目标库（目标库本来就是关闭的，必须启动再关闭一次，不然参数不会生效）

vi postgres.conf 加入目标库配置

wal_log_hints = on

重启目标库以生效

[pg@lzl pg96data_sla]$  /pg/pg96/bin/pg_ctl -D /pg/pg96data_pri -l /pg/pg96data_pri/server.log start      
server starting
[pg@lzl pg96data_sla]$  /pg/pg96/bin/pg_ctl -D /pg/pg96data_pri -l /pg/pg96data_pri/server.log stop
waiting for server to shut down.... done

参考文档：
#

https://www.postgresql.org/docs/9.6/app-pgrewind.html

我是如何考上武汉大学在职研究生的

Tue, 13 Aug 2024 00:00:00 +0000

我为什么要考在职研究生？
#

提升学历。我的学历是一个普通的本科学校。学历高一点的话在以后的职业生涯会稍微增加一点竞争力
之前投递过一家国企，简历石沉大海。但是同办公室的一个学历较高的同事就通过了，所以如果是国企单位，高学历就是敲门砖
弥补大四考研失败的遗憾，重拾研究生的梦想
学习总不会有错，这是我的信仰

全日制研究生和在职研究生的区别
#

学习状态
#

全日制是脱产的，在职是可以工作的。这条基本定死了大部分打工人只能考非全

考试范围
#

全日制考试压力更大，考试范围基本都是4门：高数，考研英语，政治，专业课. 非全考试压力较小，考试范围是2门：管综（初中数学，逻辑，写作），考研英语. 非全除了英语跟全日制差不多外，管综考试内容比全日制简单很多（后面细说管理类综合联考）

研究方向
#

全日制研究生偏向研究性质，重学习和科研成果，培养学生的学习能力和研究能力。

非全研究生偏向提升学生的管理才能，向社会输送管理类人才。

两个方向有很大的不同.

社会认可度
#

全日制研究生肯定比非全的认可度高，毕竟门槛高，学习压力更大，主流学历，社会认可要更高。但是非全认可度也是有的，很多学校已明确方针是一视同仁的（明面上）。最重要的一点是，非全日制研究生持有双证（学位证书和学历证书）。

对于工作方面，就看单位情况了，有些单位招聘要求只要是研究生学历即可，有些可能真写明必须是全日制研究生。但是对于无法脱产提升学历的人来说，非全几乎是唯一途径. 总之，非全同样是双证，非全认可度 < 全日制认可度

如何选专业
#

结合工作性质、发展意向、人民币余额综合考虑..

人力资源或金融方向或公司高管：MBA

技术工种或工程管理：MEM

公务员或公共管理：MPA

会计：MPAcc。其他还有几个比较冷门自行百度

从人民币余额角度考虑，每所学校收费不同，但一般不会差别过大。以四川大学为例，MEM一年学费1.5w，MBA一年15w，MPA好像跟MEM差不多。

像我这样的it人士，囊中羞涩，自我感觉也做不到高管，比较适合MEM。

如何选择学校
#

因为学习难度相对比较简单，社会认可度也没有全日制高，所以建议选择当地名校。211、985是极其推荐的，找一个自己心仪的学校即可。很多985院校的录取分数线就是国家线，所以个人感觉非211、985的院校报考意义不大，既然分数都一样为什么不选择好一点的学习呢？

当然有些985有自己的自划线，这个需要自己到学院官网找历年的录取分数线，例如四川大学每年都是自划线，一般超国家线20-30分。

怎么考试？
#

考试内容
#

考试分为初试和复试，初试在12月底，复试在3月份。

初试既笔试。在报名考试和考点后，在12月底进行考试，一天考完，每场考试3小时。

复试既面试。少部分学校会加笔试，但是从疫情以后，都是网络面试，很少有面试的时候用笔写什么东西。

初试内容：（管理类综合联考）

复试内容：

提前面试
#

提前面试指初试之前，学院安排面试，相当于把复试提前。提前面试通过以后，初试只需要过国家线即可。而一般考试流程下，需要过学院自划线。

提前面试也是只有部分院校才有，比如清华有提前批面试，四川大学没有提前批面试。这个就要看报考院校的官网信息了。

加入通过了提前面试的话，初试压力确实要小一些。

如何报名
#

考研过程中，最重要的2个网址，一个是你要报名的学校官网，另一个就是研招网：中国研究生招生信息网

报考前在硕士目录中查看报考的学校和专业，例如非全工程管理应如下选择

要不要报培训班？
#

很多同学都比较关心要不要报培训班的问题。报呢感觉太贵，万一考不上呢？不报嘛不知道咋学或者学的太累。

这个问题我还是比较有发言权，因为我报了培训班。

我也是网上看到有培训班，问了一下价格8k，再加上当时存在信息差，不知道考什么，不知道怎么学，不知道怎么报名，不知道报考什么学校，不知道在哪去搜这些信息（马上百度在职研究生，基本全是广告），再加上当时真的很有决心要学习，所以就入了这个坑..

培训班给了我什么？
#

首先给我一堆学习资料，学习方法、真题等等。除了英语词汇我立马拿出背以外，其他东西我基本没动过。真题我也立马打印了，那堆真题到考完我也没看过。看上去很有用，实际上淘宝搜索真题一大把正式发版带详细解析的真题，非常好用，也没那么费眼睛。而那个词汇，很奇怪，培训班给我的词汇跟张剑黄皮书词汇对不上，我把培训班词汇背了很久，发现有些真题常见词汇不在词汇本里，后面换了张剑黄皮书词汇本背，感觉好多了。

处理学习资料外，最重要的就是直播授课，直播课基本都是晚上8-10点，2小时讲课，10分钟答疑。

直播课还是有用的，特别是逻辑课和数学课，听这2个课基本不需要额外买书全面地学习数学和逻辑基础知识，只需要做课后练习和练题。英语课我基本没听过，基本都是自学的，个人感觉听英语课效率很低，浪费时间，不如多背背单词，多做些阅读题。英语写作课也只听了最后2节，非常有用，后面细讲英语写作（有干货）。最后，不要妄想有问题问老师，这种网课很多人，老师答疑时间就10分钟左右，我提的问题从来没被选中过。

培训班的好处： 学习的方便性。从打工人的角度出发，本身加班就多，回到家累的要死，要我回去把资料铺开像高考一样去学习，太难了。但是如果是授课，我只需要坐在沙发上把直播看完，这eazy很多节省时间。不需要费周折地制定计划并在期间不断调整学习计划，听课的效率也比把厚厚的一本书自己看完要来的更容易。从本质上讲，培训班就是拿钱买时间。

同学的学习状态良好会激励你学习，你不会是孤单一个人学习，完全不知道别人学的怎么样。

培训班的坑： 培训班参差不齐。我当时报考的shangdejigou，报的时候没有调查过这家机构，确实很一般。他们有的班是协议形的，没考上的话会退费，但是协议里有坑，都没退成。我们群里有很多闹退费的。还有个人信息泄露的问题，基本所有学员都接到过退费诈骗电话，连我这种考上的都接了5、6个诈骗电话了。

老师素质参数不齐。有的老师讲的好，有的老师感觉像是摸鱼的，甚至有些讲解完全就是误人子弟。我那个班就是数学和逻辑老师讲的特好，英语垃圾，写作误人子弟…

不要妄想培训班会把你培训的很好，培训班只是辅助，主要还是靠自己。我从计划开始考研，到初试完成，基本没有一天周末时间，都是泡在图书馆或者咖啡厅里，所有聚会都拒绝。

所以，到底要不要报考培训班？

个人认为如果你同时具备以下条件，可以报名：

足够的决心。既然已经交钱了，就不要打水漂，也不建议报退费的班给自己留后路
足够的资金。线上培训班几大千起步，我这个8k可以参考。线下会更贵，但是有老师线下辅导
无法填补信息差。信息差可能会导致无法自我规划学习计划。如果是信息差导致报班，我建议多看看别人的学习计划，b站成功的up案例。最大的信息来源一定是学校官网

如果你具有时间和精力，或者资金不足，或者具有一定的学习力，大可不必报班。这个时候制定适合自己的学习计划尤为重要。

初试
#

在初试结束之前，只需要准备初试即可。一般来说复试内容在初试完后再准备即可。
准备初试既学习的核心，也是最消耗精力最卷的环节，成败在此。

如何准备初试——学习计划
#

准备初试，你需要一个适合自己的学习计划，并全身心的投入其中。

学习计划是非常非常非常重要的，你需要确定先审视自己，自己的在优缺点是什么，环境是什么，哪门科不了解，哪门科又需要长时间的学习。

每个人情况情况是不一样的，先讲讲我的学习计划，可以参考我的定制计划的方式，和学习方式。因为学习压力没有那么大（相比全日制），非常建议从7、8月份开始准备学习，过晚时间不够，过早容易懈怠，整个学习时间为5-6个月。但是如果你的英语确实有够烂，再多提前几个月去背单词。

我的个人条件如下：

时间不够充足，经常加班到晚上9点，周末一般都是双休。上下班地铁，双向共2小时。
数学基本忘精光，逻辑从来没碰过，语文写作从小稀烂，英语词汇量还行，阅读没问题，英语写作完全不会。

结合学习压力和个人条件，我需要这样制定计划：

背单词。英语肯定是最花时间的，需要长时间持续性地背单词，在所有学习开始之前，背英二单词。因为早上记忆力最好，我每天在上班的地铁上背单词，周末早上也背单词。时间从8月份开始，一直到初试。
英语阅读。其实只要把单词背下来，阅读很容易理解。英二的长难句并不多，能认识所有单词，阅读肯定没问题。但是个人比较爱好英语阅读，我计划了每天的英语原著阅读。不能说用处大，也不是完全没用，就当是辅助考试。重要的是，爱好更容易培养习惯。
数学和逻辑，其实学习难度差不多，我虽然完全不会，但是学起来较为简单（知识点是简单的，考试是另一个样子这里先不谈）。我会在下班晚上20:00 -22:00点学习数学或逻辑（主要是听课，没有课的可以自己买资料学习），这个也是长时间学习，前期学习知识点，后期练题。因为不是每天都能正常下班，所以有时候需要利用下班地铁时间和中午1小时午休时间，把数学和逻辑的每日学习任务完成。（千万不能拖，拖一次就会累积很多）
中文写作。在考前一个月，也就是11月底12月初准备即可。看下作文资料，自己试着写，不用想的要多完美，主要是把主题含义表达清楚。相信我，考试的时候你绝对是用的狂草在写作。
英语写作。在考前一个月，准备即可。切记，千万千万不要背范文，不仅非常难背，而且根本无法套用。考前背2-3个模板即可，用模板联系历年真题，只需要替换单词即可，不会发生提笔一个单词写不出的情况。

所以，我的周计划如下：

这样安排感觉比较合适自己，既充分利用了碎片化时间，也充分利用了周末。前3-4个月打基础，英语的基础是单词，逻辑和数据的基础是知识点，每周工作日的学习，可以在周末汇聚复习和练习。后1-1.5个月主要就是写作和找做真题的感觉。

推荐的学习资料
#

英语：张剑黄皮书。买单词本和真题本即可。百词斩，爱阅读，公众号：考研英语外刊。
英语写作：不推荐任何可以购买的写作资料书。用通用模板，不要背范文。
数学：《陈剑数学高分指南》，历年真题解析
逻辑：中公《逻辑轻松通关》，历年真题解析
管综写作：找个销量高的吧，都不是很好用。写作不用学太精

不要买练习题，直接买真题做，现有的练习题质量跟真题完全比不了。英语不需要买练习题，直接买真题即可。数学和逻辑除了基础学习的一些自带练习题外，也不要买额外的练习题。我也做过一小段时间的数学练习题，很花时间，效果并不好。数学和逻辑主要还是要把基础打好，把知识点学齐，然后做真题看解析即可。总之，沉浸式学习时间（比如周末）只需要做真题，真题做近20年的即可，做完然后重新做一遍（20份真题，周末2天也就做2套，要2个多月才能做完一轮，重新做的时候前面的题已经忘的差不多了）。最近两年的2套真题一直都不要做，留着考前2周掐表自我模拟。

英语学习
#

单词
#

早上雷打不动地背单词（在地铁上效果非常好···）。百词斩——有些小伙伴喜欢用百词斩，我前期也在使用百词斩，但是我感觉效果不好，它是全量单词，背一年可能都循环不了一遍，前面背的早忘了，所以后期我没有用这个软件。我个人强烈推荐我背单词的办法。

每个人的单词量是不一样的，刚开始的时候，必须把所有单词全部过一遍（考研词汇大概5000个左右），把不认识的拎出来写在单词本上。由于拿着单词本在地铁上背会略显尴尬，所以我放在手机里。

我专门有一个单词本相册：

每次背的时候，点开，放大，相当于蒙住注释背单词。

这样循环背诵，刚开始我每天背2页，每天前进1页，后面每天背4页，每天前进4页。无论如何，循环背，背到蒙住注释就知道单词的含义。有些单词容易混淆的可以加在单词本里再拍照更新相册。

在我初试前，这些单词我已经背了6、7遍了，基本上除了超纲单词，我没有不认识的。

阅读
#

英语总分100分，阅读能力分数占比=完型填空10分+阅读理解40分+新题型阅读10分=60分。英语能力再烂不能烂阅读理解能力。我的阅读能力基本上都是靠每日的外刊阅读，比如爱阅读、考研英语外刊。每天花20分钟左右，学习压力也不大（其实主要是单词，单词认识，句子就好理解）。

爱阅读：《爱看世界》外刊，每日一篇。在阅读计划-更多专辑-外刊-爱看世界，订阅每月的期刊，每日一篇。难度较低，适合初期阅读能力提升。
微信公众号：考研英语外刊，每日一篇。每天都会更新，这个公众号做的很不错，非常推荐。只是这个难度比较高，适合后期挑战难度，如果看不太懂也没有关系，我有些也看不太明白，毕竟难度超了点。

阅读就随着早上背单词看了就行，时间不够下班路上也可以看。

长难句：英二的长难句并不多，有些小伙伴会专门花时间去学习长难句。如果你要专门学习长难句的话，特别推荐刘晓燕长难句的视频（视频网站搜一下就行，都是免费的），非常有趣，条理也很清晰，比较容易能坚持看完。而我，只看了刘晓燕长难句里的简单句，就没有继续看。因为，第一，我发现只要单词认识，句子基本都懂，第二，视频太长太多了，比较占用学习时间。

写作
#

写作分为小作文（书信或通知，10分），大作文（材料分析文——柱状图饼状图分析，15分）

再次提醒，不要背范文。考前我专门买了一本写作的书，背了10篇范文，真的很难很难很难背，而且难套用，范文背完，我第一次做英语写作题，毫不夸张我一个字都写不出来。

我学习的培训课程里，对我来说最最有价值的，就是英语模板，我按照模板把历年的英语写作全部做了一遍，全部都能套用。要替换的单词不超过20个，会写简单句即可。模板如下：

小作文模板——书信模板：

Dear  Sir or Madam,

    I am an undergraduate who majos in Applied English in this/a university.I am writing this letter for the purpose of doing sth.

    1.It,first an formost,is my idea that not only ... but also

    2.Then more importantly,so ... that...

    3.The last on I must point out is that 简单句,which could be accepted by the majority of 人/.

    So It is the very moment for me to do ...,And I am looking forward to your reply.

                                                                                          yours truly,
                                                                                            xxx.

其中 doing sth包含：

感谢信:expressing my genuine gratitude for your kind help
建议信:making some suggestions concerning sth.
投诉信:making my complaints concerning sth.
祝贺信:show my sincere congratulations to you because 句子
道歉信:offer my sincere apology to you because 句子
邀请信:invite you to participate in 活动 on behalf of 某人/组织
通知信:have 某人 informed that 句子

书信模板各类信都可以套用。

小作文除了书信，小概率可能考通知，通知的格式与书信不同

小作文模板——通知模板:

                                               Notice

    In an effort to do sth,I woud like to offer you some detailed information about it.

    The 活动 will be held in the school auditorium at 7 p.m.,next Saturday,December 28th and the requirements for sth. are listed as follows.

    主段内容同书信...

    If you have any questions,please feel free to send on email to 
studentsunion@123.com or call 1234567.We are looking forward to your participation.

大作文基本只有柱状图和饼状图的分析，图例只分为比大小和比趋势。比大小和比趋势只有首段不一样，后面2段是一样的。

大作文模板：

    (比大小首段)The diagram clearly shows/illustrates/d that 句子/词组(the purposes of/attitudes toward/the proportions of) among participants/respondents in a certain college.
Based on the data offered,one can distinctly see that 对象1 ranks the first/highest among all the categories,accounting for 数据1.Next are 对象2 and 对象3 with 数据2 and
数据3 respectively ,while 对象4 only constitutes 数据4.
    (比趋势首段)The diagram clearly illustrates how 话题 changed during the past several years.Based on the data provided,one can distinctly see that the number of 对象1 rose/fell significantly/slightly/gradually from 数据 in 年 to 数据 in 年,while that the number of 对象2 experienced a gradual/significant increase/decrease during the same period,reaching 数据 in 年.
    From my standpoint,there are two fundamental factors that are responsible for this scence.To begin with,the first contributing factor is that 句子.In addition,another important factor that cannot be ignored is that 句子.
    In view of the analysis above,we can conclude that it is of little surprise to see this phenomenon in the current era.Therefore,it can be predicted that 名词词组/动词ing will still take up a large share in the future.

作文不背模板靠自己写非常难，背模板拿个超高分数比较难，但是拿70-80%的分数是没问题的，而且前提投入基本为0，后期模板背好，自己把历年写作真题全部写一遍即可。

数学学习、逻辑学习
#

数学题：
#

逻辑题：
#

数学和逻辑都是选择题，没有什么好说的，前期主要学习知识点，后期需要提升做题速度。

数学和逻辑的知识点非常多的，前期学习时间需要花3-4个月，每天学习2-3个小时，把知识点全部学会。知识点学完后拿真题练习看解析。最后1个月恰表练习，提高做题速度，数学做题时间不超过70分钟，逻辑做题时间不超过60分钟。

中文写作学习
#

管综作文分为论证有效性分析和论说文。

论证有效性分析就是抬杠，找本写作书看看，并不难写。论证有效性分析需要在一大段材料找找出材料推理问题所在，写的时候找4个问题点即可。没有学过的话可能找不太到，学过后找4个问题点还是比较简单的。不用把问题写的特别明确，比如这个问题是以偏概全、偷换概念、非黑即白等等，把它写成”xxx推不出xxx“即可。

论说文主要是对一小段材料做出自己的理解。论说文需要注意主题别写歪了，刚开始找主题也挺难的，多看几个论说文材料，找找感觉，基本能找到主题在哪。论说文一般写作结构为总分总，建议以 “个人-企业-国家”为思路来写（总-个人-企业-国家-总，共5段），找几个自己拿手的材料往里面套用。一些同学觉得自己作文能力强，会以其他思路来写议论文，我个人当然是非常佩服的。因为写作时间是非常有限的，除非天赋异禀思路非常快，不然还是建议用套路来写，把作文写完，是第一要务。

考试时的做题规划
#

是的，做题也得规划，100%相信我，管综你做不完。管综是我平生考过的，时间最仓促的考试，你知道这些题你会，但是你没有时间去运算。

初试考试时，上午管综3小时，下午英语3小时。

英语考试时长3小时，内容较少，也没有需要反复演练的点，做题时间是完全足够的。我当时考完时间还剩了50分钟，提前交卷走了。

管综3小时，完全不够。我在考前自我模拟的时候，基本都是4小时才做完的。考试时，数学只要有做题时间超过3分钟，直接跳过，感觉运算量大，直接跳过。逻辑题，根本无法用平时做题的思路去做，快速读完题（逻辑题文字巨多）看选项，感觉对的就勾上，需要运算的逻辑题暂时放弃，后面有时间在做。写作题看完题目直接写，能写多快写多快（2篇写作总共不能超过1小时），每省2分钟，就可能拯救一道选择题。

选择题可以不用做完（答题卡要涂完哈），但是写作一定要写完，所以做题顺序很重要。很多人一般上来都直接写作文，然后做选择题。我是先做数学题，然后写作文，然后逻辑题。反正总之，不要把写作放在最后做。真实考试时，两篇作文完成时间不能超过55分钟，总共1500字，还要阅读材料和构思，去做一次就知道时间是多么不够。

最后20分钟，涂答题卡，涂完再继续做题。

复试
#

复试的基本信息
#

如果你如愿过了国家线或者学院自划线，那么你已经完成了90%的进度。剩下10%既复试。复试也是有淘汰率要求的（国家强制要求），一般在淘汰率在70-80%左右。这个淘汰率一定存在，所以每年一定有人复试被刷，如果你不准备，那么极有可能就是你。讲个笑话，我复试四川大学被刷~

复试时间：每年3月中旬到3月底

成绩公布时间：3月中旬

考试内容：英语口语，专业课，综合面试，政治（川大政治开卷，不用准备，武大政治闭卷笔试···）

疫情以后复试都是网络面试，没有笔试环境，专家提问学习回答的模式。

也就是说你有3个月的时间来准备复试。而恰巧初试考完是12月底，加上成绩还没出，再加上2月份过年，其实大部分人都是成绩公布的时候开始准备。已我这个反面教材为例，我是3月21日接到复试通知，复试时间是3月27日，我就准备了6天时间，其中还要考英语口语和我从没接触过的工程管理···，所以很尴尬，考官英文我一个没答上来，专业课题目一个没答上来，复试被刷。

网上调剂
#

当我知道四川大学复试没通过后，我的情绪跌入谷底。但是，柳暗花明又一村，调剂是我的救命稻草，当我在找调剂学校时，发现了武汉大学。

研招网专门有个调剂窗口，给予复试被刷的同学再3次面试的机会。调剂可以填3个志愿，也就是可以填3个学校。由于每个学校复试时间复试要求都不一样，全部准备是很难的。我主要就是准备武汉大学的调剂。调剂当然也是要复试的，其实就是没有招满学生的院校把复试再走一遍，给那些首批没有录取上的同学再一次的机会。

调剂窗口：3月底到4月初

如何准备复试？
#

复试也是非常卷的，跟我一样懒的人不会在少数···但是无论如何，已经付出了大半年，不能就这么打水漂了（我是差点真打水漂了···）。像我这种非专业学生，复试最难的就是英语口语和专业课。从成绩公布到复试，大概只有1周时间来准备（还要上班！），所以从头学肯定是来不及的，以我的经验，下面的学习办法的重要性依次递减

找学长学姐要历年复试资料（低调，复试资料外传是违规的）和老师上课资料。找找有没有人认识的在那个院校的，或者贴吧找组织，找群
B站搜考研复试常问的问题。把问题总结总结，背一背。
买学院推荐的参考书（一般是教学资料）。很厚，看不完。

最后最重要的一点，模拟复试。把可能问的英语问题，专业问题，综合面试问题总结出来，找个小伙伴当老师模拟面试。

还有一些其他复试要求，关注学院动态和邮箱即可。比如分数占比，面试流程，双机位，面试时间，材料准备等等。

最后
#

22年考研初试国家线是185，我初试成绩210（英语80，管综130）。附上我的复试通过通知^_^

祝被社会毒打仍不死心的打工人学子，考研一切顺利，上岸！！！

HikariCP连接池初识

Mon, 12 Aug 2024 00:00:00 +0000

HikariCP的简单介绍
#

hikari-光，hikariCP取义：像光一样轻和快的Connetion Pool。这个几乎只用java写的中间件连接池，极其轻量并注重性能，HikariCP目前已是SpringBoot默认的连接池，伴随着SpringBoot和微服务的普及，HikariCP 的使用也越来越多。

在hikariCP github首页就放了一篇性能对比：（https://github.com/brettwooldridge/HikariCP-benchmark）

看上去好像是碾压一众数据库连接池中间件。然而这个性能对比的有点老了，而且没有阿里自研的国产巅峰连接池druid的性能对比。我稍微看了下druid的github首页，star比hikariCP还多一点，druid在功能性上明显比hikariCP强。至于两者的性能谁更好，还引发过一次大佬间的口水战，目前没有看到有严格的性能对比报告。不过这不是我们这篇文章的重点···这篇文章只是为了稍微了解下hikariCP。

几个连接池参数
#

参数其实不多，挑几个重要的：

参数	含义
minimumIdle	这个属性控制着HikariCP尝试在连接池中维持的空闲连接的最小数量。如果空闲连接的数量下降至此值以下，并且连接池中的总连接数少于maximumPoolSize，HikariCP将尽最大努力快速而高效地添加额外的连接。然而，为了达到最大性能和对高峰需求的响应性，我们推荐不设置这个值，而是让HikariCP充当一个固定大小的连接池。默认值：与maximumPoolSize相同。
maximumPoolSize	此属性控制池所能达到的最大大小，包括空闲和正在使用的连接。基本上，此值将决定到数据库后端的实际连接数的上限。合理的值最好由您的执行环境确定。当池达到此大小且没有可用的空闲连接时，调用 getConnection() 将会阻塞，直至 connectionTimeout 毫秒后超时。默认值：10
maxLifetime	此属性控制池中连接的最大生命周期。正在使用中的连接永远不会被弃用，只有当它被关闭时才会被移除。为了避免池中发生大规模的连接消失，该属性会对每个连接适用轻微的负衰减。我们强烈推荐设置此值，并且应该比任何数据库或基础设施强加的连接时间限制短几秒。值为0表示无最大生命周期（无限生命周期），当然，这受到idleTimeout设置的约束。允许的最小值是30000毫秒（30秒）。默认值：1800000（30分钟）。
idleTimeout	此属性控制连接在池中允许空闲的最大时间。此设置仅在minimumIdle被定义为小于maximumPoolSize时适用。一旦池达到minimumIdle连接数，空闲连接不会被回收。连接是否被视为空闲并回收，其最大变化范围为+30秒，平均变化范围为+15秒。一个连接在此超时前永远不会被视为空闲并回收。值0表示空闲连接永远不会从池中移除。允许的最小值是10000毫秒（10秒）。默认值：600000（10分钟）。
keepaliveTime	此属性控制 HikariCP 将多频繁地尝试保持连接active，以防止它因数据库或网络基础设施而超时。这个值必须小于 maxLifetime 的值。“keepalive"操作仅会发生在空闲连接上。允许的最小值是30000毫秒（30秒），但最理想的值是在几分钟的范围内。默认值：0（禁用）。

keepaliveTime参数的设置应低于数据库空闲连接超时时间、TCP空闲连接超时时间以及一切其他设施的空闲超时时间。对于PostgreSQL来说，hikariCP的keepaliveTime参数应设置为小于PG库idle_in_transaction_session_timeout的时间。

很明显，maximumPoolSize代表连接到数据库中的最大连接数。当然一般来说，真实场景中数据库中的连接数不会一直保持maximumPoolSize，因为应用不可能从始至终都是最高负荷运行。即使经过一个请求高峰期，根据idleTimeout或者maxLifetime的设置，那些空闲的连接经过一段时间后应该被释放。为了保证数据库的可用性，这个值应该设置为比数据库最大连接数小一些。比如PostgreSQL数据库，maximumPoolSize参应设置为小于PG库的max_connections。这个参数还有调优空间，我们下面会提及。

minimumIdle是最小空闲连接数。例如，如果minimumIdle=100，数据库的active会话有10个，那么理论上数据库中的总连接数应该是100+10个。因为有可能有连接风暴的情况，真实的数据库连接应该比active+minimumIdle略多一点，但肯定小于maximumPoolSize。

为什么数据库连接数远大于minimumIdle？

理论上数据库总连接数只应该略大于minimumIdle，但是经过我实际观察连接池多节点的情况，哪怕数据库活跃连接只有10几个，数据库总连接数却远大于minimumIdle。观察pg_stat_activity的min(backend_start)、min(state_change)，基本保持在maxLifetime左右，说明连接回收是有作用的。看上去新请求总喜欢启用新连接，而不是直接拿已有的idle连接用。个人猜多节点部署是原因之一，每个节点minimumIdle很低，也可能存在某些组件上的节点请求要多一点，瞬时请求数超过了minimumIdle从而创建了新的连接。第二，这跟maxLifetime参数也有关系，maxLifetime的目的是为了旋转连接，释放那些一直在用的连接，这样就存在那些使用过的链接需要一段时间来释放，并且最好不要再使用了，以免延长释放周期。

连接池大小设置
#

连接数过多的影响
#

在数据库的世界中，“数据库连接数的增多，数据库性能都会一定的下降”。

例如oracle的连接数对性能的影响，参考这个视频。当资源配置、jdbc并发都不变的情况下，连接数从2048下降到1024个，请求响应时间下降一半；如果连接数调整到96个，响应时间下降几十倍！！

连接数设置为多少才合适？
#

Unless you have a database server that has 1000 cores, it is very unlikely that you really want a maximumPoolSize of 2000.

除非你的数据库有1000C，不然你不应该有2000个连接。

最初始的情况下，数据库连接数应设置为cpu数，这样就能达到cpu的最大性能模式。但是这不是真实的。因为数据库的消耗不仅在cpu，也在磁盘和网络（也有内存、但相对影响不大）。例如，磁盘的读写也需要时间，cpu需要等待磁盘返回数据才可以进行下一步动作。在IO等待的这段时间（有可能时间很长），cpu最好是不要闲着，而是给其他进程使用。所以，基于磁盘等设备的等待时间，数据库连接数最好是高于cpu个数。

由于SSD等磁盘性能的提升，磁盘访问的速度是非常快的，也就是说IO等待时间下降，意味着连接数应该调整得更低。

调低了不能压榨CPU，调太高数据库性能损耗，那么到底调整到多少合适呢？hikariCP给出了这么一个公式

connections = ((core_count * 2) + effective_spindle_count)

其中core_count不应该计算超线程数；effective_spindle_count为主轴数，如果活动数据集完全被缓存，那么effective_spindle_count为零，随着缓存命中率的下降，它应该接近于实际的主轴数量。对应SSD还没有想过公式，不过可以肯定小于以上的最大值。当然这些都是理论值，实际情况要比这个更复杂，比如长连接问题，具体可参考连接池大小相关知识。

即使前端有10000个用户，连接池也不可能是10000个，即使是1000也太多了，需要一个更小的连接数，让其余的请求在连接池中等待，发挥数据库及其CPU的最佳性能才是最好的方式，参考连接数设置如上公式所示。

fixed pool
#

fixed pool是HikariCP的作者Brett Wooldridge的一个理念，是为了解决连接风暴问题。在minimumIdle参数解释中已经提及fixed pool：

为了达到最大性能和对高峰需求的响应性，我们推荐不设置minimumIdle，而是让HikariCP充当一个固定大小连接池（fixed size connection pool）。默认值：与maximumPoolSize相同。

把minimumIdle=maximumPoolSize就是fixed size connection pool。minimumIdle的默认值就等于maximumPoolSize。

其实早在2014年，Brett Wooldridge就提到了这个概念，参考PG社区邮件。这段话很重要，我将逐字翻译：

根据我的经验，即使是维护最小空闲连接数的池，在响应突发需求时也是有问题的。如果你有一个最大30个连接的池，并且有一个最小10个空闲连接的目标，突发的需求需要20个连接意味着连接池可以立即满足10个，但随后要尝试在应用程序申请连接时间到达connectionTimeout之前建立另外10个连接。这反过来在数据库上产生了突发需求，不仅减慢了建立连接本身，也减慢了实际上可能会将连接返回给连接池的事务。

现在，如果你的峰值是100个连接，你的中位数是50个，这并不重要。但我知道不少工作负载的峰值是1000，中位数是25，在这种情况下你会想要逐渐减少空闲连接。

最终我们采用了一个maxPoolSize + minIdle模型，默认情况它俩相等（fixed pool）。

虽然我不怀疑存在这样的工作负载（1000个活动连接），如果有人真的这么做了，我很想听听他们的理由。除非他们有超过128个CPU核和固态存储，否则基本上就是在白费功夫。

这也意味着，即使连接池的大小是固定的，你也想要旋转（rotate in and out）实际的会话，这样它们就不会无限期地挂着最大虚拟内存。

我们确实是这样做，有一个maxLifeTime设置来旋转这些连接。

在真实场景中，fixed pool对连接风暴影响的保护是可见的。fixed pool下，数据库的瞬时active连接突增，数据库的idle链接数下降，但数据库的总连接数不变，请求响应耗时影响不大。如果把maximumPoolSize设置为比minimumIdle大的一个值，连接风暴会造成瞬间产生很多新会话，而新会话的连接是非常消耗资源的，这明显增加了请求的响应时间。

连接泄露案例
#

由于本人不是连接池的专家，这里只是把最近找到的连接泄露资料小小汇总下。

连接泄露有如下现象：

“Connection is not available” exception。连接泄露，连接打满或者数据库因为active会话过度响应不过来了，新的请求会因为超过connectionTimeout时间而报错
Growth of active connections。数据库监控可以明显看到活动会话上涨
Application logs。应用日志也可以看到很多连接请求，包括活跃会话信息
Database views and logs。pg_stat_activity可以看到所有的会话状态和具体的sql，以及在log中可以看到新连接认证登录信息
HikariCP leak detection。需要打开leakDetectionThreshold，HikariCP可以检测链接泄露，这个参数默认是关闭的

对于定位连接泄露，应该

检查应用日志，特别是问题刚发生的时间点
合理的监控系统
善于debug、trace等hikariCP设置
设置leakDetectionThreshold参数

可能的原因：

Misuse of streaming responses;
Misuse of raw connections;
Prolonged operations within @Transactional method (such as network invocation).
配置错误，参考
vitual thread，参考

References
#

https://github.com/brettwooldridge/HikariCP

https://github.com/brettwooldridge/HikariCP/issues/2148

https://github.com/brettwooldridge/HikariCP/wiki/About-Pool-Sizing

https://blogs.oracle.com/opal/post/always-use-connection-pools

https://mkyong.com/jdbc/hikaripool-1-connection-is-not-available-request-timed-out-after-30002ms/

https://medium.com/@eremeykin/how-to-deal-with-hikaricp-connection-leaks-part-1-1eddc135b464

https://medium.com/@eremeykin/how-to-deal-with-hikaricp-connection-leaks-part-2-847a9629627f

pg逻辑复制的一些特性

Mon, 12 Aug 2024 00:00:00 +0000

之前已经写过一篇比较详细的关于逻辑复制的文章了，这里不会再重复描述一些基础知识。不过难免有些知识点有遗漏，最近发一些有意思的逻辑复制特性。

replica identity与old/new值
#

replica identity是用来在逻辑复制期间标识一行数据的。上面这句话当然没有问题，但是没有解释old和new数据的变化。

DEFAULT Records the old values of the columns of the primary key, if any. This is the default for non-system tables. USING INDEX index_name Records the old values of the columns covered by the named index, that must be unique, not partial, not deferrable, and include only columns marked NOT NULL. If this index is dropped, the behavior is the same as NOTHING. FULL Records the old values of all columns in the row. NOTHING Records no information about the old row. This is the default for system tables.

pg官方文档对于replica identity甚至只解释了old值的情况，例如nothing不复制update/delete都没解释，足见old值的重要性。

创建一个复制链路：

select pg_create_logical_replication_slot('pubtestlzl2','test_decoding');
pg_recvlogical -d lzldb --slot=pubtestlzl2 --start -f recv.sql &

test_decoding的复制链路正常模拟

--replica identity默认是d：有主键时用主键；没有主键时为nothing，无法复制update和delete
M=> create table lzltest(a bigint primary key,b varchar(100),c varchar(100));
CREATE TABLE
M=> insert into lzltest values(1,'bbbbbb','ccccccccc');
INSERT 0 1
M=> update lzltest set b='b';
UPDATE 1

recvlogical输出

table public.lzltest: INSERT: a[bigint]:1 b[character varying]:'bbbbbb' c[character varying]:'ccccccccc'
table public.lzltest: UPDATE: a[bigint]:1 b[character varying]:'b' c[character varying]:'ccccccccc'

replica identity为default，更新非主键字段，所有字段只有new值

M=> update lzltest set a='111';
UPDATE 1
table public.lzltest: UPDATE: old-key: a[bigint]:1 new-tuple: a[bigint]:111 b[character varying]:'bb' c[character varying]:'ccccccccc'

replica identity为default，更新主键时，解析出了主键标识的old和new值，其他字段只有new值

M=> alter table lzltest replica identity full;
ALTER TABLE

M=> update lzltest set b='b';
UPDATE 1
table public.lzltest: UPDATE: old-key: a[bigint]:2 b[character varying]:'b' c[character varying]:'ccccccccc' new-tuple: a[bigint]:2 b[character varying]:'b' c[character varying]:'ccccccccc'

replica identity设置为full，保留整行数据的old和new值

无论是default（主键）还是full模式，都会记录所有字段的信息，区别在于是否有old数据。default时：

insert：本身是new数据，当然没有old值，会记录new值的所有字段
update：记录所有字段的new值，只有标识字段才有old值（如果有更新标识字段）
delete：本身是old数据，不一定记录所有字段。同样适用只有标识字段才有old值，只记录标识位。

总结：当replica identity为default时，无论什么操作（INSERT,UPDATE,DELTE)，只要是old数据，只记录标识字段；只要是new数据，记录所有字段。把default修改为full时，解析出来的日志量差别不会特别大，因为new数据永远是所有字段，（不考虑全是delete的场景下）full解析出的日志量小于default时的两倍。

pgoutput不能peek
#

用pgoutput去创建一个复制槽

select pg_create_logical_replication_slot('pubtestlzl','pgoutput');

然后去peek或者接收，都失败

select * from pg_logical_slot_peek_changes('pubtestlzl',null,null);
pg_recvlogical -d lzldb --slot=pubtestlzl --start -f recv.sql &

pg_recvlogical: error: could not send replication command "START_REPLICATION SLOT "pubtestlzl" LOGICAL 0/0": ERROR: client sent proto_version=0 but we only support protocol 1 or higher
CONTEXT: slot "pubtestlzl", output plugin "pgoutput", in the startup callback
pg_recvlogical: disconnected; waiting 5 seconds to try again

不能peek或pg_recvlogical去接收pgoutput的复制槽。由于pgoutput是发布订阅的output plugin，这个plugin不能人工去peek或接收···

发布订阅可以不在pg-pg之间
#

create publication、create subscription都是pg内部的命令，也可以用他们来创建pg库之间的链路。三方软件同样可以使用创建发布，并模拟订阅并创建复制槽。这样比直接创建复制槽要更好，因为可以通过发布管理复制表。

toast和逻辑解析
#

发送toast的字段不会被解析！也就是说整行数据可能只有一部分会传递出来（toast字段本身没有更新的情况下）正常解析会解析所有字段：

--创建一个test-coding的复制槽
=> select pg_create_logical_replication_slot('logical_dest','test_decoding');
 pg_create_logical_replication_slot 
------------------------------------
 (logical_dest,349/A80040E0)
(1 row)

--创建一个小字段的表
=> create table test1(a int primary key,b varchar(100),c varchar(100));
CREATE TABLE

=> select* from pg_replication_slots;
 slot_name | plugin | slot_type | datoid | database | temporary | active | active_pid | xmin | catalog_xmin | restart_lsn | confirmed_flush_lsn | wal_status | safe_wal_size 
--------------+---------------+-----------+--------+----------+-----------+--------+------------+--------+--------------+--------------+---------------------+------------+---------------
 logical_dest | test_decoding | logical | 418679 | lzldb | f | f | [null] | [null] | 872483335 | 349/A80040A8 | 349/A80040E0 | reserved | [null]
(1 row)


=> insert into test1 values (1,'qwer','qwer');
INSERT 0 1
Time: 0.915 ms
=> select * from pg_logical_slot_peek_changes('logical_dest',null,null);
 lsn | xid | data 
--------------+-----------+--------------------------------------------------------------------------------------------------
 349/A8004C78 | 872483335 | BEGIN 872483335
 349/A80103E8 | 872483335 | COMMIT 872483335
 349/A8018B30 | 872483369 | BEGIN 872483369
 349/A8018B30 | 872483369 | table public.test1: INSERT: a[integer]:1 b[character varying]:'qwer' c[character varying]:'qwer'
 349/A8018C50 | 872483369 | COMMIT 872483369
(5 rows)
--insert被解析，包含所有字段

=> update test1 set b='zxcv' where c='qwer';
UPDATE 1
Time: 4.005 ms
=> select * from pg_logical_slot_peek_changes('logical_dest',null,null);
 lsn | xid | data 
--------------+-----------+--------------------------------------------------------------------------------------------------
 349/A8004C78 | 872483335 | BEGIN 872483335
 349/A80103E8 | 872483335 | COMMIT 872483335
 349/A8018B30 | 872483369 | BEGIN 872483369
 349/A8018B30 | 872483369 | table public.test1: INSERT: a[integer]:1 b[character varying]:'qwer' c[character varying]:'qwer'
 349/A8018C50 | 872483369 | COMMIT 872483369
 349/A801D018 | 872483378 | BEGIN 872483378
 349/A801D018 | 872483378 | table public.test1: UPDATE: a[integer]:1 b[character varying]:'zxcv' c[character varying]:'qwer'
 349/A801D098 | 872483378 | COMMIT 872483378
(8 rows)
--update被解析，包含所有字段

正常来说，没有toast时，解析出来的数据是包含该行所有字段的数据的。

toast解析测试：

--将字段改大
=> alter table test1 alter column b type varchar(3000);
ALTER TABLE
Time: 8.091 ms
=> alter table test1 alter column c type varchar(3000);
ALTER TABLE
Time: 0.937 ms

--一个批量random的function
=> create or replace function f_random_str(length INTEGER) returns character varying
-> LANGUAGE plpgsql
-> AS $$
-> DECLARE
-> result varchar(3000);
-> BEGIN
-> SELECT array_to_string(ARRAY(SELECT chr((65 + round(random() * 25)) :: integer)
-> FROM generate_series(1,length)), '') INTO result;
-> return result;
-> END
-> $$;
CREATE FUNCTION

--插入数据
=> insert into test1 values (2,f_random_str(2000),f_random_str(2000));
INSERT 0 1

--查看是否有toast
=> SELECT 
-> n.nspname as schema, 
-> s.oid::regclass as relname, 
-> s.reltoastrelid::regclass as toast_name, 
-> pg_relation_size(s.reltoastrelid) AS toast_size 
-> FROM 
-> pg_class s join pg_namespace n 
-> on s.relnamespace = n.oid 
-> WHERE 
-> relkind = 'r' 
-> AND reltoastrelid <> 0 
-> AND n.nspname = 'public' 
-> ORDER BY 
-> 3 DESC;
 schema | relname | toast_name | toast_size 
--------+---------+--------------------------+------------
 public | test1 | pg_toast.pg_toast_418714 | 8192
(1 row)

--通过主键进行更新，更新toast字段
=> update test1 set b='zxcv' where a=2;
UPDATE 1

=> select * from pg_logical_slot_peek_changes('logical_dest',null,null);
 lsn | xid | 
--------------+-----------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
...
 349/A851FD90 | 872483420 | BEGIN 872483420
 349/A85216E0 | 872483420 | table public.test1: INSERT: a[integer]:2 b[character varying]:'GIORCXQQWDBGTUNDZXAWMPYOUEGTECWTVQGDQGSPMEPJNPUQIFMESLRASBZWGONETRENDCHLDWVTDWJLTGRYUMFDOWHLEYLUTECPOVCYXFIATLKVEQTHSC'
 349/A85218A0 | 872483420 | COMMIT 872483420
 349/A8525CA8 | 872483429 | BEGIN 872483429
 349/A8525D50 | 872483429 | table public.test1: UPDATE: a[integer]:2 b[character varying]:'zxcv' c[character varying]:unchanged-toast-datum
 349/A8525DE0 | 872483429 | COMMIT 872483429

有toast的字段c，不涉及更新，没有解析的数据，直接抛出toast数据未变unchanged-toast-datum

用wal2json测试：

=> select pg_create_logical_replication_slot('logical_json','wal2json');
pg_create_logical_replication_slot 
------------------------------------
(logical_json,349/A87CAB58)
(1 row)

=> update test1 set b='zxcv' where a=2;
UPDATE 1
=> \pset format wrapped
Output format is wrapped.
=> \pset columns 200
Target width is 200.
=> select * from pg_logical_slot_peek_changes('logical_json',null,null);
-[ RECORD 1 ]------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
lsn | 349/A87CACF8
xid | 872483495
data | {"change":[{"kind":"update","schema":"public","table":"test1","columnnames":["a","b"],"columntypes":["integer","character varying(3000)"],"columnvalues":[2,"zxcv"],"oldkeys":{"keynames":["a"],.
 |."keytypes":["integer"],"keyvalues":[2]}}]}

=> update test1 set b='zxcv' where a=1;
UPDATE 1
Time: 1.391 ms
=> select * from pg_logical_slot_peek_changes('logical_json',null,null);
-[ RECORD 1 ]------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
lsn | 349/A87CACF8
xid | 872483495
data | {"change":[{"kind":"update","schema":"public","table":"test1","columnnames":["a","b"],"columntypes":["integer","character varying(3000)"],"columnvalues":[2,"zxcv"],"oldkeys":{"keynames":["a"],.
 |."keytypes":["integer"],"keyvalues":[2]}}]}
-[ RECORD 2 ]------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
lsn | 349/A8CCA0D8
xid | 872483509
data | {"change":[{"kind":"update","schema":"public","table":"test1","columnnames":["a","b","c"],"columntypes":["integer","character varying(3000)","character varying(3000)"],"columnvalues":[1,"zxcv".
 |.,"qwer"],"oldkeys":{"keynames":["a"],"keytypes":["integer"],"keyvalues":[1]}}]}
--更新时，解析出来没有c列的数据 

wal2json也是一样的效果。

mysql的参数binlog_row_image可以调整binlog是否记录大字段：

full (Log all columns)
minimal (Log only changed columns, and columns needed to identify rows)
noblob (Log all columns, except for unneeded BLOB and TEXT columns)

pg库完全没有这种控制，默认就是toast字段不解析，无其他选项可以设置~

另一个世界的人

Mon, 12 Aug 2024 00:00:00 +0000

休假
#

赶在假期无效前，休了个长假回了趟老家。不仅是为了逃离工作的繁忙，也为了看望老家的婆婆爷爷。回趟老家对于我们这种社会人来说确实太难了，如果只是周末回去也就休息一天就得往回赶，太累。自己的假期本来就不多，如果有假期，社会人都想着开车出去看看风景或者干脆在家里呆几天哪也不去，一般也不会想到利用稀有的假期回老家看望老人。比较讽刺的是，回去看望婆婆爷爷我休的是育儿假，不是什么养老假。这个世界好像没有”养老假“这个东西，只有探亲假。虽然法定是有”探亲假“这个东西的，但是先不说探亲假不是针对专门看望老年人的假，就探亲假那个极长的定语，对于绝大部分人来说，就是没有探亲假。育儿假不在家育儿，却去看望老人，我想一般人肯定干不出来，是不是只有我这种奇葩才能干得出来 ..至少我是这么想的：养育子女和照顾老人同样重要，不应该厚此薄彼。社会和社会人更重视前者。无论怎样，我还是想回去陪陪老人家，看看老两口每天在干嘛，以怎样的方式生活？是否生活上有困难？怎样看待困难？于是我就这样一个人回去了。

路的尽头. 老两口生活的地方，是我从小长大的地方。那个地方也很隐蔽，要从大路拐进一条山路，走很久，一直走到路的尽头。像是一个与世隔绝的地方，到了那里，就感觉与外面的世界的联系好像不存在了。

那里其实也不是我的老家，不过我更喜欢这样称呼那里。那是一片矿山，因为是依山而建，矿山很有立体感，立体到对开发矿山的前辈设计感到震惊。我至今不太清楚怎么描述这个地方的行政级别，它不是村，也不是镇，比村更现代，比镇更小。小时候我认为这个地方很大，现在发现只需要10分钟就可以把这片矿逛完。

整个地方以煤矿作为经济支柱，曾经繁荣过，不过现在已经萧条多了。现在矿区仍有会下井的矿工，不过在矿山的生活区已经看不到像我这样的年轻人了。矿山有个小学，在我读小学的时候，一个年级大概有70个人，现在只有7个人。

那里的童年回忆过于强烈，就像世外桃源，像与世无争的圣地，另一个世界。由于远离现代化社会，只需要基本的生活保障就可以生活，时间都感觉过的很慢。这样的地方，对于养老来说确实很合适，也的确有很多老人。

食物
#

小时候菜市场还是比较热闹的。我记得卖鸡鸭的地方，小贩会用黑乎乎像沥青一样的东西浸没整只鸡，然后再拔毛，卖鸡鸭地方总是脏兮兮的。现在菜市场已经没有卖新鲜肉的了，只能买到附近农户自己种的蔬菜。如果要买新鲜肉只有到村上去赶集或者去搭班车去城里买。

因为老两口生活特别节俭，刚开始我还比较担心他们生活过于朴素，可能搞得每天都是米饭和素菜。这次我回去时，没有告诉他们我具体什么时间到，当我到家时，发现他们还买了卤鸭子，我还是很欣慰的。我回去老两口很高兴，就三个人每天都弄了5、6个菜，我甚至有点怀疑自己是不是回去陪他们，而是回去添麻烦的。

应该是我在花花世界吃东西吃飘了，刚开始他们问我“这个菜好不好吃？”的时候，我都没有说出我内心的真实想法。这时我会想起不知道哪本书里写的一句话：“人类无法直接判断一个东西的价值，只有通过比较另一个东西，才会知道它的价值”。美食也是一样的，当你第一次吃这个东西的时候，其实不知道好吃还是不好吃，如果你知道，那么肯定你把印象中的某个东西做过了比较。小时候刚开始吃火锅，大人总会问我，这个火锅好不好吃？说实话，我根本不知道好不好吃，我都不知道好吃应该是什么样子，我只知道吃。

现在我的嘴巴确实越来越刁了，但是这里，我想把一切都还原，按下那个“恢复出厂设置”的按钮。我可以用真心话说，他们做的东西是好吃的。

还有一件事，我有次说我来洗碗，他们说你放着，你不会洗，我们是用淘米水洗的碗，你洗是洗不干净的，洗洁精里面都是化学品，我们不用那个。

中药
#

我这次回去，发现一个事实：老年人对药物的依赖性极强。他们的药箱里总有各式各样的药物，西药、中药、感冒药、发炎药、药膏、保健药一大堆。自己感觉身体哪有问题就拿自己认为有用的药。我这次回去鼻炎犯了（老毛病了），不停的打喷嚏流鼻涕，他们不停的劝我吃点感冒药，推荐我吃感冒灵或者头孢，我可能说了不下十次，我这个是鼻炎，不是感冒。他们当然也不知道这种鼻炎要怎么治，然后继续劝我我吃感冒药

有次我带老人家进城，除了去超市进购，更重要的就是买药。买药也分为中药和西药。

中药是在一个云南中药店里面买的，店老板一头圆寸发型，黑色T恤，银色的项链，褐色的珠子手链，看上去很壮实，他这一身社会大哥形象我都不敢他大声讲话，不过我爷爷好像并没有注意到这些。店里基本都是我说不出名字的中药，按斤卖，还挺贵，不是一般中药的那种。明显我爷爷是这里的老顾客了，老板是认识他的，不过看上去我爷爷他也不会选药，“老板，你按照我的身体状况给我称300块钱的”。于是老板这里抓了点，那里抓了点，最后全部打成粉。

可能是我读书读傻了，我对中医一直持保留态度，很简单因为我觉得没什么道理。我还蛮怕他们被骗的，这些中药贩子专骗老年人。不过我爷爷说：“之前婆婆一直头痛，吃了这个药，头就不痛了”。看来还是有效果的。西医对于老年人确认太不友好了。

西药
#

中药买完，走了很远的地方，去药店买西药。那个药店可能是他们为数不多认识的药店。

那个药店绝大部分药都是无法报销的，在很里面的一个很小很简陋的房间里面，才摆着一小部分可以报销的药。我看了一圈，基本不认识，都是化学分子式命名的药，完全看不懂。只有一些感冒灵、枇杷露这类药算认识的。爷爷选药同样也陷入了选择困难的处境。他认识头孢，但是药店小妹说头孢没有，他有点生气。他对小妹说：“你要没有好点的药呢？”（好点的药？我尝试理解这句话），小妹不知道从哪拿出来一个红色盒子的精致包装保健药，爷爷他看不清盒子上面的字，他让我给他念一下，看看这是治什么的。我拿来一看，这东西啥都治，就没念，把它还给了小妹。最后也只是选了一点治感冒咳嗽常见的药。

爷爷一路上反复跟我说，他一年有170块钱的医保可以报销，能看出来他非常想把这170块钱花掉，给家里囤点药。这也是为什么会去买西药店买药的原因，也是为什么要走到那个可以报销的药店。

不过结账的时候遇到一些困难。结账小妹从刚开始表情就不太好，她拿过药说了一堆东西，我都没听懂，我爷爷也明显没听懂。最后说的“这个药报不了”算是听懂了。

小妹说：“这个报销有门槛费150，你还没有缴门槛费”

爷爷说：“门槛费是不是就像以前医院收的床位费150一样？”

小妹停顿了一下，不耐烦地说：“是是是，你说的都对。”

爷爷有点生气，说：“算了，不要了！”

我赶紧问小妹这门槛费到底是什么意思，她不说话，把手指了指窗口的贴的告示，上面是一个关于门槛费的一个表格。我也没看太懂，但是我明白这个门槛费是一定要缴的了。我想了一下我自己就医是直接刷医保卡的，哪来报销的说法，于是更懵了。

我说：“你可以刷我的医保卡吗？”

小妹说：“异地的刷不了”

我说：“你直接刷我支付宝总行吧。”

爷爷看到我要刷卡，赶紧制止了我，“这肯定不能让你付钱撒”，根本不要我给钱的意思。他从包里掏出现金，付款。我明白这一百多块钱对于我来说不算什么，但是对于他们来说还是有点不想给的。

科技
#

我们感叹科技发展迅速，总是有新的东西改变着人类的生活方式，让生活变的更加便利。社会人追求科技，沉浸于科技。但是对于老人来说，科技完全是另一码事。

老年人生活的方方面面，设计到科技的东西真的非常非常少。最最常用的，就是手机，而且是智能手机。他们好像很适应抖音类APP所带来的快节奏娱乐信息，他们也会在睡觉前玩会手机刷刷抖音再睡觉（他们用的大概率不是抖音，而是另外一些有推荐短视频的软件）。

不过也仅限于此了，他们不太懂手机这些东西。举个例子，他们打电话，无论是婆婆还是爷爷，打完电话都不会挂电话。不是他们不想挂，而是不知道在哪里挂。如果他们打完电话，一看手机，有红色的挂断按钮，他们会按，但是如果屏幕锁定或息屏切屏，他们就不会挂了。婆婆跟我说：“你给我看下啦，为什么我的手机挂断以后，紧叫紧叫~”其实电话根本没有挂断，只是黑屏了她以为挂断了。他们要是给别人打电话都还好，要是相互打电话可能是一场灾难，因为没人挂电话。

还有微信消息，他们完全没有明白微信消息到底是怎么一回事，不知道怎么找某人的聊天窗口，不知道谁给自己发了消息，不知道消息发到哪了。后面旅游时给他们拍照，他们要求把我拍的照片放到他们手机里（其实就是他们相册里），我得一个个操作他们俩的手机从微信里面下载照片，并确保相册里能一眼看到下载的照片，不然他们肯定找不到。

旅游
#

带着老俩口出去旅游是我的这次回去的重要任务。本来我是没有这个计划的，我只想回去把自己放空，呼吸两口新鲜空气，就呆在那里感受一下慢时间。不过他们挺喜欢出去玩的，我一回去爷爷就主动跟我说可以开车带他们出去耍一下。

我们先后去了朱德故里、阆中古城、南充，玩了2天一夜。跟老年人出去玩本身要考虑的东西会更多，不能坐太久的车，也不能走太多的路。这样其实也玩不到什么东西。不过他们的旅游观念跟我们不太一样，他们更倾向于打卡，更重视“来过”这个价值，所以一定要在写这地名的打卡点拍照~

他们也更倾向于人多的地方，而不是人少的风景优美的地方。在阆中的时候，他们明显更喜欢古城里面，人多嘈杂热闹的感觉，还会姑姑视频说“我们在阆中！！”（重语气），笑得合不拢嘴。而在白塔山（可以开车上去，很适合老年人）上看阆中城全景的时候，我还沉浸于what a view的场景中，婆婆看了2分钟拍了2张照就没有看了。我说你看看风景撒，多漂亮，好不容易上来，她说，我看了呀。

棚子
#

平时爷爷常去小公园看别人打牌，婆婆去打麻将，不打钱那种。除了打牌，最常呆的地方就是楼下的棚子。几个几家人不要的凳子椅子放在棚子下面，中间一个炉子，冬天会烧点柴火。楼上楼下都是认识的，都是爷爷奶奶辈，跟我婆婆爷爷关系很好，邻里邻居没事就会坐在一起摆龙门阵，这也是小区（其实也不是小区，就是2栋楼）最重要的社交场所。一天晚上，我坐在棚子里听他们聊天。有个婆婆说：“你这孙子好哦，请假回来陪老人家。我们都说你孙子好。”说的我都不好意思，不过想想还是让这个评价留在这几个老人的脑海里吧。

一个爷爷说：“我跟xx他们家里人说，你们一个月回来一次，陪陪老年人，不用给他们钱，他们拿这钱有什么用，他们可以过日子。但是你们长大了，走了，长时间没有陪伴他们会感到孤独。“我想，这老爷爷还挺明白事儿。他又说道：“一次某某死了，他家人都回来办葬礼，他们回来给他端水果端吃的，有什么用？他吃到没有嘛？说白了，这些是做给我们看的。人都走了，做这些都没用”。哟喂，这老年人是真懂。

一个月回来一次对于社会人来说非常困难，不太现实。我这个育儿假明年都没有了，下次啥时候回来呢？我好像没有想到。我们在一天又一天繁忙的工作中度过的时候，老年人又该如何在一天又一天的清闲和孤独中度过？

杂想
#

老年人该如何面对死亡？每次他们提到死亡，总是带着戏谑的语气，但是更多的还是无奈。人应该怎么面对死亡呢？当我老了，死亡线即将来临的时候，我该怎么面对它呢？

在棚子里面聊天的时候，这些婆婆爷爷辈我都叫不出名字，但是他们都记得我，知道我是怎么长大的，我的生命似乎是他们生活的一部分，是我存在的证明，哪怕这个记忆也只存在一段时间。不过这也是有意义的吧，生命的羁绊就这样存在。这个世界有几十亿人，绝绝绝大部分人都是流星过隙，不会被任何人记得，不会被任何记录提起。

这个社会对于老人相当不友好。社会规则过于复杂，他们难以理解手机、医疗社保这些东西，只能蜷缩在自己的社交圈，逃离这个难以理解的社会。同时这些年社会发展迅猛，子女基本都外出发展有了自己的家庭和事业，对于老人来说他们欣喜于看到自己的子女有好的发展，但是与子女生活的地方相隔很远，双方也难以陪伴。社会在关注子女养育增加生育福利的同时，却没有人关注老人的赡养和陪伴问题。我也觉得以后也不会有什么养老假这种东西。

婆婆耳朵不太好，就算是带着助听器也只是稍微好了一点。很多时候跟她说话，她完全没有理解到，回答的都是另一码事。但是也不敢在她面前吼，因为感觉很不礼貌，凑近了说她还不好意思。我跟她说你们到成都来吧，她怎样都不同意。我想了一下，可能是因为耳背，导致害怕与人交流，怯于社交，只有矿山那个地方，邻里邻居对她好，有安全感。一位老婆婆说：“耳背好，给你增寿的”

写于-2023-04

“婆婆”这个称呼，在我这一代还保留着，我的下一代，已经不叫“婆婆”，而是叫“奶奶”了。也许“婆婆”是这个族系最后的一次称呼，may be the last call。就让它保存在这篇文章里吧。

如何解决索引分裂问题？

Mon, 12 Aug 2024 00:00:00 +0000

索引分裂
#

索引块快写满时就会发生索引分裂，索引分裂分为两种情况，55和91：

索引分裂和enq: TX - index contension等待事件的区别 无论是55还是91，都是数据增多后索引的正常行为，索引分裂是业务数据量增大导致索引增大的正常现象，索引放不下了自然要更多的索引块来存放数据，基本也没有只有表无索引的情况（在初始化数据的场景下，才会考虑先插入数据，再建索引）。索引分裂虽然有一定的资源消耗，但是在现在的oracle环境中也是可以很快完成的，索引过多的话才会影响插入效率。而enq: TX - index contension这个等待就不是正常现象了。enq: TX - index contension等待表示SQL在等待正在发生分裂的索引块，本质上是DML并发过大且都在等待分裂的索引块。

为什么enq: TX - index contension总是发生在顺序插入的字段上？ 虽然55分裂和91分裂在真实场景都是由可能的，但是enq: TX - index contension等待经常发生在91分裂的情况。因为序列、时间等字段上一般会有索引，并且经常发生顺序插入，此时最后侧的块一直都是热点块，后续的插入一直等待分裂块完成才能插入进去，此时便造成了enq: TX - index contension。UUID上一般也有索引，为什么没有造成enq: TX - index contension等待？因为UUID索引存在无序性，插入导致UUID索引分裂，也很难有后续插入的UUID值刚好也在这个分裂的索引块上。所以UUID是有索引分裂但不会形成enq等待队列从而出现enq: TX - index contension的情况。

解决办法
#

注意我们要解决的是索引分裂等待enq: TX - index contension，而不是索引分裂本身。解决办法： 1.反序索引 索引顺序的存放键值，反序索引刚好相反。例如一个'1111 0001’一串数字，正序索引会将它排在'0000 0002’后面；如果是反序索引，它排在'0000 0002’前面。想象一下时间字段，本身是最右热点，反序后秒、分、时排序在前，一个索引块可能包含不同月的同一秒数据，这样最右热点块基本不存在了，反序索引可以将热点打散到索引各个块上。 局限性：需要改造索引；可能无法使用索引范围扫描。顺序增长的字段，无法用到索引范围扫描，例如时间字段。某些场景下的反序键值有可能用到，需要具体分析。语法：

CREATE INDEX reveridx ON tablzl (name) REVERSE;

2.hash分区索引 在普通表上创建hash分区索引，相当于表不变、把索引分区，这样最右的热点块打撒到各个分区上。比如建立一个8分区的hash分区索引，将索引分成8个segment，最右热点有8个，减缓了索引分裂问题 局限性：需要改造索引；会影响索引范围查询的性能，需要抉择插入热点和查询效率问题。等值和IN可以高效使用hash分区索引，官方文档原文：

Queries involving equality and IN predicates on index partitioning key can efficiently use global hash partitioned index to answer queries quickly

但是范围查找的效率会下降，分区越多下降越多（分区越多热点缓解越明显），这显然是一个平衡选择性问题。经测试，分区8个，范围查找逻辑读提升也接近8倍。分区后在每个分区内索引仍然是有序的，聚簇因子差别不大，扫描索引的代价差别不大，但是回表的代价加大。如果普通索引一个块内有8条数据指向1个数据块，会造成1次逻辑读，hash后分别存放在8个分区，每个分区1个索引块，会造成8次逻辑读。这就是范围扫描索引性能下降的原因。语法：

CREATE INDEX cust_last_name_ix ON customers (cust_last_name)
 GLOBAL PARTITION BY HASH (cust_last_name)
 PARTITIONS 4;

3.利用分区将索引打散 可以将表分区，创建本地索引从而达到打散最右热点的效果 局限性：分区键不能是索引字段（如果是索引字段就没有意义了）；需要改造表；如果有SQL本身有分区字段，不会影响范围扫描的效率

4.降低并发 降低并发是终极武器。索引分裂等待本质就是并发太高了，如果没有几十个以上的并发插入一般都不会有索引分裂等待。

5.修改索引块大小 将索引块存放在16、32K的表空间中。这种情况理论上确实会有用，因为索引能存放的的数据更多了，分裂的情况就更少了。不过需要测试其性能，可能还有其他参数需要调整。

6.删掉索引 删除索引也是一个思路。根据业务情况，如果这个索引不重要可以把索引删掉；或者范围查询大小来做分区表，利用分区进行过滤而不是索引

这些情况为什么没用？？？
#

增加ITL事务槽 索引块的事务槽也可能因为高并发而不够用，确实于索引分裂的情况有些相似，但是其等待为enq: TX - allocate ITL entry。如果有这个等待，能分析到是索引块的，就说明索引上有较高的并发，同样可以用反序索引、hash分区索引来缓解问题，也可考虑修改initrans来解决问题。不过这两个等待的根因还是不同的，索引分裂不一定会伴随事务槽问题。
调整索引块PCT_FREE PCTFREE表示一个数据块可用空间小于PCTFREE时，该数据块不在被记录在FREELIST中，即不能插入新数据。考虑两种情况：增加PCTFREE和减少PCTFREE。增加PCTFREE只能加剧索引分裂；减少PCTFREE看上去有效果，原理跟调整索引块大小类似，但是真实场景中PCTFREE默认是10%，已经很难再调小了，调整的效果不会很明显。
重建索引减少碎片率 这其实没什么关系，它没有解决最右热点块的问题。

参考
#

https://blog.csdn.net/lihuarongaini/article/details/101299328 https://docs.oracle.com/cd/E11882_01/server.112/e41573/data_acc.htm#PFGRF94786

鸣谢：豪桑、用哥

事务的历史与SSI——PostgreSQL数据库技术峰会成都站分享

Mon, 12 Aug 2024 00:00:00 +0000

前言
#

PostgreSQL数据库技术峰会成都站
#

近期（2023年6月17日），由中国开源软件推进联盟PG分会发起的“PostgreSQL数据库技术峰会成都站”圆满举行。我也有幸作为演讲嘉宾参加了此次峰会，收获很多。

（分会回顾和所有ppt下载：PPT下载来了 | PostgreSQL技术峰会成都站回顾）

我的分享
#

我的技术分享主题为：数据库历史与SSI。我发现国内有很多技术博客对事物的描述不太准确，会对初学者造成很多疑惑，还有很多小伙伴对事物历史和pg中的SSI不是很熟悉。这次我从wiki、SQL官方标准和各种论文中收集和汇总了事务的准确含义、事务的历史和SSI的理论基础。分享内容的主要思路是从事务的历史推进到一些92标准中不存在的异象，再到消灭这些异象可以怎么做，再循序渐进到pg库的SSI是怎么做的。全篇分享分为4个部分：事务的基础、事务的历史、SSI理论知识、PostgresSQL中的SSI。

事务的基础
#

在了解事务历史和SSI之前，我们先回顾一下，复习复习一些基本的事务知识。整个章节都会围绕事务来进行讨论，事务的基本知识会引出事务历史中存在的问题。

什么是事务？
#

事务的原本含义：事务=>transaction=>交易。交易是事务原本的含义，而我们数据库中的事务就是从交易这个词汇而来。 数据库中的事务：事务是关系型数据库的基本工作单元。比如从A表删除数据，从B表插入数据，我们可以把他们这两个动作包装成一个事务，他俩必须都完成。但是也有可能因为某些意外因素，事务执行到一半失败或者取消了，此时只能整个事务中的所有操作全部回退，回到事务前的状态，A也不执行删除，B也不执行插入

ACID
#

ACID是数据库事务的重要特性。它决定了交易事务是否是可靠的、可信任的。

原子性**：事务中的各个操作要么全部完成，要么全部取消。就像化学中的原子一样不可分割、不可分裂。如果一个事务执行到一半有问题执行失败了，执行不下去了，那么这个事务必须全部回退。 一致性：事务完成时，所有数据都保持一致状态。这个定义其实比较模糊。事务一般会操作数据，数据库中数据的状态会被更新，因为事务操作，数据会从一个状态到另一个状态，这个状态必须是合理合法的，数据逻辑必须和真实世界的逻辑一致。这里可能比较抽象，打个比方：比如说甲有100元，乙有200元，他们合起来的钱是300元，这时乙向甲转账100元，那么甲就有200元，乙有100元，他们合起来的钱仍然是300元。重点：这个虚拟世界的数据变化应该与真实世界的逻辑保持一致。 隔离性：多个事务并发执行的结果必须和分开单独执行的结果一致。比如2个事务，一个接着一个的串行执行，必须和并行执行结果一致。（这个是wiki的官方理解，也是SQL标准中的定义，请记住这个定义，这个是本篇的重点） 持久性：事务处理结束后，对数据的修改就是永久的。如果更新后数据放入内存中，关机就没了，那么他理应放入磁盘里，那么放入磁盘是安全的吗？如果磁盘损坏了呢？我们可以有高可用架构写多份数据，再延伸一下还可以有地域级别的容灾，那如果我们再杠一下，多个地域都挂了呢？如果从架构上来介绍，这个问题好像没有答案。但是从用户的角度来看，其实比较容易理解。比如用户在存钱的时候，他把钞票放进去了，那么账户上应该显示他存入的钱的数字，这个数字对于用户来说是永久的，用户认为即使天塌下来，他的账户里都应该有这个数字，这是持久性的含义。

ANSI-SQL92标准
#

1992年美国国家标准ANSI SQL-92标准中定义了4种隔离级别和3种异常现象。虽然现在的数据库行业基本都参照ISO国际标准了。但这个92年的美国标准对数据库行业影响非常大，相信很多玩数据库小伙伴的都知道4种隔离级别。

92标准的隔离级别
#

ANSI SQL-92标准定义了4种隔离级别事务的隔离级别从高到低。注意看可串行化：系统中所有的事务并行执行时和串行化执行时的结果没有差别，事务之间互不影响。这个是不是跟ACID的隔离性定义有点像？ 4种隔离级别都可以满足事务全做或全部不做，只是在隔离性上有不同的定义，所有的隔离级别都可有原子性、一致性、持久性，但不同的隔离级别有不同的隔离性，从定义上看，其实只有可串行化是完全满足ACID的。

92标准的异常现象
#

92标准中定义了3种异常现象，网上有很多相关的定义，其实很多说的都不太准确，我们这里直接从92标准文档中摘取出来3种异常现象的定义

脏读：事务T1更新了一行，事务T2可以在事务T1提交前读到这个行。如果T1执行了回退，T2会读到一个从未提交的行。 *脏读有个明显的问题，用户可能不知道钱是不是到账了，在事务没有完成前用户就可以查到账户里有钱已经转入了，但是某些原因失败了导致事务回退，钱又没了，这对用户来说是难以理解的。

不可重复读：事务T1读取了一行，事务T2更新或删除了这行并提交了。如果T1再次读取这行，它会发现行被更改或删除了。幻读：事务T1通过某些条件读取到了N行，事务T2执行sql生成了行并满足了这个条件，T1重复读取时发现了不一致的行结果。 *不可重复读和幻读的区别在于一是其他事务的更新或删除导致同一事务内读数不一致，一个是其他事务的插入导致同一事物内读数不一致

92标准与pg
#

在92标准的隔离级别和异常现象是呈阶梯式的，除了可串行化没有异常现象外，每个隔离级别都有阶梯式的增加了异常现象。然后我们看下面这个表格，这是pgsql中的隔离级别和异常现象，他跟92标准是不一样的。

为什么PostgreSQL数据库隔离级别与“92标准”不一致的情况呢？
#

为什么未提交读与“92标准”不一致？未提交读实在是太奇怪了，在关系型数据库中基本想不到使用未提交读的场景。它严重违反了事务的隔离性。PostgreSQL将“未提交读”视为“已提交读”
为什么可重复读与“92标准”不一致？PostgreSQL通过快照实现MVCC多版本并发控制， PostgreSQL中的可重复读级别实际上是快照隔离级别，这个隔离级别实际上没有幻读这个异常现象
虽然“92标准”影响深远，但是还是有许多数据库没有全部实现它。
ANSI SQL-92标准定义模糊。“92标准”在数据库行业很有代表性，“它很好，但不够好”。

事务的历史
#

理解 “它很好，但不够好”，需要把回顾一下事务的历史，时间往回推40年。注意92标准提出的时间和“92批判”的时间。虽然92标准很“烂”，但是仍然对数据库行业影响深远。随后在很多串行化理论得到证实后，PostgresSQL数据库第一个在商业数据库中实现了SSI。

对92标准的批判
#

在92标准出来不久，一些微软工程师和学者对92标准做了批评，并在提出了更多的隔离级别和异常现象。之前92标准中定义了4个隔离级别和3个异常现象，在“对92的批评”中有6种隔离级别和8种异常现象。

更多的隔离级别和异常现象出现，它们没有在ANSI SQL-92中定义
快照隔离在可重复读和可串行化间。这也是为什么pgsql的可重复读跟可串行化这么像的原因之一
写偏序异常提出。它会在快照隔离级别发生。

热门数据库的隔离级别
#

mysql在serializability隔离级别下，读对数据加读共享锁，读会阻塞写
oracle其实也可以设置serializability隔离级别，并号称是支持可串行化的，但是它不是真正的可串行化，只是snapshot isolation
PostgreSQL支持serializability，它在snapshot isolation基础上实现可串行化，全称为可串行化快照隔离Serializable Snapshot Isolation (SSI) ，读写不会相互阻塞

能看出来3者的差别，只有pgsql的可串行化是有干货的。

为什么oracle欺骗了我们？
#

oracle欺骗了我们什么呢？他把快照隔离这个隔离级别当成可串行化隔离级别糊弄我们。为什么会发生这种情况呢？如果我们把snapshot isolation加到ANSI SQL-92标准中

“92标准”的异象定义较少，也没有定义快照隔离，以92标准来看，snapshot isolation看上去跟serializable差不多
大部分关系型数据库都以“92标准”为标准，包括oracle。但是随后更好的标准出现后，他们没有做出改变

为什么弱隔离级别在学术上有问题，实际上没出现严重问题？
#

非可串行化隔离级别的异常现象，一般都需要在高并发情况下才会发生，低并发数据库不太会出现问题；
当异常现象真的发生的时候，有些应用可能没发现异常现象或检查到异常但对他们不重要；
有可能数据异常了，但应用只是返回报错，并进入数据异常处理程序；
成本过高。不仅是数据库串行化隔离级别开发成本高，应用对可串行化也需要适应成本。光是理解这部分复杂的理论就不是一件容易的事；
高级别的隔离会丢失一些性能。大量的改造工作可能是吃力不讨好的，应用需要在“高并发”和“无异常现象”间做抉择；
业务基于机制开发，而不是规则开发。业务多少有点适应弱隔离级别的异常现象，特别是RC 。

可串行化有什么意义？
#

如果弱隔离在真实世界都好像没问题，那么可串行化还有什么意义呢？其实是有的

虽然应用适应了弱隔离级别，但是不代表他们真的理解了
使用可串行化，应用可以极大的减少对数据异常的担忧
除了可串行化外，其他的隔离级别都有各自的异常现象，他们也不完全满足ACID的隔离性
可串行化可以消灭异常现象这个“蛀虫”，完全保证数据的安全性
可串行化在理论上已经证明可以实现
一些可串行的实现确实极大的降低了并发性，但是还有其他的可串行化实现，对并发性影响很小。比如说，可串行化快照隔离SSI可串行化的实现

SSI理论知识
#

说了那么多事务的基本知识和事务的历史，终于来到了SSI的概念。但在了解SSI之前，还得先了解2个概念：可串行化、快照隔离

可串行化
#

可串行化的含义 如果每个事务本身是正确的，即满足某些完整性条件，那么包括这些事务的任何串行执行的时间表是正确的（其事务仍然满足其条件）：“串行”意味着事务在时间上不重叠，并且不能相互干扰，即彼此之间存在完全隔离。

可串行化的实现 事务发展早期，可串行化（serializable）通过严格两阶段锁（SS2PL）实现，读写相互阻塞，直到事务结束。消除了异常现象但SS2PL丢失了高性能。除了SS2PL实现可串行化，还有其他方式，比如可串行化快照隔离（SSI）。

可串行化的意义 为了保证没有异常，可串行化会丢失一些并发性（不同实现方式有所不同），但可以真正保证数据的ACID隔离性。也就是说没有实现串行化的数据库，其实没有完全支持ACID特性。可串行化在理论上已经证明可以实现，但是真实的数据库世界有点”不正常“。实际上，可串行化是事务隔离级别中最高级的，也是学者和业界大佬强力推荐的隔离级别，不过绝大部分数据库在RC或快照隔离级别上运行。

快照隔离
#

快照隔离的定义 在快照隔离下执行的事务是在事务开始时拍摄的数据库快照上操作的。当事务结束时，只有当事务更新的值自快照拍摄以来没有外部更改时，它才会成功提交。快照隔离级别顾名思义就是就是使用了快照，这广泛用于实现MVCC，使多版本并发机制支持用户并发执行事务。

快照隔离的出现 ANSI SQL92并未定义快照隔离snapshot isolation(SI)，这个隔离级别随着数据库行业发展才出现。1992年 ANSI SQL92标准基于数据库的锁而定义，所以没有快照隔离级别这个定义。直到1995年《批判》的出现才被提出。

SSI
#

可串行化快照隔离SSI 由于快照隔离的广泛应用，而可串行化是学术上数据库需要达到的隔离级别目标。可串行化快照隔离Serializable Snapshot Isolation (SSI) 顾名思义，在快照隔离的基础上实现可串行化。

为什么有SSI？ 由于ANSI92标准的模糊性，虽然没有定义快照隔离，但许多数据库实际上就是使用的快照隔离。而快照隔离同样存在一些异常现象（包括写偏序），SSI的出现就是为了解决这些异常现象。

SSI相对于S2PL的优势 传统的可串行化通过S2PL实现，在S2PL下写操作会阻塞其他事务读写，虽然可以实现可串行化，不会有写偏序异常等问题，但会产生很多锁冲突，降低并发性能。而通过快照实现的MVCC读写互不阻塞，只有写写冲突。在此基础上实现的SSI对并发性的影响相比传统S2PL要小很多。

PG实现SSI SSI在pg9.1开始实现SSI，是第一个实现SSI的商业数据库。

3种依赖关系
#

**读写依赖：**事务T1写数据项的一个版本，事务T2读这个版本，意味着T1先于T2 **写写依赖：**事务T1写数据项的一个版本，事务T2使用一个新版本替换了这个版本，意味着T1先于T2 **读写反依赖：**事务T1写数据项的一个版本，事务T2读这个版本之前的版本，意味着T2先于T1

写偏序的理论
#

由于某些冲突构成环，会出现串行化异常。也就是说，有些并行执行的事务，从理论上就是不可串行化的。其中比较容易理解的一个就是写偏序(write skew)。写偏序只发生在rw模型，ww、wr均不会发生写偏序，并且事务必须在并发条件下才会出现。

简单写偏序：事务T1读写反依赖T2，T2又读写反依赖T1。这两个事务的并发执行是不可串行化的。

写偏向的现实问题
#

有许多现实案例可以出现写偏序异常，我们用一个经典的黑白球问题来理解写偏序袋中有4个球，2个白球和2个黑球。此时有两个事务，P和Q。P将所有黑球改成白球，Q将所有白球改成黑球。此时可以有两个串行执行，<P，Q>或<Q，P>。在这两种情况下，最终结果是袋中有4个白球或者4个黑球。但是，快照隔离允许另一种结果：事务 P 拿出2个黑球事务 Q 拿出2个白球事务 P 将手中所有黑球改成白球，放回袋中事务 Q 将手中所有白球改成黑球，放回袋中此时袋中还是2个黑球和2个白球。这在任何一个串行执行中都是不可能的。但这在快照隔离中是有效：每个事务都维护数据库的一致视图，并且其写集不与任何并发事务的写集重叠，如此白球黑球发生交换。

我们还可以把问题具象化、更实际。举一个比较粗糙的例子：比如我手里有几个银行卡，一半冻结，一半解冻状态。我在一个终端上执行了所有卡冻结，然后在另一个终端上立即执行所有卡解冻。这个时候从目的上讲，我的卡应该是全部解冻的，但是出现了一个奇怪的现象，以前冻结的卡解冻了，以前解冻的卡冻结了。作为一个客户，我会感到困惑。

黑白球问题说明：快照隔离执行结果与串行化执行结果不一致，快照隔离下发生写偏序异常，数据结果与预期不一致。

PostgreSQL中的SSI
#

pg是怎么处理SSI的
#

其实很简单就是把构成”危险结构“的某个支点事务取消。我们先把隔离级别都设置为可串行化，表中有一些白球和一些黑球。

T1	T2
set default_transaction_isolation = ‘serializable’;	set default_transaction_isolation = ‘serializable’;
begin; update dots set color = ‘black’ where color = ‘white’;
	begin; update dots set color = ‘white’ where color = ‘black’;
commit;
	commit;
	`ERROR: could not serialize access due to read/write dependencies among transactions DETAIL: Reason code: Canceled on identification as a pivot, during commit attempt. HINT: The transaction might succeed if retried.`

事务1把所有白色改成黑色，事务2把所有黑色改成白色，然后2个事务提交。第一个提交的事务成功了，第二个提交的事务失败了，这里是报错，说的是：因为读写依赖不可串行化，把当前事务作为支点取消了，如果重新尝试事务，可能会成功。这里当然会成功，另一个事务已经完成，一个事务不会构成依赖关系，不会构成环。在其他隔离级别，比如可重复读、已提交读，这个两个事务这样执行不会有任何报错，正常执行，但是数据执行结果跟SSI的执行结果不同。

PostgreSQL对SSI实现的优化
#

postgresql在快照隔离级别基础上实现了可串行化SSI，并对其做了很多优化，以提高高隔离级别下的并发性，pgsql对ssi的优化主要有3点： 安全快照：不会引起环形结构的只读事务，不必检测冲突，可减少检查负担和内存负担

延迟事务：延迟事务可重新尝试。在检查到”危险结构“后，延迟事务会被取消，然后再次尝试执行。延迟事务需要显示声明

检测粒度升级：多个细粒度的锁可合成粗粒度的锁减少内存开销

优化结果：优化结果-压测性能对比：绿色线是快照隔离基准线，蓝色线pgsql的SSI性能跟快照隔离已经很接近了。而褐色的线是SSI在没有只读事务，全是数据更改事务的场景，能看出只读事务优化对性能提升也很大。实际上一般业务系统，只读事务都会比更改事务多。红色的线是严格两阶段提交实现的可串行化，性能惨不忍睹。下面这个表格，是并发压力和事务失败率，因为有些事务需要取消才能打破环，所以可串行化肯定比弱隔离取消的事务更多，这个表格也能看出pgsql的SSI的并发度和事务成功率远高于严格两阶段提交。

优化结果-请求量和失败率：

总结
#

可串行化能简化系统开发的问题，开发人员不需要管并发下事务的异常现象，特别是如今更多的高并发系统下。
PostgreSQL的可串行化显然比严格两阶段提交模式更好。不仅性能更好，而且中止事务的概率也更低。
PostgreSQL是第一个实现SSI的商业数据库，而很多传统关系型数据库根本不支持可串行化，pgsql数据库往前走了一大步。
PostgreSQL不仅实现了SSI，还在此基础上做了很多优化，比如只读事务和内存优化，并且效果显著

我的年终总结2023

Mon, 12 Aug 2024 00:00:00 +0000

As a DBA
#

从2023年初开始，我就给自己定下了23年的主要任务——学习PostgreSQL数据库。虽然没有定下细致的计划，但总体的目标是把PG的一些基础知识学完。后来发现我想简单了，学习PG的成本比我想象的多的多，导致23年这个目标没有完成。比如PG事务章节，我以为2周可以拿下，我大概学了2个月。无论怎样，坚持学习还是学到了一些东西：

其中优化器章节，其实是没有完成的，虽然我有罪但是我还是要解释。优化章节已经写了超过两个月了，不是我偷懒，而是根本写不完。已经写到触及typora的文字上限——8000字左右会卡，所以被动分P，已经分到第四P了：

即便是这样，优化章节应该一半都没有写到，只能厚着脸皮跨一年继续···个人感觉再来4个月，应该可以把优化章节完成···即便是这样，优先级还得往后稍稍，时间真的不够！

READING
#

本身主业是数据库，理应把时间花在数据库上，课外阅读什么的应该往后稍稍。不过我还是不想放弃这部分内容，原因我想有三点：

阅读带来的价值短期无法估量
阅读带来的知识充值愉悦感
我利用的碎片时间来阅读，只是写读后感需要花2-3个小时，没有占用太多学习时间

PG本身的技术书肯定是看了一些的，不过我是针对性的看内容，比如优化部分我会把《PostgreSQL指南内幕探索》《PostgreSQL技术内幕查询优化深度探索》《PostgreSQL查询引擎源码技术解析》《数据库查询优化器的艺术》拿到一起看某个知识点，不注重看没看完，不是一本本的顺序看完的，所以这里的阅读书目就只列课外书。

2023年的课外书书单（按喜好排名）：

《未来简史》
《三国演义》
《太空漫游》系列，2001、2010、2060、3001
《马斯克》
《黑猩猩政治》
《再见，平庸时代》
《走出荒野》
《万智有灵》
《杀死一只知更鸟》
《穷爸爸富爸爸》
《when breath becomes air》
《变形记》《判决》《饥饿艺术家》等卡夫卡短篇小说

不咋滴：《超越自卑》《人性的弱点》《被讨厌的勇气》

博客和公众号
#

个人发文章有两个途径：

CSDN博客：https://liuzhilong.blog.csdn.net
公众号:liuzhilong62

对于博客已经坚持写了很多年了，2023年的大变化就是主要写PostgreSQL方面的内容，并且提高技术深度。公众号是我今年才新开的坑，也是23年一大尝试。博客和公众号都可以做技术分享，但他们面向的用户还是有些区别的，博客可以作为一种技术积累，而公众号更像是技术资讯。圈内有很多大佬是每天一篇（甚至几篇）的模式，个人非常佩服。不过也有做精品文章而不在意每天要发东西的大佬。我个人还是比较喜欢后者，一次把某个领域的知识大致学完，比较有整体性和针对性。很多时候我都会把比较长的文章分P发公众号（太长了我自己都不爱看），博客上我是没有分P的，所以对某篇文章有兴趣的读者可以在CSDN上搜下我的文章，更易于阅读。

为什么写东西？

自我学习价值
技术研究价值
传播价值

主动学习的效率要远远高于被动学习，就像下面这个学习金字塔（图片来自《穷爸爸和富爸爸》，课外书的价值！）：

实战、演讲这些途径可遇不可求的，将学习的东西输出文章分享，会大大提高知识点的理解能力。看完一篇文章，可能十分钟就结束了，但是要输出成文章，可能要花10倍不止的时间。

今年还尝试了做纯翻译类的技术文章，虽然技术研究价值不高，但是还是有学习价值和传播价值的，看一遍和翻译一遍同样会有不一样的理解程度，就像上面说的：主动学习。不过现在有点纠结的是，以前看不懂的根据google机翻然后再自己再润色一遍，现在有gpt了，一整篇文章他翻出来我都不用动什么词句，主动学习价值严重流水，全给AI学习了···

23年我的创作风格变化比较大，写的东西比较杂，什么都尝试过，当然也知道要做垂直领域的创作，不过还是忍不住搞些有的没的，甚至公众号的名字都没想好~。目前要写的东西比较明确的是：技术文章和课外书阅读感想，以技术文章为主，其他类型的文章应该不会再写了。至于后面还会不会调整也不知道，至少公众号还有调整空间，总之先这样，先发射再调整。

23年的博客数据不太好统计了，只能给个2017年到2023年的博客数据，打个snapshot。

CSDN blog：

公众号followers：

最后
#

2023年最大的感悟——时间。时间真的不够！

23年6月17日的时候参加PostgreSQL数据库技术峰会成都站的分享，把刚练成的热乎的PostgreSQL事务方面知识给大佬们分享，第一次上台相当紧张，这里还要感谢一下灿总给的机会。这次分享有个小插曲，可见23年的时间对我来说是多么局促。我另外还有个非全研究生的学习，分享当天就是我期末考试的时间，讲完我就直奔机场···最后还是缺考3门只有等重修···太难了

什么work-life balance已经全面放弃了，能有个work-learning balance就不错。每天下班不是想休息而是想回家看书，最后还是有很多东西没有完成，留给了2024年的我。

对2024年的期望：

把论文完成，顺利毕业
把PG优化部分完成
再说

聊聊美剧202306

Thu, 01 Jun 2023 00:00:00 +0000

刚把《黄石》系列看完，决定写点最近看的美剧，总共十一部，小评一下，写点东西~

《黄石》

《黄石》已经到第五季了，看样子还得继续拍。刚开始看《黄石》的时候，确实有种陷进去的感觉，很美很宏伟的电视剧，画面很棒风景很优美。而且还可以了解真实的老美是怎么放牛的，真实的牧场主还真是一股子老地主的味儿··· 第一季的剧情问题不大，Dutton家族、印第安人、州政府和开发商之间的剧情能还顶住，还能顺带看看cowboy放牛。不过后续季的剧情会出乎意料··的烂，简直看不懂，刷新编剧水平下限聚焦到本剧的内核，为什么这么多人喜欢这部剧，就是因为《黄石》不仅讲述了真实的cowboy的生活（甚至后面还拍了点真牧场的cowboy生活），同时反映了现代社会发展背景下，老牧场难以生存的现状，而cowboy、private land又是美利坚文化的核心，不仅是Dutton家族固执地想保留这个放牧的模式，甚至有种美利坚城市发展和本地文化的冲突对抗。我可以负责的说，剧情肯定是一季比一季烂，甚至烂到主线剧情看不了。不过如果还出续集，我看这部剧的优先级会比其他所有的都高。

个人喜好：⭐️⭐️⭐️⭐️⭐️

推荐指数：⭐️⭐️⭐️

《1923》

《黄石》系列剧，黄石的前传。《黄石》可能是因为太出名了，导致这个前传《1923》明星有点多，从一开始的印象就不好。这部剧可能是因为考虑到《黄石》剧情不好看，如果仅仅只是写牛仔的话，其实很难有好看的剧本，所以《1923》加入了两条支线剧情。但是加入支线剧情又导致另一个问题，这部剧没有那么黄石，剧情不停的剪切，没有“慢节奏”的黄石既视感。印第安女孩的剧情看上去是完全与主线脱节的，不知道什么时候能接上。但是这条印第安女孩剧情感觉还不错。印第安人的土地被掠夺，他们的子女还要被送到福利院去强行接受白人的宗教洗脑。这条支线确实有黄石的内核在里面，印第安人也是冷血杀手设定，没有那种子弹都打中身体了还要搞点政治的违和感。剧情流畅不拖沓，这条支线比较好看。而非洲剧情支线···虽然也能拍点风景，但是确实没有Dutton牧场好看，没有那个感觉。而他们出了非洲就有点拖剧情了，重点描写的是时代背景下的壮美爱情故事，但是这跟黄石有啥关系呢···而且这条线等了一整季都没有聚拢到主线剧情去···为了一个人物，铺垫了一整季，说是Dutton牧场的希望都在他身上，立意太高了，本身这条支线剧情也没那么好看，第二季剧情大概率是大扑街~ 《1923》前面还有点牧场反抗时代洪流的剧情，后面纯拖剧情，连放牛的戏都不拍了，完全没看点，打又打不起，有点烂。一季总共才8集，剧情到一半就开始摆烂，啥黄石没学到就学到了烂尾。其实能看出来这部剧是想继承黄石，但有想搞点新东西，比如拍那个时代的美国和欧洲（甚至非洲殖民），但是又整了个四不像。想重回那个时代的话，推荐《大西洋帝国》，时间线都是禁酒令后，比这个剧有时代感的多。

个人喜好：⭐️⭐️⭐️

推荐指数：⭐️⭐️

《1883》

《1883》，宏伟悲壮的西部牛仔片，《黄石》系列剧，《黄石》前传的前传。像在看一部史诗，意犹未尽。已经不仅仅是一部简单的电视剧，拍摄风格甚至有文学性和艺术性，同时又承载了一部分美利坚的开拓历史，那个时候美国刚结束内战没多久，百废待兴··· 因为个人很喜欢《黄石》这类电视剧，《黄石》拍摄风格很合口味，但是正传剧情极度拉胯，甚至只想看他们在ranch骑马就行了，不想看主线剧情…《1883》弥补了这个缺憾，不要太多的复杂剧情——但也不要拉——就行了，看看valley，看看马，再来点宏伟的BGM，代入感很强。《1883》整部剧其实也没有多少剧情，但是讲了一个很完整的故事。美利坚刚刚结束内战，正处在一个无主无法的时代，牛仔、劫匪、治安官、欧洲移民、印第安人···有一部分老套的西部牛仔骑马互射剧情，但更多的是关注牛仔的生活和移民对自由的向往，不过追求自由的道路上充满着艰辛：窃马贼、印第安部落、响尾蛇、龙卷风、还有这片无情的土地。很有深度的电视剧，除了女主的鼻涕扣分项外其他没有槽点，剧情是难得的完整不多不少，非常非常推荐。摘一段喜欢的描述牛仔的台词

个人喜好：⭐️⭐️⭐️⭐️⭐️

推荐指数：⭐️⭐️⭐️⭐️⭐️

《塔尔萨之王》

爽片。70多岁的史泰龙主演，关了几十年的老黑帮重掌小城市黑道秩序，”不是我适应不了，是现在的人规矩有问题“，俺老派黑帮是讲规矩滴~剧情没什么槽点，没有拖沓，爽看。不知道后面还拍不拍了

个人喜好：⭐️⭐️⭐️⭐️

推荐指数：⭐️⭐️⭐️⭐️⭐️

《星期三》

爽片，还可以。我都没看过洛丽塔风格的美剧，看着还不错。前面还是很好看的，很新奇，后面重点讲悬疑就不行了，谁都看出来是哪个在捣鬼，就星期三（女主名）看不出来···（美剧里面很多悬疑剧都是这样，前面都很好看，后面就慢慢拉了。）没看过洛丽塔风格的可以试试

个人喜好：⭐️⭐️⭐️⭐️

推荐指数：⭐️⭐️⭐️

《最后的生还者》

由同名游戏改编，我居然没玩过~！也正因为没玩过所以才能心平气和看这部剧。由《权游》里人气很高的小熊女和红毒蛇主演，演的都很顺滑不出戏。是个末日僵尸类型的电视剧，不过僵尸不是病毒感染，而是真菌感染，僵尸脑子里全是菌。有一个印象深刻的片段：小熊女把卡在石头里的僵尸脑袋划了个口子，那里面的真菌都溢出来了，还是活的。可能就是真菌的原因看的要比一般丧尸爽一点，画面很好看，不是黑黢黢的，也没那么恶心。完整的剧集，画面非常棒，最后有段个人有点心理阴影的桥段很不适外，整体剧情绝对不拉跨，几个小故事都讲的很好，整体很好看，很推荐。

个人喜好：⭐️⭐️⭐️⭐️

推荐指数：⭐️⭐️⭐️⭐️⭐️

《大西洋帝国》

一个系列总共4季已完结。剧集发生在1920s的美国，刚刚颁布禁酒令，妇女站在酒吧门口呼吁女性权利，政客为了拉票支持女性但私下都做着贩酒生意，黑帮从车上下来穿着大衣拿着汤普森冲锋枪突突···大西洋帝国就是说的大西洋城（Atlantic City，在纽约下面一点）的黑帮帝国，靠着贩酒建造了富可敌国的帝国。相信不少人看过《美国往事》，可以把这部戏近似看成它的电视剧版。这部戏一言难尽，只有一季一季讲。第一季神中神，有很多不可描述的画面，剧情不能说顺畅而是神乎其神，女性、黑人、走私酒、爵士乐、黑帮斗争、一战士兵···黑帮已经实际控制了这个城市，连报社都不想听市长说的什么。第二季为第一季的续集，也很不错。第三季槽点就来了，它不像前两季的续集（虽然有些剧情有衔接），但是完全可以独立出来看。你说他剧情不好吧，是的他很脱节，但是说他烂嘛，单领出来没毛病甚至有点好看。这一季有很多精彩桥段：半脸人一个打十个、辣妈惊为天人的剧情、长段的黑人solo blues，都超棒！第四季槽点满满，我以为我最喜欢的角色沉寂了3季总该粉墨登场来点作用了，结果草草收场，编剧你要不就不要把他印在封面上好吗？搞得好像有什么大动作，给我期待半天···。第四季男主高度太高了感觉不好推动剧情（其实第三季就有这种感觉），第四季唯一亮点就是男主小时候的剧情，算是男主线完美收场。有很多人物的后期剧情不太好，但是有很多人物的中期剧情又太精彩了···虽然这部剧人气不高，但是还是拿过奖的，而且能看到很多桥段被后面的一些高人气美剧借鉴。比如《绝美毒师》炸鸡叔桥段借鉴半脸男，《权力的游戏》托曼国王自杀桥段“完全”借鉴管家自杀··· 个人很喜欢这部剧，身临其境的感受那个年代的繁华都市、奢靡的城市生活、地下酒吧的爵士乐、黑帮···非常放得开的剧情（指任何东西都放得开），系列整体好看，很有时代感。

个人喜好：⭐️⭐️⭐️⭐️⭐️

推荐指数：⭐️⭐️⭐️⭐️

《兄弟连》

相信很多人都听说过这部戏的大名，是的我居然没看过。我小学生的文笔有限，文化程度低，无法做出评价，只有一个“神”字可以说得出口。找个机会再看一遍~

个人喜好：⭐️⭐️⭐️⭐️⭐️

推荐指数：⭐️⭐️⭐️⭐️⭐️

《太平洋战争》

《太平洋战争》拍在《兄弟连》前面不久，其实是很好看的一部剧，但是奈何后面出了个妖怪，这部剧名气没那么高。《兄弟连》说的是二战美国的欧洲战场，这部戏说的是太平洋战场。很神奇的是，这两部剧就跟这两个战场一样，欧洲战场更为人所知，剧集也是一样的···甚至在电视剧中，同一饭桌上，欧洲战场的soldier炫耀缴获的德军万旗，而太平洋战场的soldier却什么都没拿到，略显没落。虽然不太出名，但是非常非常推荐的一部剧。

个人喜好：⭐️⭐️⭐️⭐️⭐️

推荐指数：⭐️⭐️⭐️⭐️⭐️

《曼达洛人》

《曼达洛人》已经出到第三季了。也是红毒蛇主演的，也是爸爸带儿子的剧情···前两季挺好看的，人气也比较高。这次的第三季，不咋滴。曼达洛人应该还是类似游侠身份推动剧情好一点，一群曼达洛人创建家园感觉没那味儿，甚至主角属性都有点被抢了（跑吧哥，带着娃在银河系里冒险不好吗？）这部戏我所说的好看，是在喜欢星战系列的前提下。国内喜欢星战的确实很少，不喜欢应该看不下去可以跳过。

个人喜好：⭐️⭐️⭐️⭐️⭐️

推荐指数：⭐️

《白色巨塔》

这部剧是一部日剧，我想以这部剧结束，因为它确实很棒，近乎完美。虽然有些年头了，但是看剧的时候不会感觉无聊，很多思想都很前卫，剧情跌宕起伏，善恶并不绝对，几个女性角色刻画的很好。能看到很老套的三角恋和剧情反转，重温一下还是相当不错的。财前教授最后的举动，也给全剧画上了完美的句号。日剧南波湾！

个人喜好：⭐️⭐️⭐️⭐️⭐️

推荐指数：⭐️⭐️⭐️⭐️⭐️

最后都是值得一看的剧，也有很多神剧。有些剧没有找到熟肉硬啃生的，比如黄石系列剧《1883》，因为没有很复杂的对话所以也啃过去了（旁白很有水平）···算是生肉首开。这些剧基本都是近半年看的，所以拉起来一起说说。更早时候看的美剧其实也有很多精彩的，印象深刻，埋个坑有闲心了再聊吧~ 希望下半年也能找到好剧。

杂项 on 最后的DBA

一个 DBA 视角看 0526 安可数据库名单

太长不看 #

最新名单 #

开闸放水 #

影响 #

令人唏嘘 #

参考 #

个人博客上线

上线啦！ #

亮点 #

上线感悟 #

花了多少钱 #

最后 #

参考 #

我的年终总结2025

As a DBA #

READING #

博客和公众号 #

最后 #

我的年终总结2024

As a DBA #

READING #

博客和公众号 #

最后 #

ogg搭建oracle-pg同步——实操步骤

.bash_profile #

Get the aliases and functions #

User specific environment and startup programs #

ogg搭建pg-oracle同步——实操步骤

1.源端创建库及表 #

2.目标端创建库及表 #

3.解压安装ogg for postgresql #

4.pg用户环境变量配置 #

5.配置管理进程 #

6.源端postgresql参数调整 #

7.ogg for pg数据源配置 #

8. 连接测试 #

9.开启表级别附加日志 #

10 在pg上注册抽取进程 #

11.配置抽取进程和投递进程 #

12.添加trail和启动抽取和投递 #

13 配置defgen #

14.目标端验证trail投递正常 #

15.在pg上注册抽取进程 #

16.配置oracle用户环境变量 #

17.配置oracle侧的监听和tns #

18.目标端安装ogg for oracle #

19 oracle库的用户和权限 #

20 目标端mgr进程 #

21 目标端配置复制进程 #

22 测试同步 #

pg_rewind初识

什么是pg_rewind? #

pg_rewind的使用 #

常见问题 #

pg_rewind命令报错一 #

pg_rewind命令报错二 #

pg_rewind命令报错三 #

参考文档： #

我是如何考上武汉大学在职研究生的

我为什么要考在职研究生？ #

全日制研究生和在职研究生的区别 #

学习状态 #

考试范围 #

研究方向 #

社会认可度 #

如何选专业 #

如何选择学校 #

怎么考试？ #

考试内容 #

提前面试 #

如何报名 #

要不要报培训班？ #

培训班给了我什么？ #

初试 #

如何准备初试——学习计划 #

推荐的学习资料 #

英语学习 #

单词 #

太长不看
#

最新名单
#

开闸放水
#

影响
#

令人唏嘘
#

参考
#

上线啦！
#

亮点
#

上线感悟
#

花了多少钱
#

最后
#

参考
#

As a DBA
#

READING
#

博客和公众号
#

最后
#

As a DBA
#

READING
#

博客和公众号
#

最后
#

.bash_profile
#

Get the aliases and functions
#

User specific environment and startup programs
#

1.源端创建库及表
#

2.目标端创建库及表
#

3.解压安装ogg for postgresql
#

4.pg用户环境变量配置
#

5.配置管理进程
#

6.源端postgresql参数调整
#

7.ogg for pg数据源配置
#

8. 连接测试
#

9.开启表级别附加日志
#

10 在pg上注册抽取进程
#

11.配置抽取进程和投递进程
#

12.添加trail和启动抽取和投递
#

13 配置defgen
#

14.目标端验证trail投递正常
#

15.在pg上注册抽取进程
#

16.配置oracle用户环境变量
#

17.配置oracle侧的监听和tns
#

18.目标端安装ogg for oracle
#

19 oracle库的用户和权限
#

20 目标端mgr进程
#

21 目标端配置复制进程
#

22 测试同步
#

什么是pg_rewind?
#

pg_rewind的使用
#

常见问题
#

pg_rewind命令报错一
#

pg_rewind命令报错二
#

pg_rewind命令报错三
#

参考文档：
#

我为什么要考在职研究生？
#

全日制研究生和在职研究生的区别
#

学习状态
#

考试范围
#

研究方向
#

社会认可度
#

如何选专业
#

如何选择学校
#

怎么考试？
#

考试内容
#

提前面试
#

如何报名
#

要不要报培训班？
#

培训班给了我什么？
#

初试
#

如何准备初试——学习计划
#

推荐的学习资料
#

英语学习
#

单词
#

阅读
#

写作
#

数学学习、逻辑学习
#

数学题：
#

逻辑题：
#

中文写作学习
#

考试时的做题规划
#

复试
#

复试的基本信息
#