季莫什丘克/中国女排对阵日本女排/篮协回应江苏男篮疑打假球/斯普雷威尔

業務電話:13590940718
首頁
ERP整體解決方案
項目于2020/06/15正式啟動,經過近9個月的調研,討論,開發,然后再調研,再開發,測試,討論;經歷無數次的會議及需求調研,近300頁紙的需求文檔。該模塊在2021年03月份正式開始測試上線了。 辛苦公司開發組的各位程序員兄弟了
目標01. 按每種產品的生產工藝來追蹤每張生產工單的進度及每道工序 的完成數量。 目標02. 記錄每張工單在每道工序合格數量、報廢數量、返工數量,并提供報表資料給人事用于核實工資。 目標03. 工單完
標準方案列表 功能模塊 解決的問題 倉庫進銷存 1.權限控制和基礎資料 2.物料資料和產品BOM 3.業務銷售(報價、出貨、退貨)4.采購供應(采購申請、收貨、退貨)5.生產
壹阿批平臺(簡稱E平臺)包括企業OA協同辦公模塊,壹阿批手機App應用、壹阿批手持終端PDA應用、壹阿批車間電子平板應用。 其中壹阿批App應用是一款配合企誠ERP軟件使用的手機App軟件;它覆蓋了企誠ERP中的倉庫管理、物料進銷
“產品領先、伙伴至上、共創雙贏”是企誠軟件最新的渠道發展策略。企誠軟件一直致力于打造企業ERP管理軟件產業鏈,并為更多的渠道合作伙伴提供開放和便利的渠道服務平臺。推動合作伙伴獲取前所未有的利潤空間,真正實現共創雙
中山市企誠軟件科技有限公司,2005年創建于廣東中山,為工廠提供數字化管理整體解決方案。主要為工廠企業提供ERP系統實施與定制開發服務、SRM供應鏈系統、WMS倉儲精細化管理系統、MES車間制造執行系統、HNT汗諾塔企業經營數
ERP整體解決方案
動態資訊 >行業洞察 >正文


當前所在頁面: 首頁 > 動態資訊 > 行業洞察 > 一條 SQL 引發的事故,技術直接被開除
一條 SQL 引發的事故,技術直接被開除
時間:2021-06-05 22:27:29.0

前  言

Insert into select請慎用。

這天xxx接到一個需求,需要將表A的數據遷移到表B中去做一個備份。本想通過程序先查詢查出來然后批量插入。但xxx覺得這樣有點慢,需要耗費大量的網絡I/O,決定采取別的方法進行實現。

通過在Baidu的海洋里遨游,他發現了可以使用insert into select實現,這樣就可以避免使用網絡I/O,直接使用SQL依靠數據庫I/O完成,這樣簡直不要太棒了。

然后他就被開除了。

事故發生的經過

由于數據數據庫中order_today數據量過大,當時好像有700W了并且每天在以30W的速度增加。

所以上司命令xxx將order_today內的部分數據遷移到order_record中,并將order_today中的數據刪除。

這樣來降低order_today表中的數據量。

由于考慮到會占用數據庫I/O,為了不影響業務,計劃是9:00以后開始遷移,但是xxx在8:00的時候,嘗試遷移了少部分數據(1000條),覺得沒啥問題,就開始考慮大批量遷移。

在遷移的過程中,應急群是先反應有小部分用戶出現支付失敗,隨后反應大批用戶出現支付失敗的情況,以及初始化訂單失敗的情況,同時騰訊也開始報警。

然后xxx就慌了,立即停止了遷移。

本以為停止遷移就就可以恢復了,但是并沒有。后面發生的你們可以腦補一下。

事故還原

在本地建立一個精簡版的數據庫,并生成了100w的數據。模擬線上發生的情況。

建立表結構

訂單表

訂單記錄表

今日訂單表數據

模擬遷移

把8號之前的數據都遷移到order_record表中去。

在navicat中運行遷移的sql,同時開另個一個窗口插入數據,模擬下單。

從上面可以發現一開始能正常插入,但是后面突然就卡住了,并且耗費了23s才成功,然后才能繼續插入。這個時候已經遷移成功了,所以能正常插入了。

出現的原因

在默認的事務隔離級別下:insert into order_record select * from order_today 加鎖規則是:order_record表鎖,order_today逐步鎖(掃描一個鎖一個)。

分析執行過程。

通過觀察遷移sql的執行情況你會發現order_today是全表掃描,也就意味著在執行insert into select from 語句時,mysql會從上到下掃描order_today內的記錄并且加鎖,這樣一來不就和直接鎖表是一樣了。

這也就可以解釋,為什么一開始只有少量用戶出現支付失敗,后續大量用戶出現支付失敗,初始化訂單失敗等情況,因為一開始只鎖定了少部分數據,沒有被鎖定的數據還是可以正常被修改為正常狀態。

由于鎖定的數據越來越多,就導致出現了大量支付失敗。最后全部鎖住,導致無法插入訂單,而出現初始化訂單失敗。

解決方案

由于查詢條件會導致order_today全表掃描,什么能避免全表掃描呢,很簡單嘛,給pay_success_time字段添加一個idx_pay_suc_time索引就可以了,由于走索引查詢,就不會出現掃描全表的情況而鎖表了,只會鎖定符合條件的記錄。

最終的sql

執行過程

總結

使用insert into tablA select * from tableB語句時,一定要確保tableB后面的where,order或者其他條件,都需要有對應的索引,來避免出現tableB全部記錄被鎖定的情況。

 

創造價值,收獲成長,贏得榮耀
法律聲明 Copyright ? 中山市企誠軟件科技有限公司 粵ICP備12011108號 粵公網安備 44200002442503號業務電話:13590940718
Copyright ? 中山市企誠軟件科技有限公司
業務電話:13590940718



咨詢電話