網(wǎng)上有很多關(guān)于銀聯(lián)的pos機(jī)內(nèi)存已滿,中國銀聯(lián)—基于容器的金融數(shù)據(jù)庫云平臺DBaaS設(shè)計(jì)實(shí)踐分享的知識，也有很多人為大家解答關(guān)于銀聯(lián)的pos機(jī)內(nèi)存已滿的問題，今天pos機(jī)之家(www.shineka.com)為大家整理了關(guān)于這方面的知識，讓我們一起來看下吧!
本文目錄一覽：
銀聯(lián)的pos機(jī)內(nèi)存已滿
本文根據(jù)曾玉成老師在2018年5月11日【第九屆中國數(shù)據(jù)庫技術(shù)大會（DTCC2018）】現(xiàn)場演講內(nèi)容整理而成。
講師介紹：
中國銀聯(lián)資深數(shù)據(jù)庫專家，數(shù)據(jù)庫團(tuán)隊(duì)負(fù)責(zé)人 曾玉成
中國銀聯(lián)資深數(shù)據(jù)庫專家，數(shù)據(jù)庫團(tuán)隊(duì)負(fù)責(zé)人，銀聯(lián)技術(shù)專家委員會委員；團(tuán)隊(duì)負(fù)責(zé)銀聯(lián)信息總中心數(shù)據(jù)庫、大數(shù)據(jù)相關(guān)運(yùn)維工作；13年大型核心金融交易系統(tǒng)數(shù)據(jù)庫設(shè)計(jì)及運(yùn)維經(jīng)驗(yàn)，最近5年帶領(lǐng)團(tuán)隊(duì)在開源技術(shù)包括數(shù)據(jù)庫云、分布式數(shù)據(jù)庫、大數(shù)據(jù)、容器技術(shù)、規(guī)?；\(yùn)維等方向進(jìn)行實(shí)踐和探索。
分享大綱：
1. 銀聯(lián)轉(zhuǎn)型發(fā)展的技術(shù)需求
2. 數(shù)據(jù)庫云的銀聯(lián)方案
3. 數(shù)據(jù)庫云建設(shè)的挑戰(zhàn)
4. 發(fā)展及暢想
一、銀聯(lián)轉(zhuǎn)型發(fā)展的技術(shù)需求
金融行業(yè)數(shù)據(jù)庫技術(shù)發(fā)展趨勢
從金融行業(yè)來講我們大概有這么幾個趨勢，之前的話大家都知道在銀行里面或者金融系統(tǒng)里面用的都是一些IOE，像一些產(chǎn)品的數(shù)據(jù)庫加小機(jī)加存儲，現(xiàn)在是因?yàn)槲覀兊臉I(yè)務(wù)也是在不斷地互聯(lián)網(wǎng)化和移動化方向發(fā)展，同時(shí)現(xiàn)在因?yàn)閷鹑跈C(jī)構(gòu)來講監(jiān)管有一些要求，比如說一些開源、國產(chǎn)化、自主可控這些方面對我們來講就提出來一些新的要求。
因此金融行業(yè)的技術(shù)發(fā)展有這么幾個趨勢，有點(diǎn)像互聯(lián)網(wǎng)企業(yè)一樣，就是說微服務(wù)化、分布式化、平臺化、自動化、智能化這樣一個發(fā)展趨勢，大部分的銀行或者金融機(jī)構(gòu)里面目前的現(xiàn)狀可能是商業(yè)產(chǎn)品，同時(shí)也有大量的這種開源的數(shù)據(jù)庫并行的現(xiàn)狀，總體的話就是自主可控、分布式、PssS云化和自動化。
銀聯(lián)轉(zhuǎn)型發(fā)展的技術(shù)需求
這個是針對我們銀聯(lián)自己來講的話，就是我們銀聯(lián)在業(yè)務(wù)的轉(zhuǎn)型對我們技術(shù)的需求。之前的話大家可能也都知道基本上銀聯(lián)的業(yè)務(wù)場景就是POS刷卡、ATM取錢、操作，但是這幾年的話業(yè)務(wù)發(fā)展慢慢的也是移動互聯(lián)網(wǎng)化，比如說像我們的一些產(chǎn)品，包括云閃付APP，大家用的是apple pay這些產(chǎn)品，還有一些銀聯(lián)在線掃碼支付，這些都是移動互聯(lián)網(wǎng)的這樣一個業(yè)務(wù)場景。
那么這些業(yè)務(wù)系統(tǒng)的話跟我們有相關(guān)的一些特點(diǎn)，第一個就是業(yè)務(wù)來的很快，而且規(guī)模都很大，然后像這些APP的話經(jīng)常會搞一些活動，那么對一些需求也是風(fēng)險(xiǎn)的要求比較高的，比如說我們搞活動的時(shí)候買了會員，是平時(shí)的N倍，另外一個就是我們因?yàn)橐?guī)模大了以后，平臺可靠性這一塊要求挺高，因此就是說這樣一個背景情況下，對于我們的基礎(chǔ)知識架構(gòu)這一塊提出來一些新的要求，比如說要有更快的服務(wù)交換能力，更高的資源利用，還有一個更靈活的大規(guī)模的管理能力。
剛才前面講到的就是知識架構(gòu)那一塊需要那些能力的話，那我們通過什么方法來解決呢？比如說我怎么快速去交付，我怎么樣去彈性提供資源，然后我在想可能大家想的都一樣，通過云的方法去做，那么做數(shù)據(jù)庫云去解決這些問題。那作為一個數(shù)據(jù)庫云架構(gòu)，應(yīng)該有靈活的資源彈性調(diào)動能力，高效的資源利用率，服務(wù)安全可靠，具備大規(guī)模的服務(wù)管理。
二、數(shù)據(jù)庫云的銀聯(lián)方案
我們銀聯(lián)這一塊就是在金融行業(yè)里面做開源這一塊的話相對來講應(yīng)該是比較早的，我們在2012年的時(shí)候就開始做，那個時(shí)候的話因?yàn)閿?shù)量比較少，早期的話我們主要是用手工加一些自動化腳本制作的一些運(yùn)維，但是到2014年的時(shí)候，我們生產(chǎn)的Mysql數(shù)據(jù)庫越來越多了，那時(shí)候我們就想著做平臺來管理那時(shí)候是DBaaS1.0。
但是到了2015年的時(shí)候，也就是當(dāng)時(shí)容器這種技術(shù)出現(xiàn)了，當(dāng)時(shí)我們在想容器這種技術(shù)的話是不是能夠把數(shù)據(jù)實(shí)現(xiàn)平臺化，所以當(dāng)時(shí)我們2016年的時(shí)候就做了DBaaS2.0這個版本，那么這個DBaaS平臺我們是基于Docker做的。在這期間我們平臺主要做了兩個服務(wù)，一個是做了我們的基于Mysql開發(fā)的數(shù)據(jù)庫。然后我們上面的服務(wù)的話基本上也是分步策劃的，也能夠做到SCALE OUT彈性擴(kuò)展，這個是我們目前的現(xiàn)狀大概是2.0的版本，然后我們現(xiàn)在正在做的是智能化自助化的功能。
我們現(xiàn)在這個版本總結(jié)下來有這么幾個特點(diǎn)。第一個就是自主可控，這個平臺所有的開發(fā)，包括上面提供的數(shù)據(jù)庫服務(wù)，這個都是我們自己自研的，這個也是符合我們國家對金融安全監(jiān)管的要求的。第二個就是彈性伸縮實(shí)現(xiàn)了SCALE UP和SCALE OUT。第三個就是我們高度服務(wù)化，我們把這個企業(yè)結(jié)構(gòu)進(jìn)行服務(wù)化的一些設(shè)計(jì)，我們很快速地把一些數(shù)據(jù)庫產(chǎn)品進(jìn)行包裝。第四個的話就是我們當(dāng)時(shí)是2015年就開始做數(shù)據(jù)庫容器化，我們很早的時(shí)候，2015年的時(shí)候就把這個做出來了，而且大規(guī)模地在生態(tài)環(huán)境中用了，用在我們的金融領(lǐng)域，這應(yīng)該在國內(nèi)的金融領(lǐng)域算是比較早的。
我們平臺的話自動化和自助化是我們一個最基本的要求，就是在這個平臺上我們所有的操作、運(yùn)維、管理基本上都是做到簡單。通用性高是在部署方面體現(xiàn)，比如說我們很多環(huán)境，我們銀聯(lián)有很多開發(fā)、研發(fā)，部署等等，有的產(chǎn)品做的特別復(fù)雜，部署要好幾天，但是這個也不好用。
基于docker的DBaaS建設(shè)的幾個重要難點(diǎn)
容器管理框架
講一下我們當(dāng)時(shí)做那個容器的框架選擇的時(shí)候?yàn)槭裁次覀冞x的是Swarm。因?yàn)楫?dāng)時(shí)其實(shí)也是面臨兩個選擇，一個是用Swarm另一個是用K8s，但是同樣2015年那個時(shí)候來看的話，我們是研究了一下發(fā)現(xiàn)就是說做數(shù)據(jù)庫的話，這兩個都不能很好地解決我們的問題，就是說它的原生的一些網(wǎng)絡(luò)架構(gòu)或者一些管理架構(gòu)都沒法滿足我們的一些需求，所以這兩個都是要我們定制和開發(fā)的，要在我們自己去設(shè)想開發(fā)，所以我們當(dāng)時(shí)就選了Swarm。
為什么選這個呢？首先是因?yàn)樗且粋€輕量級的，然后可定制性比較高，就是開發(fā)相對難度要小一點(diǎn)，所以我們選擇了Swarm，當(dāng)時(shí)來講Swarm其實(shí)發(fā)展勢頭還是蠻好的，特別是這兩年發(fā)展的比較好，但是就是到今天為止K8s也沒有辦法完完全全滿足數(shù)據(jù)庫容器化的這個需求，它也沒有用原生態(tài)去做一個復(fù)雜的數(shù)據(jù)庫平臺網(wǎng)絡(luò)和存儲模型，我們也一直在關(guān)注這個的發(fā)展。
平臺網(wǎng)絡(luò)解決方案
這個是我們技術(shù)上面的一個解決方案，想跟大家分享一下。首先是網(wǎng)絡(luò)這一塊，那么做容器，做數(shù)據(jù)庫的話，網(wǎng)絡(luò)這塊是很關(guān)鍵的，你什么樣的網(wǎng)絡(luò)模型那么就用你這個數(shù)據(jù)庫的性能。比如說我們Docker計(jì)算網(wǎng)絡(luò)模式，你用其他的原生模式去試一下就知道，你會發(fā)現(xiàn)性能損耗非常大，但如果你不用它，你用其他的那些模式你會發(fā)現(xiàn)那個網(wǎng)絡(luò)沒法做隔離。它怎么樣做到一種方案就是說我既能夠把網(wǎng)絡(luò)隔離起來，同時(shí)又能夠把網(wǎng)絡(luò)對它的性能不受影響，那時(shí)候我們就選擇了一個方案叫做過SR_IOV技術(shù)，就是把一款物理網(wǎng)卡進(jìn)行虛擬化，現(xiàn)在普通的萬兆網(wǎng)卡都可以做到64個或128個虛擬卡，那么把這個虛擬網(wǎng)卡通過VF方式放入網(wǎng)絡(luò)內(nèi)存，大概具體的做法就是說速度之上，把這個網(wǎng)卡虛擬化了以后，然后通過Net NS映射給Docker, 雙網(wǎng)卡bonding。VF上還可以直接配置Qos策略，相較于物理環(huán)境下無損耗，這一點(diǎn)是非常非?？少F的，就是在我們做數(shù)據(jù)庫容器化的時(shí)候一個很關(guān)鍵的點(diǎn)，這個方案我后來也看到了，就是螞蟻金服他們自己以前做的也是這種方案。
平臺存儲管理解決方案
另外一個就是存儲這一塊。之前我們用容器平臺做存儲這一塊大概有兩種選擇，一種選擇是用本地存儲，另一個選擇是分布式存儲，那么這兩種方案都有缺點(diǎn)，第一個用本地存儲的話有一個很大的問題，就是數(shù)據(jù)遷移性的問題，你要被通過備份，這個是一個比較耗時(shí)的問題。同時(shí)一般本地存儲的空間是比較小的，那它的一兩個T就沒了。如果是用的共享存儲的話有一個最大的問題就是性能問題，那有沒有一種方法就是說我們既能夠做到數(shù)據(jù)快速遷移，同時(shí)又滿足存儲隔離，那我們后來用了金融行業(yè)用的比較多的一種方案，就是用外部存儲。
平臺服務(wù)-自研分布式數(shù)據(jù)庫UPSQL
平臺服務(wù)-自研分布式緩存UPredis
這個是我們平臺上第三個難做的就是說你提供的服務(wù)這一塊，你怎么樣做一個服務(wù)的執(zhí)行的服務(wù)能力。
三、數(shù)據(jù)庫云建設(shè)的挑戰(zhàn)
DBaaS建設(shè)的風(fēng)險(xiǎn)及應(yīng)對
前面介紹的是我們做這個平臺的過程當(dāng)中總結(jié)下來的五點(diǎn)比較關(guān)鍵的一些點(diǎn)，其實(shí)也是暴露了我們在整個過程當(dāng)中最重要的一些經(jīng)驗(yàn)吧，也是跟大家分享一下。
同時(shí)另外還有一些經(jīng)驗(yàn)跟大家分享一下就是說DBaaS其實(shí)也是有很大的投入的，所以先來分享一個就是說DBaaS不是適合每個公司都去做，因?yàn)樗€是有一些技術(shù)門檻在里面，還是有一些投入在里面。
管理這一塊的話我覺得一個概念就是說整體上在云環(huán)境下你要有這樣一個意識，就是任何一個模塊都是不可靠的，所以你在設(shè)計(jì)這個平臺的時(shí)候你要想任何一個模塊故障的話是否會受到影響。包括前面剛才講的補(bǔ)充一下，為什么投入性蠻大的？我們做這些東西其實(shí)銀聯(lián)的話現(xiàn)在有還算比較大的一個團(tuán)隊(duì)，有30個人做這件事情，包括做我們定制的數(shù)據(jù)庫，包括做這個平臺，還是有一點(diǎn)規(guī)模的。
四、發(fā)展及暢想
銀聯(lián)DBaaS產(chǎn)品服務(wù)情況
發(fā)展及暢想
這個是我們對這個產(chǎn)品的話的一些規(guī)劃，就是說現(xiàn)在只是提供了我們分公司的數(shù)據(jù)庫，那么我們接下來肯定會進(jìn)一步在上面封裝更多的產(chǎn)品，其實(shí)銀聯(lián)是DB2的使用大戶，那么我們怎么樣把這個服務(wù)擴(kuò)展到這個平臺這是非常關(guān)鍵的，也是一個比較難做的事情。另外一個就是縱向的，就是平臺智能化這一塊，我們正在做的一個事情就是說我怎么樣做好這個智能分析調(diào)優(yōu)。最后是增值服務(wù)方面，我們做數(shù)據(jù)的轉(zhuǎn)移、風(fēng)險(xiǎn)監(jiān)控、大數(shù)據(jù)分析之類的。
以上就是關(guān)于銀聯(lián)的pos機(jī)內(nèi)存已滿,中國銀聯(lián)—基于容器的金融數(shù)據(jù)庫云平臺DBaaS設(shè)計(jì)實(shí)踐分享的知識，后面我們會繼續(xù)為大家整理關(guān)于銀聯(lián)的pos機(jī)內(nèi)存已滿的知識，希望能夠幫助到大家！
