一朵科研云,連接已知與未知
隨著科學數據呈現“井噴式”增長且質量大幅提升,科學研究方法也發生了重要變革,即通過大量已知數據通過計算得出未知理論。科學創新進入了數據密集型科學時代,越來越依賴大量、系統、高可信的科學數據。
一個國家的科學研究水平將直接取決于科學數據優勢,以及將數據轉化為知識的能力。2018 年,國務院出臺了《科學數據管理辦法》,明確了我國科學數據管理的總體原則、主要職責、數據采集匯交與保存、共享利用、保密與安全等內容。上海科技創新資源數據中心率先探索,促進數據互聯互通,以共享應用提升科學數據的價值。
在過去近兩年時間里,上海科技創新資源數據中心匯聚了大量科技創新資源數據,包括一億條不同來源的學術論文數據,1.3 億條專利數據,47.8 萬全球高層次人才數據,5000 萬條國際科研基金數據,1200 萬家長三角在滬經營企業數據,以及 4 萬套科學儀器數據、26 家全球國立科研機構數據;并構建起統一的科創資源數據平臺,建立從數據的采集處理、數據清洗轉化、數據倉庫到數據應用的數據處理全流程,用以支持數據開放共享應用服務。
同時,上海科技創新資源數據中心研發了順應科學數據特點的,具有分布式存儲、并行計算和大數據計算的容器云平臺——SciPlus 科研云。青云QingCloud 作為技術領先的企業級云服務商與數字化解決方案提供商,以自主創新、中立可靠、靈活開放的全維云平臺能力,成為上海科技創新資源數據中心的重要技術合作伙伴。
經過一年多的努力,SciPlus 科研云已經初步完善云平臺研究和建設,核心是聚焦支撐服務,為科學研究賦能。基于分布式云計算技術構建的?SciPlus?科研云,具有資源共享、彈性收縮等云平臺共性,專注于管理、存儲,將計算資源和數據資源合理高效整合到云端。
SciPlus 科研云包括多云異構云管平臺、通用分布式計算框架、流式編程計算框架。多云異構云管平臺可以統籌和整合各方資源,形成聯邦云計算平臺。通用分布式計算框架是一種基于分布式存儲技術的容器技術,具有三個統一特性,即統一資源池、統一計算平臺、統一基礎設施技術棧,可按需擴展存儲能力。此計算框架還可以為不同計算任務及數據安全進行安全隔離。流式編排計算框架為復雜多步驟科學計算提供彈性支持,提升計算資源利用率,并根據計算資源使用情況,自動調度計算模塊,科研人員通過可視化界面能夠了解計算過程并隨時調整計算步驟。
這些與傳統科學家常用的方式有著明顯區別。以生信分析為例,SciPlus 科研云為海量生信分析服務提供云存儲、云分析、云共享,生信領域專家可以通過流程編排將核心算法和分析流程部署到平臺上,再根據需求進行在線分析計算。青云QingCloud?以軟件定義將存儲、網絡與計算的能力變得更強大、成本更低廉,助推 SciPlus?科研云更好地以行業云的形式構建跨領域、跨層級的科研服務生態。
上海科技創新數據資源中心使用前瞻性的技術,構建云基礎設施,最終成為滿足未來科學發展的,集科學數據匯交、存儲、計算、共享與應用等功能于一體的區域性、綜合型、國際化的科學數據中心。青云QingCloud 在云原生時代貢獻力量,與上海科技創新中心共同迎接挑戰、承擔使命,推動產學研深入結合,讓科學數據真正流動起來,并發揮促進國家科技創新和經濟社會發展的重要基礎作用。