mirror of https://github.com/MISP/misp-dashboard
fix: [error] If the port is used, be graceful (#95)
fix: [error] If the port is used, be gracefulpull/101/head
commit
b0a4f5d17b
8
clean.py
8
clean.py
|
@ -1,11 +1,11 @@
|
||||||
#!/usr/bin/env python3
|
#!/usr/bin/env python3
|
||||||
|
|
||||||
from pprint import pprint
|
|
||||||
import os
|
|
||||||
import redis
|
|
||||||
import configparser
|
|
||||||
import argparse
|
import argparse
|
||||||
|
import configparser
|
||||||
|
import os
|
||||||
|
from pprint import pprint
|
||||||
|
|
||||||
|
import redis
|
||||||
|
|
||||||
RED="\033[91m"
|
RED="\033[91m"
|
||||||
GREEN="\033[92m"
|
GREEN="\033[92m"
|
||||||
|
|
|
@ -1,9 +1,13 @@
|
||||||
#!/usr/bin/env python3.5
|
#!/usr/bin/env python3.5
|
||||||
|
|
||||||
import os, sys, json
|
|
||||||
import datetime, time
|
|
||||||
import redis
|
|
||||||
import configparser
|
import configparser
|
||||||
|
import datetime
|
||||||
|
import json
|
||||||
|
import os
|
||||||
|
import sys
|
||||||
|
import time
|
||||||
|
|
||||||
|
import redis
|
||||||
|
|
||||||
import util
|
import util
|
||||||
from helpers import contributor_helper
|
from helpers import contributor_helper
|
||||||
|
|
|
@ -1,16 +1,19 @@
|
||||||
import util
|
|
||||||
from util import getZrange
|
|
||||||
import math, random
|
|
||||||
import time
|
|
||||||
import os
|
|
||||||
import configparser
|
import configparser
|
||||||
import json
|
|
||||||
import datetime
|
import datetime
|
||||||
|
import json
|
||||||
import logging
|
import logging
|
||||||
|
import math
|
||||||
|
import os
|
||||||
|
import random
|
||||||
|
import time
|
||||||
|
|
||||||
import redis
|
import redis
|
||||||
|
|
||||||
import util
|
import util
|
||||||
|
from util import getZrange
|
||||||
|
|
||||||
from . import users_helper
|
from . import users_helper
|
||||||
|
|
||||||
KEYDAY = "CONTRIB_DAY" # To be used by other module
|
KEYDAY = "CONTRIB_DAY" # To be used by other module
|
||||||
KEYALLORG = "CONTRIB_ALL_ORG" # To be used by other module
|
KEYALLORG = "CONTRIB_ALL_ORG" # To be used by other module
|
||||||
|
|
||||||
|
@ -589,4 +592,3 @@ class Contributor_helper:
|
||||||
return { 'remainingPts': i-points, 'stepPts': prev }
|
return { 'remainingPts': i-points, 'stepPts': prev }
|
||||||
prev = i
|
prev = i
|
||||||
return { 'remainingPts': 0, 'stepPts': self.rankMultiplier**self.levelMax }
|
return { 'remainingPts': 0, 'stepPts': self.rankMultiplier**self.levelMax }
|
||||||
|
|
||||||
|
|
|
@ -1,18 +1,21 @@
|
||||||
import math, random
|
import datetime
|
||||||
import os
|
|
||||||
import json
|
import json
|
||||||
import datetime, time
|
|
||||||
import logging
|
import logging
|
||||||
import json
|
import math
|
||||||
import redis
|
import os
|
||||||
|
import random
|
||||||
|
import time
|
||||||
from collections import OrderedDict
|
from collections import OrderedDict
|
||||||
|
|
||||||
import geoip2.database
|
import redis
|
||||||
import phonenumbers, pycountry
|
|
||||||
from phonenumbers import geocoder
|
|
||||||
|
|
||||||
|
import geoip2.database
|
||||||
|
import phonenumbers
|
||||||
|
import pycountry
|
||||||
import util
|
import util
|
||||||
from helpers import live_helper
|
from helpers import live_helper
|
||||||
|
from phonenumbers import geocoder
|
||||||
|
|
||||||
|
|
||||||
class InvalidCoordinate(Exception):
|
class InvalidCoordinate(Exception):
|
||||||
pass
|
pass
|
||||||
|
|
|
@ -1,8 +1,9 @@
|
||||||
import os
|
import datetime
|
||||||
import json
|
import json
|
||||||
import random
|
|
||||||
import datetime, time
|
|
||||||
import logging
|
import logging
|
||||||
|
import os
|
||||||
|
import random
|
||||||
|
import time
|
||||||
|
|
||||||
|
|
||||||
class Live_helper:
|
class Live_helper:
|
||||||
|
|
|
@ -1,13 +1,16 @@
|
||||||
import math, random
|
|
||||||
import os
|
|
||||||
import json
|
|
||||||
import copy
|
import copy
|
||||||
import datetime, time
|
import datetime
|
||||||
|
import json
|
||||||
import logging
|
import logging
|
||||||
|
import math
|
||||||
|
import os
|
||||||
|
import random
|
||||||
|
import time
|
||||||
from collections import OrderedDict
|
from collections import OrderedDict
|
||||||
|
|
||||||
import util
|
import util
|
||||||
|
|
||||||
|
|
||||||
class Trendings_helper:
|
class Trendings_helper:
|
||||||
def __init__(self, serv_redis_db, cfg):
|
def __init__(self, serv_redis_db, cfg):
|
||||||
self.serv_redis_db = serv_redis_db
|
self.serv_redis_db = serv_redis_db
|
||||||
|
|
|
@ -1,10 +1,13 @@
|
||||||
import math, random
|
import datetime
|
||||||
import os
|
|
||||||
import json
|
import json
|
||||||
import datetime, time
|
|
||||||
import logging
|
import logging
|
||||||
|
import math
|
||||||
|
import os
|
||||||
|
import random
|
||||||
|
import time
|
||||||
|
|
||||||
import util
|
import util
|
||||||
|
|
||||||
from . import contributor_helper
|
from . import contributor_helper
|
||||||
|
|
||||||
|
|
||||||
|
@ -63,11 +66,11 @@ class Users_helper:
|
||||||
else:
|
else:
|
||||||
break # timestamps should be sorted, no need to process anymore
|
break # timestamps should be sorted, no need to process anymore
|
||||||
return to_return
|
return to_return
|
||||||
|
|
||||||
|
|
||||||
# return: All dates for all orgs, if date is not supplied, return for all dates
|
# return: All dates for all orgs, if date is not supplied, return for all dates
|
||||||
def getUserLogins(self, date=None):
|
def getUserLogins(self, date=None):
|
||||||
# get all orgs and retreive their timestamps
|
# get all orgs and retrieve their timestamps
|
||||||
dates = []
|
dates = []
|
||||||
for org in self.getAllOrg():
|
for org in self.getAllOrg():
|
||||||
keyname = "{}:{}".format(self.keyOrgLog, org)
|
keyname = "{}:{}".format(self.keyOrgLog, org)
|
||||||
|
@ -169,7 +172,7 @@ class Users_helper:
|
||||||
data = [data[6]]+data[:6]
|
data = [data[6]]+data[:6]
|
||||||
return data
|
return data
|
||||||
|
|
||||||
# return: a dico of the form {login: [[timestamp, count], ...], contrib: [[timestamp, 1/0], ...]}
|
# return: a dico of the form {login: [[timestamp, count], ...], contrib: [[timestamp, 1/0], ...]}
|
||||||
# either for all orgs or the supplied one
|
# either for all orgs or the supplied one
|
||||||
def getUserLoginsAndContribOvertime(self, date, org=None, prev_days=6):
|
def getUserLoginsAndContribOvertime(self, date, org=None, prev_days=6):
|
||||||
dico_hours_contrib = {}
|
dico_hours_contrib = {}
|
||||||
|
|
|
@ -1,13 +1,15 @@
|
||||||
#!/usr/bin/env python3.5
|
#!/usr/bin/env python3.5
|
||||||
import redis
|
|
||||||
import requests
|
|
||||||
import shutil
|
|
||||||
import json
|
import json
|
||||||
import math
|
import math
|
||||||
import sys, os
|
import os
|
||||||
|
import shlex
|
||||||
|
import shutil
|
||||||
|
import sys
|
||||||
import time
|
import time
|
||||||
from subprocess import PIPE, Popen
|
from subprocess import PIPE, Popen
|
||||||
import shlex
|
|
||||||
|
import redis
|
||||||
|
import requests
|
||||||
|
|
||||||
URL_OPEN_MAP = "http://tile.openstreetmap.org/{zoom}/{x}/{y}.png"
|
URL_OPEN_MAP = "http://tile.openstreetmap.org/{zoom}/{x}/{y}.png"
|
||||||
MAP_DIR = "static/maps/"
|
MAP_DIR = "static/maps/"
|
35
server.py
35
server.py
|
@ -1,21 +1,22 @@
|
||||||
#!/usr/bin/env python3
|
#!/usr/bin/env python3
|
||||||
from flask import Flask, render_template, request, Response, jsonify, stream_with_context
|
|
||||||
import json
|
|
||||||
import redis
|
|
||||||
import random, math
|
|
||||||
import configparser
|
import configparser
|
||||||
|
import datetime
|
||||||
|
import errno
|
||||||
|
import json
|
||||||
|
import logging
|
||||||
|
import math
|
||||||
|
import os
|
||||||
|
import random
|
||||||
from time import gmtime as now
|
from time import gmtime as now
|
||||||
from time import sleep, strftime
|
from time import sleep, strftime
|
||||||
import datetime
|
|
||||||
import os
|
import redis
|
||||||
import logging
|
|
||||||
|
|
||||||
import util
|
import util
|
||||||
from helpers import geo_helper
|
from flask import (Flask, Response, jsonify, render_template, request,
|
||||||
from helpers import contributor_helper
|
stream_with_context)
|
||||||
from helpers import users_helper
|
from helpers import (contributor_helper, geo_helper, live_helper,
|
||||||
from helpers import trendings_helper
|
trendings_helper, users_helper)
|
||||||
from helpers import live_helper
|
|
||||||
|
|
||||||
configfile = os.path.join(os.path.dirname(os.path.realpath(__file__)), 'config/config.cfg')
|
configfile = os.path.join(os.path.dirname(os.path.realpath(__file__)), 'config/config.cfg')
|
||||||
cfg = configparser.ConfigParser()
|
cfg = configparser.ConfigParser()
|
||||||
|
@ -590,4 +591,12 @@ def getGenericTrendingOvertime():
|
||||||
return jsonify(data)
|
return jsonify(data)
|
||||||
|
|
||||||
if __name__ == '__main__':
|
if __name__ == '__main__':
|
||||||
app.run(host=server_host, port=server_port, threaded=True)
|
try:
|
||||||
|
app.run(host=server_host,
|
||||||
|
port=server_port,
|
||||||
|
threaded=True)
|
||||||
|
except OSError as error:
|
||||||
|
if error.errno == 98:
|
||||||
|
print("\n\n\nAddress already in use, the defined port is: " + str(server_port))
|
||||||
|
else:
|
||||||
|
print(str(error))
|
||||||
|
|
|
@ -145,7 +145,7 @@ function getTextColour(rgb) {
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
// If json (from tag), only retreive the name> otherwise return the supplied arg.
|
// If json (from tag), only retrieve the name> otherwise return the supplied arg.
|
||||||
function getOnlyName(potentialJson) {
|
function getOnlyName(potentialJson) {
|
||||||
try {
|
try {
|
||||||
jsonLabel = JSON.parse(potentialJson);
|
jsonLabel = JSON.parse(potentialJson);
|
||||||
|
|
|
@ -1,8 +1,13 @@
|
||||||
#!/usr/bin/env python3.5
|
#!/usr/bin/env python3.5
|
||||||
import configparser
|
import configparser
|
||||||
import redis
|
|
||||||
import sys,os
|
|
||||||
import datetime
|
import datetime
|
||||||
|
import os
|
||||||
|
import sys
|
||||||
|
|
||||||
|
import redis
|
||||||
|
|
||||||
|
from helpers import geo_helper
|
||||||
|
|
||||||
sys.path.append('..')
|
sys.path.append('..')
|
||||||
|
|
||||||
configfile = 'test_config.cfg'
|
configfile = 'test_config.cfg'
|
||||||
|
@ -14,7 +19,6 @@ serv_redis_db = redis.StrictRedis(
|
||||||
port=6260,
|
port=6260,
|
||||||
db=1)
|
db=1)
|
||||||
|
|
||||||
from helpers import geo_helper
|
|
||||||
geo_helper = geo_helper.Geo_helper(serv_redis_db, cfg)
|
geo_helper = geo_helper.Geo_helper(serv_redis_db, cfg)
|
||||||
|
|
||||||
categ = 'Network Activity'
|
categ = 'Network Activity'
|
||||||
|
|
|
@ -1,8 +1,14 @@
|
||||||
#!/usr/bin/env python3.5
|
#!/usr/bin/env python3.5
|
||||||
import configparser
|
import configparser
|
||||||
|
import datetime
|
||||||
|
import os
|
||||||
|
import sys
|
||||||
|
import time
|
||||||
|
|
||||||
import redis
|
import redis
|
||||||
import sys,os
|
|
||||||
import datetime, time
|
from helpers import trendings_helper
|
||||||
|
|
||||||
sys.path.append('..')
|
sys.path.append('..')
|
||||||
|
|
||||||
configfile = 'test_config.cfg'
|
configfile = 'test_config.cfg'
|
||||||
|
@ -14,7 +20,6 @@ serv_redis_db = redis.StrictRedis(
|
||||||
port=6260,
|
port=6260,
|
||||||
db=1)
|
db=1)
|
||||||
|
|
||||||
from helpers import trendings_helper
|
|
||||||
trendings_helper = trendings_helper.Trendings_helper(serv_redis_db, cfg)
|
trendings_helper = trendings_helper.Trendings_helper(serv_redis_db, cfg)
|
||||||
|
|
||||||
|
|
||||||
|
|
|
@ -1,8 +1,14 @@
|
||||||
#!/usr/bin/env python3.5
|
#!/usr/bin/env python3.5
|
||||||
import configparser
|
import configparser
|
||||||
|
import datetime
|
||||||
|
import os
|
||||||
|
import sys
|
||||||
|
import time
|
||||||
|
|
||||||
import redis
|
import redis
|
||||||
import sys,os
|
|
||||||
import datetime, time
|
from helpers import users_helper
|
||||||
|
|
||||||
sys.path.append('..')
|
sys.path.append('..')
|
||||||
|
|
||||||
configfile = 'test_config.cfg'
|
configfile = 'test_config.cfg'
|
||||||
|
@ -14,7 +20,6 @@ serv_redis_db = redis.StrictRedis(
|
||||||
port=6260,
|
port=6260,
|
||||||
db=1)
|
db=1)
|
||||||
|
|
||||||
from helpers import users_helper
|
|
||||||
users_helper = users_helper.Users_helper(serv_redis_db, cfg)
|
users_helper = users_helper.Users_helper(serv_redis_db, cfg)
|
||||||
|
|
||||||
|
|
||||||
|
|
3
util.py
3
util.py
|
@ -1,5 +1,6 @@
|
||||||
|
import datetime
|
||||||
|
import time
|
||||||
from collections import defaultdict
|
from collections import defaultdict
|
||||||
import datetime, time
|
|
||||||
|
|
||||||
ONE_DAY = 60*60*24
|
ONE_DAY = 60*60*24
|
||||||
|
|
||||||
|
|
|
@ -1,23 +1,22 @@
|
||||||
#!/usr/bin/env python3
|
#!/usr/bin/env python3
|
||||||
|
|
||||||
import time, datetime
|
|
||||||
import copy
|
|
||||||
import logging
|
|
||||||
import zmq
|
|
||||||
import redis
|
|
||||||
import random
|
|
||||||
import configparser
|
|
||||||
import argparse
|
import argparse
|
||||||
import os
|
import configparser
|
||||||
import sys
|
import copy
|
||||||
|
import datetime
|
||||||
import json
|
import json
|
||||||
|
import logging
|
||||||
|
import os
|
||||||
|
import random
|
||||||
|
import sys
|
||||||
|
import time
|
||||||
|
|
||||||
|
import redis
|
||||||
|
import zmq
|
||||||
|
|
||||||
import util
|
import util
|
||||||
from helpers import geo_helper
|
from helpers import (contributor_helper, geo_helper, live_helper,
|
||||||
from helpers import contributor_helper
|
trendings_helper, users_helper)
|
||||||
from helpers import users_helper
|
|
||||||
from helpers import trendings_helper
|
|
||||||
from helpers import live_helper
|
|
||||||
|
|
||||||
configfile = os.path.join(os.path.dirname(os.path.realpath(__file__)), 'config/config.cfg')
|
configfile = os.path.join(os.path.dirname(os.path.realpath(__file__)), 'config/config.cfg')
|
||||||
cfg = configparser.ConfigParser()
|
cfg = configparser.ConfigParser()
|
||||||
|
|
|
@ -1,14 +1,16 @@
|
||||||
#!/usr/bin/env python3
|
#!/usr/bin/env python3
|
||||||
|
|
||||||
import time, datetime
|
|
||||||
import zmq
|
|
||||||
import logging
|
|
||||||
import redis
|
|
||||||
import configparser
|
|
||||||
import argparse
|
import argparse
|
||||||
|
import configparser
|
||||||
|
import datetime
|
||||||
|
import json
|
||||||
|
import logging
|
||||||
import os
|
import os
|
||||||
import sys
|
import sys
|
||||||
import json
|
import time
|
||||||
|
|
||||||
|
import redis
|
||||||
|
import zmq
|
||||||
|
|
||||||
configfile = os.path.join(os.path.dirname(os.path.realpath(__file__)), 'config/config.cfg')
|
configfile = os.path.join(os.path.dirname(os.path.realpath(__file__)), 'config/config.cfg')
|
||||||
cfg = configparser.ConfigParser()
|
cfg = configparser.ConfigParser()
|
||||||
|
|
Loading…
Reference in New Issue