Lots of bugfixes, improvements: Dinamyc QA, file uploading refactoring, file managing logging improvements ...

This commit is contained in:
YourFriendlyNeighborhoodDealer 2019-02-24 10:27:47 +01:00
parent 3250139c82
commit b8c1a6ca97
14 changed files with 662 additions and 533 deletions

0
README.md Normal file → Executable file
View file

View file

@ -22,7 +22,8 @@ module.exports = {
ProcessIncomingRequest: ProcessIncomingRequest, ProcessIncomingRequest: ProcessIncomingRequest,
CheckData: CheckData, CheckData: CheckData,
NLoad: NLoad, NLoad: NLoad,
LoadJSON: LoadJSON LoadJSON: LoadJSON,
ProcessQA: ProcessQA
}; };
var recievedFile = "stats/recieved"; var recievedFile = "stats/recieved";
@ -31,6 +32,7 @@ var manFile = "public/man.html";
var dataFile = "public/data.json"; var dataFile = "public/data.json";
var motdFile = "public/motd"; var motdFile = "public/motd";
var versionFile = "public/currVersion"; var versionFile = "public/currVersion";
const qaFile = "public/qa";
var logger = require('./logger.js'); var logger = require('./logger.js');
var utils = require('./utils.js'); var utils = require('./utils.js');
@ -490,3 +492,31 @@ function LoadJSON(resource) {
logger.Log("[LOAD]:Error loading sutff", logger.GetColor("redbg"), true); logger.Log("[LOAD]:Error loading sutff", logger.GetColor("redbg"), true);
} }
} }
function ProcessQA() {
if (!utils.FileExists(qaFile))
utils.WriteFile("", qaFile);
let a = utils.ReadFile(qaFile).split("\n");
let r = [];
let ind = 0;
for (let i = 0; i < a.length; i++) {
if ( a[i] == "#")
ind ++;
else {
if (r[ind] == undefined)
r[ind] = {};
if (r[ind].q == undefined) {
r[ind].q = a[i];
} else {
if (r[ind].a == undefined)
r[ind].a = [];
r[ind].a.push(a[i]);
}
}
}
return r;
}

0
license Normal file → Executable file
View file

0
logger.js Normal file → Executable file
View file

0
merger.js Normal file → Executable file
View file

0
public/currVersion Normal file → Executable file
View file

0
public/favicon.ico Normal file → Executable file
View file

Before

Width:  |  Height:  |  Size: 252 KiB

After

Width:  |  Height:  |  Size: 252 KiB

Before After
Before After

22
public/man.html Normal file → Executable file
View file

@ -40,7 +40,7 @@
Továbbá ha a moodle oldalán a layout megváltozik, a script nem fog működni! Ez nem annyira Továbbá ha a moodle oldalán a layout megváltozik, a script nem fog működni! Ez nem annyira
gyakori, de bármikor megtörténhet! Érdemes nem kikapcsolni a tampermonkey-ban a userscript gyakori, de bármikor megtörténhet! Érdemes nem kikapcsolni a tampermonkey-ban a userscript
frissítést. Ez nem windows update, itt tényleg hibajavítások jönnek ki. Hiba, észrevétel frissítést. Ez nem windows update, itt tényleg hibajavítások jönnek ki. Hiba, észrevétel
esetén : <a target="_blank" href="https://questionmining.tk">Script Feedback</a> (ezt esetén : <a target="_blank" href="https://qmining.tk">Script Feedback</a> (ezt
gyakran még aznap megnézem. gyakran még aznap megnézem.
</p> </p>
</p> </p>
@ -77,7 +77,7 @@ változtatni akarsz, akkor illik tudni
</li> </li>
<li> <li>
<b>Gyakran előforduló kérdések</b> - Ha itt nincs kérdésed, akkor <a <b>Gyakran előforduló kérdések</b> - Ha itt nincs kérdésed, akkor <a
href="http://questionmining.tk">itt alul</a> tedd fel! href="http://qmining.tk">itt alul</a> tedd fel!
</li> </li>
<li> <li>
<b>Adat egyszerűsítés</b> - Ha túl sok egyforma kérdésed van ;) <b>Adat egyszerűsítés</b> - Ha túl sok egyforma kérdésed van ;)
@ -159,11 +159,11 @@ változtatni akarsz, akkor illik tudni
<h3>Eddigi teszt kérdések:</h3> <h3>Eddigi teszt kérdések:</h3>
</center> </center>
<hr> <hr>
<a target="_blank" href="http://questionmining.tk/"><b>Eddigi összes kérdés</b></a> Használat: <a target="_blank" href="http://qmining.tk/legacy"><b>Eddigi összes kérdés</b></a> Használat: Ha
Másold be a saját fájlodba. Ha csak egy tárgyé kell, akkor vedd ki a pipát a scirpt UI-nál, vagy régi módszerrel fájlból olvasod be a kérdéseket, akkor abba kell bemásolni az egészet. Továbbá
töröld ki a fájlból azt a részt. Csak akkor kell, ha helyi adatokat akarsz használni <b>Viszont ez még arra jó, hogy ha valamiért bug-os a script, akkor itt tudsz ctrl-f ezgetni, vagy ha
kifejezetten ajánlott ezeket még ekkor is lementeni, mivel nincs garancia a szerver folyamatos lemented az összes kérdést, akkor még akkor is biztonságban vagy, ha netán leáll a szerver, vagy
működésére!</b> elmegy a neted.
<table style="table-layout:fixed;width:100%"> <table style="table-layout:fixed;width:100%">
<td style="vertical-align:top"> <td style="vertical-align:top">
@ -258,6 +258,8 @@ változtatni akarsz, akkor illik tudni
<input style="width:60%;" type="text" id="tex" /><button onclick="conv()"> Convert! <input style="width:60%;" type="text" id="tex" /><button onclick="conv()"> Convert!
</button><br> Másik jó megoldás, hogy a fájlodat megnyitod böngészöben, és az url-jét </button><br> Másik jó megoldás, hogy a fájlodat megnyitod böngészöben, és az url-jét
másolod be a script fejlécébe. másolod be a script fejlécébe.
</br> Ez csak windowson jó, ha netán Mac-et vagy GNU/Linux-ot használsz akkor írj
feedback-et az oldalon, és leírom hogy kell.
</li> </li>
</p> </p>
<li> <li>
@ -354,7 +356,7 @@ változtatni akarsz, akkor illik tudni
<li>Nem engedélyezted az http requestek küldését a usercript menedzselő <li>Nem engedélyezted az http requestek küldését a usercript menedzselő
programodnál. Ez nélkül nem működik.</li> programodnál. Ez nélkül nem működik.</li>
<li>Nem elérhető a szerver. Ezt ellenőrizheted: <a <li>Nem elérhető a szerver. Ezt ellenőrizheted: <a
href="http://questionmining.tk/">link</a></li> href="http://qmining.tk/">link</a></li>
<li>Nincs kiválasztva a megoldani kívánt tárgy a menüben.</li> <li>Nincs kiválasztva a megoldani kívánt tárgy a menüben.</li>
</ul> </ul>
</li> </li>
@ -362,7 +364,7 @@ változtatni akarsz, akkor illik tudni
<li> <li>
Egyéb:<br><a target="_blank" Egyéb:<br><a target="_blank"
href="https://greasyfork.org/en/scripts/38999-moodle-elearning-kmooc-test-help/feedback">Script href="https://greasyfork.org/en/scripts/38999-moodle-elearning-kmooc-test-help/feedback">Script
Feedback</a> vagy <a target="_blank" href="http://questionmining.tk/">észrevétel.</a> Feedback</a> vagy <a target="_blank" href="http://qmining.tk/">észrevétel.</a>
</li> </li>
</p> Ha végleg nem akar működni egy újfajta kérdésnél, vagy tetsz felénél meghal, akkor még </p> Ha végleg nem akar működni egy újfajta kérdésnél, vagy tetsz felénél meghal, akkor még
mindég használhatod a txt-t, amiben az addig lementett kérdések vannak. (CTRL + F) A kritikus hibák mindég használhatod a txt-t, amiben az addig lementett kérdések vannak. (CTRL + F) A kritikus hibák
@ -396,7 +398,7 @@ consolra ki vannak írva, amit f12 megnyitásával tudsz előhozni (chrome/firef
href="https://greasyfork.org/en/scripts/38999-moodle-elearning-kmooc-test-help/feedback">Script href="https://greasyfork.org/en/scripts/38999-moodle-elearning-kmooc-test-help/feedback">Script
Feedback</a> Feedback</a>
| |
<a target="_blank" href="http://questionmining.tk/">Weboldal</a> <a target="_blank" href="http://qmining.tk/">Weboldal</a>
</h1> </h1>
</center> </center>
<script> <script>

8
public/qa Normal file
View file

@ -0,0 +1,8 @@
How does this work?
first line is always answer.
every new line is displayed as new line
#
Is this a new question?
yes.
dont put # after the last qa!

View file

@ -18,6 +18,9 @@
------------------------------------------------------------------------- */ ------------------------------------------------------------------------- */
const startHTTPS = false;
const siteUrl = "https://qmining.tk"; // http(s)//asd.basd
const express = require('express'); const express = require('express');
const bodyParser = require('body-parser'); const bodyParser = require('body-parser');
const busboy = require('connect-busboy'); const busboy = require('connect-busboy');
@ -31,8 +34,8 @@ const utils = require('./utils.js');
const actions = require('./actions.js'); const actions = require('./actions.js');
const stat = require('./stat.js'); const stat = require('./stat.js');
const siteUrl = "https://questionmining.tk"; // http(s)//asd.basd
const recivedFiles = "public/recivedfiles"; const recivedFiles = "public/recivedfiles";
const uloadFiles = "public/f";
const motdFile = "public/motd"; const motdFile = "public/motd";
const staticFile = "public/data/static"; const staticFile = "public/data/static";
const dataFile = "public/data.json"; const dataFile = "public/data.json";
@ -49,7 +52,7 @@ const fullchainFile = "/etc/letsencrypt/live/questionmining.tk/fullchain.pem";
const chainFile = "/etc/letsencrypt/live/questionmining.tk/chain.pem"; const chainFile = "/etc/letsencrypt/live/questionmining.tk/chain.pem";
var certsLoaded = false; var certsLoaded = false;
if (utils.FileExists(privkeyFile) && utils.FileExists(fullchainFile) && utils.FileExists(chainFile)) { if (startHTTPS && utils.FileExists(privkeyFile) && utils.FileExists(fullchainFile) && utils.FileExists(chainFile)) {
const key = fs.readFileSync(privkeyFile, "utf8"); const key = fs.readFileSync(privkeyFile, "utf8");
const cert = fs.readFileSync(fullchainFile, "utf8"); const cert = fs.readFileSync(fullchainFile, "utf8");
const ca = fs.readFileSync(chainFile, "utf8"); const ca = fs.readFileSync(chainFile, "utf8");
@ -101,11 +104,17 @@ app.use(bodyParser.json({
app.get('/', function(req, res) { app.get('/', function(req, res) {
res.render('main', { res.render('main', {
siteurl: siteUrl siteurl: siteUrl,
qa: actions.ProcessQA()
}); });
res.end(); res.end();
}); });
app.get('/sio', function(req, res) {
res.render('uload');
res.end();
});
app.get('/manual', function(req, res) { app.get('/manual', function(req, res) {
res.write(utils.ReadFile(manFile)); res.write(utils.ReadFile(manFile));
res.end(); res.end();
@ -141,11 +150,13 @@ app.get('/legacy', function(req, res) {
app.post('/postfeedback', function(req, res) { app.post('/postfeedback', function(req, res) {
res.redirect('back'); res.redirect('back');
logger.Log("[UMSG]: " + req.body.message_field, logger.GetColor("bluebg"), true); logger.Log("[UMSG]: New feedback message", logger.GetColor("bluebg"), true);
utils.AppendToFile(logger.GetDateString() + ": " + req.body.message_field, msgFile); utils.AppendToFile("\n\n" + logger.GetDateString() + ": " + req.body.message_field, msgFile);
}); });
app.get('/postfeedback', function(req, res) { app.get('/postfeedback', function(req, res) {
// TODO: res.redirect("/"); or if needs this anyways, becouse /postfeedback post handler already
// redirects
res.render('main', { res.render('main', {
sdata: utils.ReadFile(staticFile) sdata: utils.ReadFile(staticFile)
}); });
@ -158,10 +169,6 @@ app.post('/isAdding', function(req, res) {
utils.WriteBackup(); utils.WriteBackup();
}); });
app.get('/sanityCheck', function(req, res) {
res.end('Hello guys');
});
app.get('/menuClick', function(req, res) { app.get('/menuClick', function(req, res) {
res.redirect("/"); res.redirect("/");
res.end(); res.end();
@ -177,6 +184,43 @@ app.get('/servergit', function(req, res) {
res.end(); res.end();
}); });
function UploadFile(req, res, path, next) {
var fstream;
req.pipe(req.busboy);
req.busboy.on('file', function(fieldname, file, filename) {
logger.Log("[UPL]: Uploading: " + filename, logger.GetColor("blue"));
utils.CreatePath(path, true);
let d = new Date();
let fsplit = filename.split('.');
let fn = d.getHours() + "" + d.getMinutes() + "" + d.getSeconds() + "." + fsplit[fsplit.length
- 1];
fstream = fs.createWriteStream(path + "/" + fn);
file.pipe(fstream);
fstream.on('close', function() {
logger.Log("[UPL]: Upload Finished of " + path + "/" + fn, logger.GetColor("blue"));
next(fn);
});
fstream.on('error', function(err) {
console.log(err);
res.end("something bad happened :s");
});
});
}
app.route('/fosuploader').post(function(req, res, next) {
UploadFile(req, res, uloadFiles, (fn) => {
res.redirect("/f/" + fn);
});
});
app.route('/badtestsender').post(function(req, res, next) {
UploadFile(req, res, recivedFiles, (fn) => {
res.render("uploaded");
});
});
app.get('*', function(req, res) { app.get('*', function(req, res) {
res.render('404'); res.render('404');
res.status(404); res.status(404);
@ -188,26 +232,6 @@ app.post('*', function(req, res) {
// utils.AppendToFile(logger.GetDateString() + ": " + "404 POST", logFile); // utils.AppendToFile(logger.GetDateString() + ": " + "404 POST", logFile);
}); });
app.route('/badtestsender').post(function(req, res, next) {
var fstream;
req.pipe(req.busboy);
req.busboy.on('file', function(fieldname, file, filename) {
logger.Log("[UPL]: Uploading: " + filename, logger.GetColor("blue"));
utils.CreatePath(recivedFiles, true);
fstream = fs.createWriteStream(recivedFiles + "/" + filename + " | " + Date().toString());
file.pipe(fstream);
fstream.on('close', function() {
logger.Log("[UPL]: Upload Finished of " + filename, logger.GetColor("blue"));
res.render("uploaded");
});
fstream.on('error', function(err) {
console.log("ERROR:" + err);
res.end("file uploaded");
});
});
});
var msg = "[STRT]: "; var msg = "[STRT]: ";
stat.Load(); stat.Load();
@ -215,7 +239,7 @@ const httpServer = http.createServer(app);
httpServer.listen(port); httpServer.listen(port);
msg += "Server listening on port " + port + " (http)"; msg += "Server listening on port " + port + " (http)";
if (certsLoaded) { if (startHTTPS && certsLoaded) {
const httpsServer = https.createServer(certs, app); const httpsServer = https.createServer(certs, app);
httpsServer.listen(httpsPort); httpsServer.listen(httpsPort);
msg += ", and " + httpsPort + " (https)..."; msg += ", and " + httpsPort + " (https)...";

22
utils.js Normal file → Executable file
View file

@ -6,7 +6,8 @@ module.exports = {
Beep: Beep, Beep: Beep,
WriteBackup: WriteBackup, WriteBackup: WriteBackup,
FileExists: FileExists, FileExists: FileExists,
CreatePath: CreatePath CreatePath: CreatePath,
GetAllFilesFromFolder: GetAllFilesFromFolder
}; };
var fs = require('fs'); var fs = require('fs');
@ -86,3 +87,22 @@ function WriteBackup() {
console.log(e); console.log(e);
} }
} }
function GetAllFilesFromFolder(dir) {
var results = [];
fs.readdirSync(dir).forEach(function(file) {
file = dir + '/' + file;
var stat = fs.statSync(file);
if (stat && stat.isDirectory()) {
results = results.concat(_getAllFilesFromFolder(file));
} else results.push(file);
});
return results;
}

0
views/404.ejs Normal file → Executable file
View file

View file

@ -39,14 +39,12 @@ greasyforkon</a>
nyomja a lelked)</div> nyomja a lelked)</div>
<textarea id="msg" type="text" name="message_field" style="width: 100%;box-sizing:border-box;height: 100;"></textarea> <textarea type="text" name="message_field" style="width: 100%;box-sizing:border-box;height: 100;"></textarea>
<button>Küldés</button> <button>Küldés</button>
</p>
Weboldal aljára rakom ki a választ általában.
</form> </form>
</td> </td>
<td width=40%> <td width=50%>
Hibát kiváltó teszt feltöltése Hibát kiváltó teszt feltöltése
</br> </br>
@ -60,8 +58,20 @@ Ha egy kérdésre mindig helytelenül talál választ a userscript (vagy egyéb
azon az oldalon nyomj egy ctrl-s -t. Ez lementi a weboldalt úgy ahogy van egy mappába, és egy html azon az oldalon nyomj egy ctrl-s -t. Ez lementi a weboldalt úgy ahogy van egy mappába, és egy html
fájlba. Ezt a kettőt ha berakod egy .zip-be, és ide feltöltöd, akkor ránézek mi lehet a hiba, és fájlba. Ezt a kettőt ha berakod egy .zip-be, és ide feltöltöd, akkor ránézek mi lehet a hiba, és
kijavítom. <b> Max 10 MB! kijavítom. <b> Max 10 MB!
</b> Ha több, elég a .html. </b> Ha több, elég a .html. Bónusz ha mellékelsz egy readme-t, hogy mit csináljak.
</td> </td>
</table> </table>
<table>
<td>
<!-- Kommentek / válaszok -->
<% include qa.ejs %>
</td>
</table>
<center> ... </center>
</body> </body>
</html> </html>

35
views/qa.ejs Normal file
View file

@ -0,0 +1,35 @@
<center><h2> Q&A: </h3></center>
<% for (var i = 0; i < qa.length; i++) { %>
<hr>
<table>
<td style="vertical-align:middle;text-align:center;width:5%">
<h2 >
<%= i %>
</h2>
</td>
<td>
<b>
<%= qa[i].q %>
</b>
<p/>
<% if (qa[i].a) { %>
<% for (var j = 0; j < qa[i].a.length; j++) { %>
<% if (j != 0) { %>
<p/>
<% } %>
<%= qa[i].a[j] %>
<% } %>
<% } else { %>
<i> Válasz folyamatban... </i>
<% } %>
</td>
</table>
<% } %>