Meeting 2024-10-30
Jump to navigation
Jump to search
Test mit Zeus
IP Playground-Server 188.245.193.223
Zeus-Wiki
http://playground-mw.bitplan.com/Zeus/
Sysop ***
neuen Benutzer über Admin links anlegen und diesem Admin-Rechte zuweisen
wikipush test
siehe Main_Page#WikiUser_Einrichtung https://www.semantic-mediawiki.org/wiki/Demo:Berlin Demo:Berlin existiert schon
hier gibt es alle Demo-Städte: https://www.semantic-mediawiki.org/wiki/Category:City
jetzt Tokyo als nächstes
wikipush -s smw -t Zeus -p Demo:Tokyo
ganze Kategorie und von lokalem Rechner aus
WikiUser anlegen: Main_Page#WikiUser_Einrichtung; vorher eventuell HOME, PATH und USER prüfen (sonst anlegen)
Python muss in "passender" Version vorliegen, siehe https://github.com/WolfgangFahl/py-3rdparty-mediawiki (mindestens Python 3.9 - Stand Oktober 2024)
wikiuser -V
wikiuser v0.13.5 (2024-10-24)
eventuell pip installieren: sudo apt install python3-pip
eventuell Py-3rdparty-mediawiki installieren: https://wiki.bitplan.com/index.php/Py-3rdparty-mediawiki
wikiquery -h
usage: wikiquery [-h] [-d] [-V] [-l] -s SOURCE [--format FORMAT] [--entityName ENTITYNAME] [--limit LIMIT] [--progress] [-q QUERY] [--queryFile QUERYFILE]
[-qf QUERYFIELD] [-p PAGES [PAGES ...]] [-ui] [-qd QUERYDIVISION] [--title TITLE]
wikipush
Created by Wolfgang Fahl on 2020-10-31.
Copyright 2020-2023 Wolfgang Fahl. All rights reserved.
Licensed under the Apache License 2.0
http://www.apache.org/licenses/LICENSE-2.0
Distributed on an "AS IS" basis without warranties
or conditions of any kind, either express or implied.
optional arguments:
-h, --help show this help message and exit
-d, --debug set debug level [default: False]
-V, --version show program's version number and exit
-l, --login login to source wiki for access permission
-s SOURCE, --source SOURCE
source wiki id
--format FORMAT format to use for query result csv,json,lod or any of the tablefmt options of https://pypi.org/project/tabulate/
--entityName ENTITYNAME
name of the entites that are queried - only needed for some output formats - default is 'data'
--limit LIMIT limit for query
--progress shows progress for query
-q QUERY, --query QUERY
select pages with given SMW ask query
--queryFile QUERYFILE
file the query should be read from
-qf QUERYFIELD, --queryField QUERYFIELD
query result field which contains page
-p PAGES [PAGES ...], --pages PAGES [PAGES ...]
list of page Titles to be pushed
-ui, --withGUI Pop up GUI for selection
-qd QUERYDIVISION, --queryDivision QUERYDIVISION
divide query into equidistant subintervals to limit the result size of the individual queries
--title TITLE the title for the query
wikiquery -s smw -q "[[Category:City]]"
{
"data": [
{
"": "File:2166320938 5cfc9ec72a z.jpg"
},
{
"": "File:220px-Cherry Blossoms and Washington Monument.jpg"
},
{
"": "File:3363305632 c136da22e7 z.jpg"
},
{
"": "File:3430830083 00768b46a9 z.jpg"
},
{
"": "File:4005745212 1e91b077cf z.jpg"
},
{
"": "File:40564870 7c39a94ac4 z.jpg"
},
{
"": "File:5072461976 666f3c8817 o.jpg"
},
{
"": "File:5208218415 e2361c0c43 z.jpg"
},
{
"": "File:5684653514 4bf9d1c137 b.jpg"
},
{
"": "File:59104081 3307425c2c z.jpg"
},
{
"": "File:6140285934 02e81b845f z.jpg"
},
{
"": "Demo:Amsterdam"
},
{
"": "File:Amsterdam - Waag.jpg"
},
{
"": "File:Belvue.jpg"
},
{
"": "Demo:Berlin"
},
{
"": "File:Calsbad-late-night.jpg"
},
{
"": "Demo:Cologne"
},
{
"": "Demo:Frankfurt"
},
{
"": "Fresno"
},
{
"": "Demo:Greenwich"
},
{
"": "Karlsruhe"
},
{
"": "File:Karlsruher Pyramide.JPG"
},
{
"": "Demo:London"
},
{
"": "Demo:Munich"
},
{
"": "Demo:New York City"
},
{
"": "Demo:Paris"
},
{
"": "Porto"
},
{
"": "Rome"
},
{
"": "Demo:San Diego"
},
{
"": "Demo:San Francisco"
},
{
"": "Demo:Stuttgart"
},
{
"": "Demo:Sydney"
},
{
"": "Demo:Texas/Austin"
},
{
"": "Demo:Texas/Dallas"
},
{
"": "Demo:Texas/San Antonio"
},
{
"": "Demo:Tokyo"
},
{
"": "Vienna"
},
{
"": "Warsaw"
},
{
"": "Demo:W\u00fcrzburg"
}
]
}
wikiquery -s smw -q "[[Category:City]]" --format mediawiki
data
result
| File:2166320938 5cfc9ec72a z.jpg |
| File:220px-Cherry Blossoms and Washington Monument.jpg |
| File:3363305632 c136da22e7 z.jpg |
| File:3430830083 00768b46a9 z.jpg |
| File:4005745212 1e91b077cf z.jpg |
| File:40564870 7c39a94ac4 z.jpg |
| File:5072461976 666f3c8817 o.jpg |
| File:5208218415 e2361c0c43 z.jpg |
| File:5684653514 4bf9d1c137 b.jpg |
| File:59104081 3307425c2c z.jpg |
| File:6140285934 02e81b845f z.jpg |
| Demo:Amsterdam |
| File:Amsterdam - Waag.jpg |
| File:Belvue.jpg |
| Demo:Berlin |
| File:Calsbad-late-night.jpg |
| Demo:Cologne |
| Demo:Frankfurt |
| Fresno |
| Demo:Greenwich |
| Karlsruhe |
| File:Karlsruher Pyramide.JPG |
| Demo:London |
| Demo:Munich |
| Demo:New York City |
| Demo:Paris |
| Porto |
| Rome |
| Demo:San Diego |
| Demo:San Francisco |
| Demo:Stuttgart |
| Demo:Sydney |
| Demo:Texas/Austin |
| Demo:Texas/Dallas |
| Demo:Texas/San Antonio |
| Demo:Tokyo |
| Vienna |
| Warsaw |
| Demo:Würzburg |
endlich kopieren
alle Seiten der Demo-Städte zu Zeus pushen (Zeus muss vorher eventuell angelegt werden):
wikiuser -i
wikipush -s smw -t Zeus -q "[[Category:City]]" -wi -f
copying 39 pages from smw to Zeus
1/39 ( 3%): copying ... File:2166320938 5cfc9ec72a z.jpgcopying image File:2166320938 5cfc9ec72a z.jpg ...✅
2/39 ( 5%): copying ... File:220px-Cherry Blossoms and Washington Monument.jpgcopying image File:220px-Cherry Blossoms and Washington Monument.jpg ...⚠️:thumb-name
3/39 ( 8%): copying ... File:3363305632 c136da22e7 z.jpgcopying image File:3363305632 c136da22e7 z.jpg ...✅
4/39 ( 10%): copying ... File:3430830083 00768b46a9 z.jpgcopying image File:3430830083 00768b46a9 z.jpg ...⚠️:directorycreateerror
5/39 ( 13%): copying ... File:4005745212 1e91b077cf z.jpgcopying image File:4005745212 1e91b077cf z.jpg ...⚠️:directorycreateerror
6/39 ( 15%): copying ... File:40564870 7c39a94ac4 z.jpgcopying image File:40564870 7c39a94ac4 z.jpg ...⚠️:directorycreateerror
7/39 ( 18%): copying ... File:5072461976 666f3c8817 o.jpgcopying image File:5072461976 666f3c8817 o.jpg ...⚠️:directorycreateerror
8/39 ( 21%): copying ... File:5208218415 e2361c0c43 z.jpgcopying image File:5208218415 e2361c0c43 z.jpg ...⚠️:directorycreateerror
9/39 ( 23%): copying ... File:5684653514 4bf9d1c137 b.jpgcopying image File:5684653514 4bf9d1c137 b.jpg ...✅
10/39 ( 26%): copying ... File:59104081 3307425c2c z.jpgcopying image File:59104081 3307425c2c z.jpg ...✅
11/39 ( 28%): copying ... File:6140285934 02e81b845f z.jpgcopying image File:6140285934 02e81b845f z.jpg ...⚠️:directorycreateerror
12/39 ( 31%): copying ... Demo:Amsterdam✅
copying image File:Amsterdam - Waag.jpg ...⚠️:duplicate
copying image File:SMW-Info-button.png ...✅
13/39 ( 33%): copying ... File:Amsterdam - Waag.jpgcopying image File:Amsterdam - Waag.jpg ...⚠️:duplicate
...
38/39 ( 97%): copying ... Warsaw✅
copying image File:6140285934 02e81b845f z.jpg ...⚠️:directorycreateerror
39/39 ( 100%): copying ... Demo:Würzburg✅
Ergebnis: Category:City
Daten aus dem GenWiki zu Zeus kopieren
wikiuser anlegen
Zunächst muss eine ini erzeugt werden, in der die Daten der Quelle liegen
wikiuser -w genwiki --smw false -u Robertpaessler -l https://wiki.genealogy.net -v "MediaWiki 1.35.11" -p "xyz" -y
wikiuser details available at /home/robert/.mediawiki-japi/robert_genwiki.ini
***:~/.mediawiki-japi$ cat robert_genwiki.ini
# Mediawiki JAPI credentials for genwiki
# created by py-3rdparty-mediawiki WikiUser at 2024-10-30T11:27:35.147490
...
wikiId=genwiki
url=https://wiki.genealogy.net
scriptPath=
version=MediaWiki 1.35.11
user=Robertpaessler
is_smw=False
im Ordner ".mediawiki-japi" sollte jetzt die entsprechende ini liegen
Abfrage ans GenWiki stellen
wikiquery -s genwiki -q "[[Category:Aachen]]" --format mediawiki
data
result
| pageTitle |
|---|
| Aachen |
| Aachen, St. Adalbert (rk), VK |
| Aachen/Totenzettel |
| Aachen/Batchnummern |
| Aachen/Forscherkontakte |
| Garnison Aachen |
| In Karls des Großen Residenz |
| Kaltenbach 1850/Aachen |
| Kaltenbach 1850/Burtscheid |
| KB-Datenerfassungen/Nordrhein-Westfalen/Aachen |
| Aachen/Kurliste |
| Regierungsbezirk Aachen |
| Rheinisch-Westfälische Technische Hochschule Aachen |
| Westdeutsche Gesellschaft für Familienkunde - Bezirksgruppe Aachen |
| Kategorie:Online-Adressbuch für Aachen (Stadt und Kreis) |
| Kategorie:Adressbuch für Aachen |
| Kategorie:Adressbuch im Stadtarchiv Aachen |
| Kategorie:Adressbuch in der Stadtbibliothek Aachen |
| Kategorie:Online-Adressbuch für Aachen |
| Kategorie:Archiv in Aachen |
| Kategorie:Bibliothek in Aachen |
| Kategorie:Bistum Aachen |
| Kategorie:Denkmal in Aachen |
| Kategorie:Fotostudio in Aachen |
| Kategorie:Friedhof in Aachen |
| Kategorie:Kirche Region Aachen Stadt |
| Kategorie:Kirchenkreis Aachen |
| Kategorie:Literatur zu Aachen |
| Kategorie:Ort in Aachen |
| Kategorie:Persönlichkeit aus Aachen |
| Kategorie:Aachen Quelle |
| Kategorie:Staatskalender für Aachen |
| Kategorie:Aachen Hausnr 1857 |
| Kategorie:Standesamt in Aachen |
| Datei:Aachen Cathedral from north 30pc.jpg |
| Datei:AC Grashaus Stadtarchiv.jpg |
| Datei:AC Rappard 1860 Ausschnitt Robenshof.jpg |
| Datei:AC Rappard Pfarrbezirke 1860.jpg |
| Datei:AC Stadtplan Rappard 1860 Sektion A und B gross.jpg |
| Datei:AC Stadtplan Rappard 1860 Sektion A und B klein.jpg |
| Datei:AC Stadtplan1913 Ausschnitt Robensstraße.jpg |
| Datei:AC Umgebung nach Coels.jpg |
| Datei:Anna-lueckerath-1949-10-16.png |
| Datei:TM 086 Aachen-kl.jpg |
| Datei:Totenzettel maria klausener.png |
Daten aus dem GenWiki zu Zeus kopieren
zunächst die Kategorieseite kopieren:
wikipush -s genwiki -p "Category:Aachen" -t Zeus
dann die Kategorie kopieren:
wikipush -s genwiki -q "[[Category:Aachen]]" -t Zeus
Link:
nun haben wir einen roten Link gefunden, zu dem wir nun die Seite holen:
wikipush -s genwiki -q "Kategorie:Regierungsbezirk Köln" -t Zeus
da Zeus auf englisch eingestellt ist, haben wir manuell mit dem move-Befehl im Wiki von Kategorie:Regierungsbezirk Köln auf Category:Regierungsbezirk Köln geleitet
auf Rheinisch-Westfälische_Technische_Hochschule_Aachen finden wir rote Links, die gepusht werden müssen
wikibackup
wikibackup -s Zeus -q "[[Modification_date::+]]"
downloading 94 pages from Zeus to /Users/wf/wikibackup/Zeus
1/94 ( 1%): downloading File:2166320938 5cfc9ec72a z.jpg ...✅
2/94 ( 2%): downloading File:3363305632 c136da22e7 z.jpg ...✅
3/94 ( 3%): downloading File:5684653514 4bf9d1c137 b.jpg ...✅
4/94 ( 4%): downloading File:59104081 3307425c2c z.jpg ...✅
5/94 ( 5%): downloading File:AC Grashaus Stadtarchiv.jpg ...✅
...
94/94 ( 100%): downloading Template:Wikipedia-Link ...✅