Gespeichert unter: Datamining, In eigener Sache, Netzkultur, Studium | Schlagworte: Blog, Crawling, Data Mining, Meta-Blogging, Web2.0
Ich muss nicht in meiner Freizeit bloggen, denn mit Blogs beschäftige ich mich schon jetzt auch während der Uni bis zum Umfallen. Ich habe Marcel davon erzählt und auch Stefan, und alle waren der Meinung, dass ich über meine Blog-Magisterarbeit bloggen soll. Meta-Blogging sozusagen. Ich habe das lange vor mir hergeschoben, aber inzwischen will mir niemand mehr zuhören (ich scheine ein ziemlicher Fachidiot geworden zu sein in den letzten Wochen), und ich fange lieber an, das jetzt als Beitrag zu verarbeiten, bevor ich tatsächlich Freunde verliere.
Seit Robert Basic seinen Blog verkauft hat, ist endlich auch in Deutschland klar, dass Blogs von hoher Qualität sowohl wirtschaftliche als auch gesellschaftliche Bedeutung haben können. In den Staaten gibt es diesen Trend schon lange: Huffingtonpost ist (zumindest gefühlt) seitdem es das Internet gibt auf Platz 1 bei Technorati. Blogs sind also zu einem mehr oder weniger festen Bestandteil unserer Medienlandschaft geworden, und vor allem den besonders hochwertigen und oft referenzierten A-Listern (oder auch Power-Bloggern) scheint dieser Trend zuzuschreiben zu sein.
Unser Blog ist kein A-Lister. Er ist vielleicht auch nicht besonders hochwertig. Trotzdem hat er sicherlich einige Kriterien, die ihn wiederum qualitativ von schlechteren Blogs abheben. Vielleicht ist es eine gewisse Update-Frequenz, allerdings kann man Blogs auch mit Spam updaten. Möglicherweise ist es eine bestimmte Bandbreite an Themen, oder aber auch eine gewisse Sorgfalt, mit der er designt und die Beiträge verfasst wurden. Vielleicht ist es die Beitragslänge. Oder aber die Länge aller Beiträge zusammen. Oder die Kombination mehrerer Kriterien. Keiner kann das so definitiv sagen, und wenn auch die meisten bestimmte Vermutungen haben („NEIN! Die Anzahl der Zeichenumbrüche kann es niemals sein!“), geht das, was man mit Sicherheit sagen kann, bislang nicht allzu weit über eben diese Vermutungen hinaus.
Hier kommt jetzt meine Arbeit ins Spiel. Keiner möchte Tausende von Blogs auf übereinstimmende Kriterien überprüfen, zumindest nicht händisch (auch, wenn Leitfragen zu konstruieren und Sie anhand von 7 Blogs exemplarisch zu beantworten, die normale Vorgehensweise an unserer Uni wäre). Was man dazu braucht, ist ein ordentlicher Bot, der eine vorgegebene Kollektion durchgeht, Links verfolgt, und alle interessanten Features mitloggt. Genau das passiert hier.
Ich bin sicherlich kein guter Programmierer. Da sind andere besser, und ich danke dem OpenSource-Prinzip und allen, die irgendwie etwas mit ihm zutun haben, schon einmal pauschal: Mein Crawler basiert auf Java1.6 und nutzt crawlerseitig ganz wesentlich die Bestandteile des OpenSource-Tools JoBo, das im Rahmen des Projektes AQUAINT an der Uni Hildesheim für die Automatische Qualitätsabschätzung von HTML in Form einer Suchmaschine implementiert wurde. Ich nutze einen Teil der in AQUAINT modellierten Features und Klassen, und habe auf Basis einiger weiter frei verfügbarer Klassen einen Crawler mit folgender Struktur zusammenprogrammiert:
Blogcrawler Architektur in Java1.6
Die Dokumente, auf die der Crawler stößt, werden mit den org.w3c Paketen in ein DOM überführt, sofern es sich um HTML-Dokumente handelt. Ich verfolge keine Dokumente weiter, die keine HTMLs sind, allerdings verzichte ich auch auf Dokumente, die keine Feeds in ihrem Header ausgezeichnet haben. Wenn man davon ausgeht, dass die Möglichkeit, einen Blog per Feed zu abonieren, ein wesentliches Kriterium für einen Blog ist, kann man hier schon die erste Einschränkung machen, um eine saubere Kollektion zu gewährleisten, sodass im Endeffekt folgende Zeilen bestimmen, ob die Site weiterverfolgt werden soll oder nicht. In unserem Fall sieht der relevante Teil des Headers folgendermaßen aus:
<html xmlns="http://www.w3.org/1999/xhtml" dir="ltr" lang="de"> <head> <title> Rafazwonull vs Joe I/O</title> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /> <style type="text/css" media="screen"> @import url( http://s3.wordpress.com/wp-content/themes/pub/benevolence/style.css?m=1232213194b ); </style> <link rel="alternate" type="application/rss+xml" title="RSS 2.0" href="http://rafazwonull.wordpress.com/feed/" /> <link rel="pingback" href="http://rafazwonull.wordpress.com/xmlrpc.php" />
Was bedeuten diese Zeilen für die Analyse? Allein durch den Header, lassen sich an sich schon folgende Aussagen treffen:
- Es könnte sich um einen Blog handeln, denn wir können ihn abonieren.
- Es ist ein Blog, der nur das Format RSS2.0 unterstützt.
- Der Titel ist in unserem Fall 23 Zeichen lang, was relevant wird, wenn man bedenkt, dass es Spamblogs gibt, die etwa den Titel „Zeichnen-Backen-Basteln-mit-Fingermalfarben-und-Salzteig“ haben…
Ich habe mich inzwischen auf diese und ähnliche Weise mit Blogs beschäftigt, und rund 150 Features in Java modelliert, die z.T. aus der Literatur, teils aus AQUAINT kommen, und z.T. selbst entwickelt sind. Sie lassen sich grob in die folgenden Bereiche gliedern:
- Datei-Maße (z.B. Dateigröße).
- HTML- Maße (z.B. <br>-Tags).
- Tabellen-Maße
- Listen-Maße (z.B. <li>-Tags)
- Farbmaße
- Verhältnismaße (d.h. Berechnung von Featuren, oder Kombination)
- Sprachliche Maße (d.h. Anzahl von Wörtern und Satzzeichen).
- RSS-Maße (d.h. alles, was man über die Feeds erfährt)
- Reputationsmaße (d.h. alles, was mit durch HITS oder PageRank-basierte Verfahren erfährt)
Eines dieser Kriterien sagt sicherlich nichts isoliert über die Beschaffenheit von qualitativ hochwertigen Blogs aus, die eine große Leserschafft haben, hochwertige Artikel und ein gutes Renommé. In ihrer Kombination, und sagen wir mal, über eine Kollektion von einem guten Tausend Blogs schaffen wir es durch den Abgleich und die Prüfung von sinntragenden Strukturen Korrelationen zu ermitteln, Features sinnvoll zu clustern usw. – kurz, alles, was mit durch die Möglichkeiten des Data Mining über zusammenhangslos scheinenden Daten ermitteln kann. Einige von diesen Zusammenhängen sind sicherlich offensichtlich, z.B. der Zusammenhang von Authority und InLinks. Bei anderen greift wiederum nur die statistische Analyse von großen Mengen an Datensätzen.
Mal schauen wie es damit weitergeht, vielleicht schreibe ich beizeiten noch ein wenig mehr hierzu, und halte euch auf dem Laufenden.
Soviel dazu. Gute Nacht.
-r-
