Preface

During my internship at the United Nations, I worked closely with the team behind the World Economic Forecasting Model (WEFM), the central model used for macroeconomic forecasting at the UN. ¹

The model fed on datasets from a dozen international organisations, among them IMF International Financial Statistics (now discontinued), each requiring careful transformation before the WEFM would accept them. Before I arrived, gathering all this data was largely a manual affair. Someone on the team would dutifully visit each organisation’s website, click through whatever interface stood between them and the numbers, then download, clean, and wrangle the results into shape.

Now, thanks to a new data pipeline developed in R, it’s much quicker, less error-prone, and less of a hassle (anyone who’s ever had to click through online databases to find that one Excel dataset knows how annoying it can be). The pipeline automatically accesses the organisations’ databases and processes the data. All thanks to the magic of ✨ SDMX APIs ✨. And because documentation on using SDMX and R is incredibly sparse, here is the guide I wished had existed.

If you want to learn more about the pipeline itself, take a look at the GitHub Repository. It goes into further detail on how it works. Be reminded that it is quite specific code for the United Nations WEFM, so it may be of limited use to others.

What’s SDMX?!

In short: Statistical Data and Metadata eXchange (wiki). Bear with me here, I know it sounds extremely dull at first, but it’s really quite a magical feat of engineering. With SDMX, anyone can access statistical – as the name hints at – from a lot of different organisations (BIS, IMF, WB, OECD, the list goes on…) trough one unified API.

It does far more than just serving downloads. Uploading, managing, cataloguing, the full 145-page user guide is a testament to how much territory it covers. For our purposes, though, none of that matters. We just want data!

A basic API Call needs 3 identifiers to download requested data:

1. The statistical agency you want data from (e.g IMF), called a Provider in SDMX Lingo
2. The name of the database you want to access (the Dataflow)
3. Specific columns / groupings (the Dimensions), e.g
   • only some Countries
   • a certain Time Period
   • etc.
   • these dimensions differ for each dataset, so you need to adjust your call

You just need to chain all of these together, et voila: your dataset. This sounds easier than it is, because most organisations dont document their APIs in an accessible manner, and because every database has slightly different names for their dimensions.

That was quite abstract, so lets see some real data.

A practical example: IMF Inflation data

Imagine we want to download Consumer Price Index (CPI) data for the US, UK and Germany.

We start on IMF data website, search for CPI and land on the CPI dataset. Then, we first take a quick look at it and open the Data Explorer (the button titled View Data):

On the left panel, select the three countries, set the index to All Items, and ask for the year-on-year percentage change. On the right, you should now see the data series for Germany, UK and the US.

Okay, so we know the Agency (IMF), the Dataset / Dataflow (CPI) and the specific selection / Dimensions (Country, Category etc.). Now, the remaining task is finding what these things are actually called inside the database, because the human-readable labels and the underlying IDs are entirely different creatures.

The fix is simple: in the Data Explorer, click the small icon beside each dimension and switch the display to ID. Germany stops being Germany and becomes DEU. The United Kingdom becomes GBR. And so on.

For all dimensions, this will look something like this:

Now we have everything to get started in R.

R you ready?

First, lets import the relevant libraries. We will use the rsdmx library, so install it if you haven’t already.

# install.packages("rsdmx") # if you havent already
library(tidyverse) # the one and only
library(rsdmx)     # the workhorse library

Next, we assemble our key by stringing the dimension IDs together. Think of it as writing the address on an envelope: get one part wrong and nothing arrives.

COUNTRIES <- "USA+GBR+DEU" # The countries we selected
INDICATOR <- "CPI" # Consumer Price Index
EXPENDITURE <- "_T" # All items / Total
TRANSFORMATION <- "YOY_PCH_PA_PT" # Percentage change YOY
FREQUENCY <- "A" # Annual

key <- paste0(COUNTRIES, ".", INDICATOR,".", EXPENDITURE, ".", TRANSFORMATION, ".", FREQUENCY)

With our key in hand, we call the API, specifying our provider, database, and (optionally) a time period:

raw_data <- readSDMX(
  providerId = "IMF_DATA",  # IMF as Provider
  resource = "data",        # we want data
  flowRef = "CPI",          # from the CPI database
  key = key,                # with our carefully created key
  start = 1960,             # lets limit it to start in 1960
  )

The response is in SDMX format, so we have to convert it to a data frame first.

df <- as.data.frame(raw_data)

Let’s make a quick plot:

df %>%
  select(COUNTRY, TIME_PERIOD, OBS_VALUE) %>%   # select relevant columns
  mutate(                                       # change types of columns
    OBS_VALUE = as.numeric(OBS_VALUE),
    TIME_PERIOD = as.numeric(TIME_PERIOD)
    ) %>%  
  ggplot(aes(x=TIME_PERIOD, y=OBS_VALUE, color=COUNTRY)) +     # basic ggplot call
    geom_line() +                               # present as line plot
    labs(title="CPI since 1960")                # add title

There you have it, this is how you get any IMF dataset into R.

Appendix

Most major statistical institutions speak SDMX, and rsdmx can talk to all of them. Some make life easier than others. The OECD, for instance, is positively generous about it: navigate to any dataset, make your selection, and hit “Developer API.” It hands you the query string ready-made, and you can drop it straight into readSDMX without touching a dimension ID. Would be great if all of them made it that easy (looking at you, ECB :).

Motivation

Housing is Europe’s largest asset. Its value is central to both household finances and the macroeconomy. Yet despite advances in the literature, there is still limited comparative evidence on the distributional consequences of housing wealth accumulation in Europe. This thesis draws on recent improvements in distributional data (Blatnik et al. 2024) and methodological approaches developed for the United States (Kuhn et al. 2020) to examine how the wealth distribution reacts to changes in house prices.

The importance of housing for the modern economy cannot be overstated: houses are the primary item on household balance sheets; mortgages make up the largest share of debt in developed economies (Jordà et al. 2016); and housing cycles play a central role in macroeconomic fluctuations (Cesa-Bianchi 2013), particularly apparent during and after the financial crisis of 2008.

At the same time, inequality has returned to the forefront of economic debate. Since Piketty’s Capital in the Twenty-First Century (Piketty 2014), research on the distribution of wealth and income has expanded rapidly, supported by large-scale data initiatives such as WID.world (Alvaredo et al. 2017) and the creation of official distributional accounts in developed economies (e.g. Batty et al. 2022).

Bringing these two strands together, this thesis investigates how changes in asset prices, particularly housing, affect the distribution of wealth in Europe. Because the composition of household portfolios differs across the population (Figure 2), identical price movements can have vastly different distributional consequences. While high-wealth households tend to hold more business and financial assets tied to stock market performance, middle- and lower-wealth households primarily own housing and often carry more leverage, making them more exposed to house price movements (Adam and Tzamourani 2016).

Data

This analysis relies on newly released Distributional Wealth Accounts (DWA) from the European Central Bank (Blatnik et al. 2024). The DWA combine detailed micro-level survey’s of households balance sheets with data from national accounts, ensuring macro-consistent estimates while preserving detailed information about the distribution of assets. The result is a harmonised, cross-country dataset for the Eurozone that captures changes in the wealth distribution at a much higher frequency than traditional surveys, making it well-suited for analysing the distributional effects of asset price movements.

Method

Building on the regression framework of Kuhn et al. (2020), who relate changes in US wealth shares to asset price movements using broad survey data over several decades, this thesis applies a higher-frequency and cross-country approach. Using the quarterly data from the DWA for all euro area countries from 2009–2022, it estimates panel models linking changes in the wealth shares of the bottom 50%, middle 40%, and top 10% respectively to movements in housing and equity prices.

Results

The results demonstrate the central role asset prices play in the evolution of wealth inequality (Table 1). Rising house prices increase the share of the middle 40% and particularly the bottom 50% at the expense of the top decile. Conversely, increasing stock prices are found to benefit the top 10%, to the detriment of the rest of the population. Notably, these results vary strongly across european countries (Figure 1), reflecting differences in portfolio structures and institutional settings.

Simulations

To further analyze the effects, counterfactual simulations explore how alternative asset price paths would have affected wealth shares in Europe (Figure 3). Scenarios with strong housing growth shift wealth away from the top 10% toward the middle and lower segments, while weak or falling house prices have the opposite effect. However, even in the most extreme housing boom observed, these appreciations cannot offset the gains of rising stock prices for the top decile. In no counterfactual scenario does the share of the top 10% decrease over the observed timeframe.

Selected Outputs

How did the wealth of different deciles grow?

Regression Table: Elasticities of top decile wealth shares with respect to asset prices

How would the share of wealth held by the top decile in Europe look under different price trajectories?

For the full paper, see the latest PDF version

How to get started?

The easiest way to use diatypst is via the Typst web app and importing the template from the typst universe. To create new slides, just delimit them with a header and they are created automatically. For more fine-tuning and explanation, visit the GitHub Repo.

Another option is to use Quarto to create the slides. To do this, you need to import the diaquarto extension into your project and some things in your YAML Footer. Slides are created similar to beamer presentations with the --- delimiter. For more info, see here

What does diatypst stand for?

The word diatypst is inspired by the ease of use of a Diaprojektor (German for Slide Projector) and the Diatype (60s typesetting machine)

Wer fängt überhaupt an zu studieren?

Bildung ist in Deutschland eine Klassenfrage. Unser Bildungssystem ist sozial hochselektiv, und wer ein Studium anfängt ist meist bereits privilegiert.

Gerade einmal 27% der Kinder aus Nicht-Akademiker Haushalten schaffen es, überhaupt ein Studum anzufangen (verglichen mit 79% aus Akademikerhaushalten. Auch in den späteren Berufsphasen zieht sich diese Ungleichheit fort, beispielsweise promovieren gerade einmal 1% der Nicht-Akademiker-Kinder (6% der Aka. Kinder).

In absoluten Zahlen haben wir im Jahrgang 2022 72% Nicht-Akademiker-Kinder. Sobald man aber das erste Mal in den Audimax schaut, sind sie bereits in der Unterzahl (45% vs 55% Akademikerkinder).

Die Selektion in unserer Gesellschaft fängt also schon wesentlich früher an und zieht sich in der Uni fort. Nicht-Akademikerkinder sind hier vor allem auf FHs (Fachhochschulen) und eher in praxisnäheren Studiengängen (bspw. BWL), während Akademikerkinder im Schnitt öfter an die Uni gehen und eine breitere Palette an Studiengängen studieren.

Wer bekommt ein Stipendium?

Und auch in den Aufnahmeprozessen der Stiftungen zieht sich die Selektion durch. In den letzten Jahren ist die Zahl der geförderten stark gewachsen, es werden heute wesentlich mehr Stips gefördert als noch vor 10 Jahren. (Hier am Beispiel Böll Stiftung)

Das Wachstum ist aber vor allem aufgrund eines Zuwachses bei den Studierenden mit Studienkostenpauschale (300€ Büchergeld). Der Großteil der Stips, die heutzutage in der Stiftung sind, hat keine Bafög-Anspruch, und ihr Anteil ist in der letzten Zeit gewachsen, während die Zahl der Stips mit Bafög Anspruch (ob nur eine Teilförderung oder eine Vollförderung) stagniert ist. Die Böll Stiftung ist also heutzutage effektiv privilegierter als vor 10 Jahren, da eine Studienkostenpauschale meist bedeutet, dass die Eltern über den Verdienstgrenzen von Bafög ist.

Vergleichsweise gut sieht es hingegen beim Migrationshintergrund aus. Hier sind viele Stiftungen gut dabei und fördern mehr, als es der Durchschnitt in der Gesamtbevölkerung (22%) oder in der Studierendenschaft (20%) sind. Der Grund dafür sind vor allem spezifische Programme, die die Stiftungen aufgelegt haben, um sie mehr zu fördern, nachdem es in der Vergangenheit oft Kritik gab, dass die Stiftungen sehr weiß sind.

Schlechter sieht es aus bei dem Anteil der Erstakademiker in der Stiftung.

Zur Erinnerung: 72% ist der Anteil der Nicht-Akademikerkinder an einem Jahrgang, 45% der Anteil an der Studierendenschaft. Spitzenreiter ist die Böckler-Stiftung mit über 60%, gemeinsam mit der Rosa-Luxemburg Stiftung. Diese beiden haben spezifisch Programme für Erstakademiker und sind in ihrem Outreach darauf bedacht, insbesondere diese Gruppe anzusprechen.

Eine weitere starke Abweichung ist die Hochschulart, die die Böll fördert. Wie bereits erwähnt, wählen Kinder aus Nicht-Akademikerhaushalten als auch aus ärmeren Haushalten oft Studiengänge an Fachhoschulen und studieren eher praxisnähere Studiengänge.

Diese sind aber in der Stiftung komplett unterrepräsentiert. Während in der Gesamt-studierendenschaft fast 40% auf einer FH studieren, sind sie in der Böll gerade mal mit 10% vertreten.

Und wer es sich schon immer gefragt hat, welches Bundesland unterrepräsentiert ist, es ist:

Nordrhein-Westfalen. 25% der Studis in der Gesamtstudierendenschaft, aber gerade mal 13% in der Böll. Übrigens auch ein Bundesland mit vielen ärmeren Studierenden und vielen FHs. Absolut überrepräsentiert: natürlich Berlin.

Fazit

Ja, wir sind as Stips absolut privilegiert. Im Schnitt haben wir sowieso schon keine Bafög-Anspruch und kommen aus Akademikerhaushalten, und sobald wir hier sind, bauen wir natürlich auch Netzwerke auf und bekommen nochmal 300€ obendrauf.

Was tun?

Die Antwort der Stiftungen auf diese Frage ist immer, dass wir als Stips mehr in unseren Studiengängen und Unis werben müssen für das Stipendium. Das hat natürlich wenig Sinn, wenn die meisten von uns nicht auf einer FH sind und nicht in unterrepräsentierten Studiengängen und meist auch nicht in NRW. Wenn die Stiftung ihr Ziel einer diversen Stipendiat:innenschaft auch erreichen möchte, muss auch sie nachbessern.

Andere Stiftungen zeigen, dass man mit einem Fokus auf Benachteiligungen Ungerechtigkeiten abbauen kann und die Diversität in de Förderung erhöhen kann. Das sollte auch der Anspruch aller Stiftungen sein, wenn sie ihre eigenen Werte ernstnimmt.

Regression

Regression Formula:

Simple Regression Line

Multiple Regression Results

Getting started

To try the package, install it using pip:

pip install zeit-online

Then import the library and initialize the API client with your API key:

import zeit

api = zeit.API()
api.set_token("API-KEY")  # insert your API key here

You can quickly check that the connection works using a simple status method:

api.get_status()  # returns "everything ok" if the API is reachable

The most important method in the package is search_for, which allows you to search all available endpoints in the API for a given string. For example, searching for “Bundestag” in the default content endpoint returns a list of matching articles:

api.search_for("Bundestag")  # returns a search class containing results

Search for 'Bundestag': 42942 results, limit: 10, matches : 
 
Koalition streicht Begriff "Rasse" aus dem Grundgesetz: http://api.zeit.de/content/1NRyOjRaneKYH6JRs87m46
Bund einigt sich mit AKW-Betreibern auf Entschädigung: http://api.zeit.de/content/5A6U2BpxAaU1YV6Yx9xPY4
"Das Gift ist da": http://api.zeit.de/content/3vrvroDbLrfwJ5VtigrEbh
Die Losbürger: http://api.zeit.de/content/7jM8ZQEFHYM0slSPyL3AN2
"Eine Weigerung hätte schmerzhafte Folgen für die Türkei": http://api.zeit.de/content/7h40VsJ5r2wNJgg6Msld8K
Der nächste Schock nimmt schon Anlauf: http://api.zeit.de/content/j4LDNEBKPGN1vjbOJKpxz
Für Störungen im Bundestag kann künftig Ordnungsgeld verhängt werden: http://api.zeit.de/content/2GOxLhUi8B48g2OziIZPCA
Von Storch und Pazderski wollen gemeinsam Berliner AfD führen: http://api.zeit.de/content/JB8hW8UFGRB9NZyY0TgMM
Bundestag hebt Immunität von CDU-Abgeordnetem Axel Fischer auf: http://api.zeit.de/content/tjB5SFOmwOmzGyZfOpZMq
Bundestag verlängert Rechtsgrundlage für Pandemie-Maßnahmen: http://api.zeit.de/content/3eGseNLQSwHjA3SHwq22hP

On a given day, such a search might return tens of thousands of results. For example, the top matches today (March 2021) include articles like “Koalition streicht Begriff ‘Rasse’ aus dem Grundgesetz” or “Bund einigt sich mit AKW-Betreibern auf Entschädigung”, each with a link to its original content.

Once you select a specific article from the search results, you can retrieve it using the get_article method. This returns an Article object, which provides access to various properties and methods:

Article = api.get_article("1NRyOjRaneKYH6JRs87m46")  # can use full URI or just the ID
print(Article)

Article with title 'Koalition streicht Begriff "Rasse" aus dem Grundgesetz' 
UUID: 1NRyOjRaneKYH6JRs87m46, 
URI: http://api.zeit.de/content/1NRyOjRaneKYH6JRs87m46        
teaser_text: 'Die Bundesregierung hat sich auf eine Änderung des Grundgesetzes verständigt: Innen- und Justizministerium einigten sich darauf, wie das Wort "Rasse" ersetzt werden soll.'

The output shows basic information about the article, including its title, unique ID, URI, and teaser text. You can then access different attributes, like the supertitle, full title, and teaser text:

print(Article.supertitle)  # prints the supertitle
print(Article.title)        # prints the title
print(Article.text)         # prints the teaser text

For example, a returned article might look like this:

Verfassungsänderung
Koalition streicht Begriff "Rasse" aus dem Grundgesetz
Die Bundesregierung hat sich auf eine Änderung des Grundgesetzes verständigt: Innen- und Justizministerium einigten sich darauf, wie das Wort "Rasse" ersetzt werden soll.

The package also allows you to retrieve keywords linked to the article, which can help with analysis, categorization, or further exploration:

Article.get_keywords()

{'http://api.zeit.de/keyword/grundgesetz': 'Grundgesetz',
 'http://api.zeit.de/keyword/rassismus': 'Rassismus',
 'http://api.zeit.de/keyword/diskriminierung': 'Diskriminierung',
 'http://api.zeit.de/keyword/justizministerium': 'Justizministerium',
 'http://api.zeit.de/keyword/horst-seehofer': 'Horst Seehofer',
 'http://api.zeit.de/keyword/berlin': 'Berlin',
 'http://api.zeit.de/keyword/alexanderplatz': 'Alexanderplatz',
 'http://api.zeit.de/keyword/usa': 'USA',
 'http://api.zeit.de/keyword/bundesregierung': 'Bundesregierung',
 'http://api.zeit.de/keyword/csu': 'CSU',
 'http://api.zeit.de/keyword/bundestag': 'Bundestag'}

Take a look at the GitHub repository and the documentation for more details on how to use the package.

Technisches

Täglich werden über die Twitter-API die letzten 50 Tweets aller Accounts abgefragt und gesammelt. Daraufhin wird der Text jedes Tweets mit einem Machine-Learning Algorithmus anhand der Laune bewertet, was jedoch aufgrund der kurzen Länge nicht immer funktioniert. Anschließend werden alle Daten der Tweets aggregiert und in eine Datenbank eingespeist.

Auf diese Datenbank greift dann Web-App, die komplett in Python geschrieben ist, zu und stellt sie schön dar und baut Rangfolgen anhand der Daten. Zusätzlich wird noch eine Karte mit Deutschands Wahlkreisen und den Vertretern mit Twitter generiert. Die Visualisierungen basieren vor allem auf der Plotly-Library und die App baut auf Dash und Flask auf.