\documentclass{beamer}

\usepackage[utf8]{inputenc}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{mathtools}
\usepackage{amsthm}
\usepackage{float}


\DeclarePairedDelimiter{\norm}{\lVert}{\rVert}
\DeclarePairedDelimiterX{\scal}[2]{\langle}{\rangle}{#1, #2}

\newcommand{\gradx}{\frac{\partial}{ \partial x}}

\newcommand\E{\mathbb{E}}

\DeclareMathOperator*{\argmin}{argmin}



% \usetheme{metropolis}           % Use metropolis theme
\usetheme{default}
\title{A formulák az ELTE összintézeti szemináriumi előadásomba}
\author{Varga Dániel}
\institute{Rényi Intézet}


\begin{document}
\maketitle

\begin{frame}{Alapfogalmak}

\begin{itemize}
\item $f_{\Theta}: \mathbb{R}^n \rightarrow \mathbb{R}^m$. Folytonos, majdnem mindenhol differenciálható függvények családja,
amelynek egyes elemeit valós paraméterek $\Theta$ vektora jelöli ki.
\item A függvény által elvárt viselkedést az $(x_1, y_1), ..., (x_N, y_N)$ példákkal (tanítókorpusszal) adjuk meg.
$x_i \in \mathbb{R}^n, y_i \in \mathbb{R}^m$.
\item Továbbá az $L(\hat{y}, y)$ veszteségfüggvénnyel, amely megadja, hogy mennyire vagyunk elégedettek az $\hat{y}$
kimenettel, amikor $y$ lenne az elvárt kimenet. (Konvenció szerint kisebb érték a jobb.)
\end{itemize}

\end{frame}


\begin{frame}{Alapfogalmak}

A fenti jelölésekkel

$$ \argmin_\Theta \sum_{i=1}^{N}L(f_\Theta(x_i), y_i) $$

adja meg az optimális paraméterbeállítást. Ha egy optimalizálási folyamat végén rögzítünk egy $\Theta$ paramétervektort,
amely a fenti értéket kicsivé teszi, akkor azt mondjuk, hogy a hálózatot betanítottuk a tanítókorpuszon.

\end{frame}


\begin{frame}{Példa}

Konkrét, egyszerű, de már gyakorlatban is hasznos példa $f_\Theta$ függvénycsaládra:

$$f(x) = (A_k \circ \sigma \circ A_{k-1} \circ \sigma \circ \dots \circ A_1)(x),$$

ahol $A_j(z) = W_j z + b_j$ affin transzformáció, és

$$\sigma(z) = (\max(z_1, 0), \max(z_2, 0), \dots, \max(z_n, 0))$$

elemenkénti nemnegatívba csonkolás. Ebben az esetben tehát a paraméterezés:

$$\Theta = (W_1, b_1, W_2, b_2, \dots, W_k, b_k)$$

\end{frame}


\begin{frame}{Wasserstein metrika}

% $$ W_{1} (\mu, \nu) = \inf_{\gamma \in \Gamma (\mu, \nu)} \int_{M \times M} d(x, y) \, \mathrm{d} \gamma (x, y),$$

$$ W_{1} (\mu, \nu) = \inf_{\gamma \in \Gamma (\mu, \nu)} \E_{(x,y) \sim \gamma} d(x, y),$$


ahol $\Gamma(\mu,\nu)$ a csatolások halmaza. A csatolás olyan mérték $M \times M$ felett,
amelynek marginális eloszlásai az első és második koordinátán $\mu$ illetve $\nu$.

\end{frame}


\begin{frame}{Kantorovics-Rubinstein dualitás}

% $$W_{1} (\mu, \nu) = \sup \left\{ \left. \E_{y \sim \nu} f(y) - \E_{x \sim \mu} f(x)  \right| f : M \to \mathbb{R}, \mathrm{Lip} (f) \leq 1 \right\},$$

$$W_{1} (\mu, \nu) = \sup_{f : M \to \mathbb{R}, \mathrm{Lip} (f) \leq 1} \left( \E_{y \sim \nu} f(y) - \E_{x \sim \mu} f(x) \right),$$

% $$W_{1} (\mu, \nu) = \sup \left\{ \left. \int_{M} f(x) \, \mathrm{d} (\nu - \mu) (x) \right| f : M \to \mathbb{R}, \mathrm{Lip} (f) \leq 1 \right\},$$

ahol $\mathrm{Lip} (f)$ az $f$ függvény Lipschitz konstansa.


\end{frame}


\begin{frame}{Kantorovics-Rubinstein dualitás}

Ez egy klasszikus lineáris programozási dualitás, és ahogy ez ilyeneknél szokásos, az egyik irányú
egyenlőtlenség könnyű, a másik nehéz.

Nem fogjuk bebizonyítani, de legalább nézzük meg a könnyű irányát.

\end{frame}


\begin{frame}{Kantorovics-Rubinstein dualitás}

\noindent \textbf{Az alvállalkozó.} (Caffarelli via Villani)
A $\mu$ 1 tonnás homokkupacot kellene áthordanunk a $\nu$ pozícióba.
Egy tonna homok $x$-ből $y$-ba való áthordásának költsége $d(x,y)$, a költség egyenesen arányos a tömeggel.
Megjelenik egy gyanús vállalkozó, és vállalja, hogy áthordja a homokkupacunkat.

Rajzol nekünk egy $f$ potenciálfüggvényt (domborzati térképet), azzal a tulajdonsággal, hogy
két pont közti szintkülönbség sosem nagyobb, mint a távolságuk.
Az elszámolás módjának az alábbit javasolja:
ha $m$ tonna homokot $x$-ből $y$-ba kellett szállítania, azért $(f(y)-f(x))m$ költséget számláz.

\end{frame}

\begin{frame}{Kantorovics-Rubinstein dualitás}

Az világos, hogy $\E_{y \sim \nu} f(y) - \E_{x \sim \mu} f(x)$ összeget fog kiszámlázni,
és ez teljesen független attól, hogy ő maga hogyan oldotta meg a szállítást.
Tehát feltehetjük, hogy a lehető leghatékonyabban járt el, és ez esetben az
is világos, hogy nem járhatunk rosszul az ajánlatával, az $f$ Lipschitz-tulajdonsága miatt.

A dualitástétel nehéz iránya azt mondja ki, hogy jól sem fogunk járni.

\end{frame}

\end{document}

\noindent \textbf{Az alvállalkozó.} (Caffarelli via Villani)
A $\mu$ homokkupacot kellene áthordanunk a $\nu$ pozícióba. Mindkettő $n$ homokszemből áll.
Egy homokszem $x$-ből $y$-ba való áthordásának költsége $\frac{1}{n}d(x,y)$.
Megjelenik egy gyanús vállalkozó, és vállalja, hogy áthordja a homokkupacunkat.
Rajzol nekünk egy $f$ domborzati térképet, azzal a tulajdonsággal, hogy
két pont közti szintkülönbség sosem nagyobb, mint a távolságuk.
Az elszámolás módjának az alábbit javasolja:
ha egy homokszemet $x$-ből $y$-ba kellett szállítania, azért $\frac{1}{n}(f(y)-f(x)$ költséget számláz.
Annyi világos, hogy rosszul nem járhatunk a felajánlásával, hiszen a $\mu$ állapotban
$\frac{1}{n} \sum_i f(x_i)$ összpotenciálnak a szállítás végére $\frac{1}{n} \sum_i f(y_i)$

