diff --git a/4. Semester/NUMM/TeX_files/Das_Newton-Verfahren_als_Fixpunktiteration.tex b/4. Semester/NUMM/TeX_files/Das_Newton-Verfahren_als_Fixpunktiteration.tex index ac09f05..f6e4ace 100755 --- a/4. Semester/NUMM/TeX_files/Das_Newton-Verfahren_als_Fixpunktiteration.tex +++ b/4. Semester/NUMM/TeX_files/Das_Newton-Verfahren_als_Fixpunktiteration.tex @@ -12,14 +12,14 @@ für $x \in B(x^{\ast},r)$. Definiert man $\Phi: B(x^{\ast},r) \to \Rn$ durch \begin{align} \Phi(x):= x - F^{\ast}(x)^{-1}F(x). \label{eq_1_3_8} \end{align} -so kann das Newton-Verfahren als Fuxpunktverfahren mit $\Phi$ als Fixpunktabbildung interpretiert werden. Ob $\Phi$ selbstabbildend und kontrahierent ist, müsste noch untersucht werden. Hier soll nur die Kontraktionseigeschaft in $B(x^{\ast},r)$ für $r>1$ hinreichend klein betrachtet werden. Die eigenschaft der Selbstabbdulng ergibt sich dann wie im Beweis zu \propref{1_3_4}. +so kann das Newton-Verfahren als Fixpunktverfahren mit $\Phi$ als Fixpunktabbildung interpretiert werden. Ob $\Phi$ selbstabbildend und kontrahierend ist, müsste noch untersucht werden. Hier soll nur die Kontraktionseigenschaft in $B(x^{\ast},r)$ für $r>1$ hinreichend klein betrachtet werden. Die Eigenschaft der Selbstabbildung ergibt sich dann wie im Beweis zu \propref{1_3_4}. \begin{lemma} Sei $D\subseteq \Rn$ offen und $F: D \to \Rn$ stetig differenzierbar. Weiter sei $x^{\ast}\in D$ eine reguläre Nullstelle von $F$. Dann ist $\Phi$ in $x^{\ast}$ differenzierbar mit $\Phi'(x^{\ast}) = 0$. \end{lemma} \begin{proof} - Wie zuvor gezeigt wurde, ist die durch \eqref{eq_1_3_8} definierte Abbildung $\Phi$ in $B(x^{\ast},r)\subset D$ hinreichend kleines $r>0$ wohldefiniert. Falls + Wie zuvor gezeigt wurde, ist die durch \cref{eq_1_3_8} definierte Abbildung $\Phi$ in $B(x^{\ast},r)\subset D$ hinreichend kleines $r>0$ wohldefiniert. Falls \begin{align} \lim_{x\to x^{\ast}} \frac{\norm{\Phi(x) - \Phi(x^{\ast}) - G(x-x^{\ast})}}{\norm{x-x^{\ast}}} \label{eq_1_4_9} \end{align} @@ -31,7 +31,7 @@ so kann das Newton-Verfahren als Fuxpunktverfahren mit $\Phi$ als Fixpunktabbild \begin{align} \Phi(x) - \Phi(x^{\ast}) = F'(x)^{-1}\left( -F(x^{\ast}) + \int_{0}^{1} (F'(x+t(x^{\ast}-x)) - F'(x))(x^{\ast}-x)dt\right)\label{eq_1_4_10} \end{align} - für alle $x \inn B(x^{\ast},r)$. Die Stetigkeit von $F'$ auf der kompakten Menge $B(x^{\ast},r)$ impliziert, dass $F'$ dort auch gleichmaäßig stetig ist. Also gibt es zu jedem $\epsilon > 0$ ein $\delta(\epsilon) > 0$, so dass auch + für alle $x \inn B(x^{\ast},r)$. Die Stetigkeit von $F'$ auf der kompakten Menge $B(x^{\ast},r)$ impliziert, dass $F'$ dort auch gleichmäßig stetig ist. Also gibt es zu jedem $\epsilon > 0$ ein $\delta(\epsilon) > 0$, so dass auch \begin{align} \norm{x+t(x^{\ast}-x) - x}\le \delta(\epsilon) \quad \text{ die Beziehung } \norm{F'(x+t(x^{\ast}-x)) -F'(x)}_{\ast} \le \epsilon\notag \end{align} @@ -43,13 +43,13 @@ so kann das Newton-Verfahren als Fuxpunktverfahren mit $\Phi$ als Fixpunktabbild \begin{align} \lim_{x\to x^{\ast}} \frac{\norm{\int_{0}^{1} (F'(x+t(x^{\ast} - x)) -F'(x))(x^{\ast}-x)dt}_{\ast}}{\norm{x-x^{\ast}}} = 0 \notag \end{align} - Somit erhält man aus \eqref{eq_1_4_10} unter Beachtung von $F(x^{\ast}) = 0$ und der Regularität von $F'(x)$ + Somit erhält man aus \cref{eq_1_4_10} unter Beachtung von $F(x^{\ast}) = 0$ und der Regularität von $F'(x)$ \begin{align} \lim_{x\to x^{\ast}} \frac{\norm{\Phi(x) - \Phi(x^{\ast})}}{\norm{x-x^{\ast}}O(x-x^{\ast})} = 0,\notag \end{align} % different to the script! - d.h. \eqref{eq_1_4_9} ist für $G=0$ erfüllt. + d.h. \cref{eq_1_4_9} ist für $G=0$ erfüllt. \end{proof} \begin{remark} - Falls $F$ in einer Umgebung von $x^{\ast}$ sogar zweimal stetig differenzierbar und damit $\Phi$ dort stetig differenzierbar ist, zeigt \propref{1_1_2}, dass $\norm{\Phi'(x)}_{\ast} \le L$ für alle $x \in D \cap B(x^{\ast},r(L))$ gilt. D.h. die Kontraktionskonstante der Fixpunktabbildung $\Phi$ in \eqref{eq_1_3_8} in einer Kugel $B(x^{\ast},r)$ konvergiert gegen $0$, wenn man den Radius $r$ gegen $0$ gehen lässt. Ferner gibt es Sätze, bei denen unter geeigneten Vorrausetzungen eine bestimmte lokale Konvergenzgeschwindingkeit (Q-Ordnung) gezeigt wird (etwa die Q Ordnung $2$, wenn insbesondere $\Phi'$ stetig ist und $\Phi'(x^{\ast}) = 0$ gilt). + Falls $F$ in einer Umgebung von $x^{\ast}$ sogar zweimal stetig differenzierbar und damit $\Phi$ dort stetig differenzierbar ist, zeigt \propref{1_1_2}, dass $\norm{\Phi'(x)}_{\ast} \le L$ für alle $x \in D \cap B(x^{\ast},r(L))$ gilt. D.h. die Kontraktionskonstante der Fixpunktabbildung $\Phi$ in \cref{eq_1_3_8} in einer Kugel $B(x^{\ast},r)$ konvergiert gegen $0$, wenn man den Radius $r$ gegen $0$ gehen lässt. Ferner gibt es Sätze, bei denen unter geeigneten Vorrausetzungen eine bestimmte lokale Konvergenzgeschwindingkeit (Q-Ordnung) gezeigt wird (etwa die Q Ordnung $2$, wenn insbesondere $\Phi'$ stetig ist und $\Phi'(x^{\ast}) = 0$ gilt). \end{remark} \ No newline at end of file diff --git a/4. Semester/NUMM/TeX_files/Fixpunktiteration.tex b/4. Semester/NUMM/TeX_files/Fixpunktiteration.tex index 6e1a480..ca2e6e0 100755 --- a/4. Semester/NUMM/TeX_files/Fixpunktiteration.tex +++ b/4. Semester/NUMM/TeX_files/Fixpunktiteration.tex @@ -6,7 +6,7 @@ betrachtet. %TODO fix counter, this equation should be the 1 and the one in the following section, 2! \section{Fixpunktiteration} -Grundidee dieser Verfahren ist die geeignete Umformulierung des System $Ax = b$ als Fixpunktaufgabe und die Anwendung des gewöhnlichen Iterationsverfahrens. Die hier betrachtete (zu \eqref{eq_2_2_1} äquivalente) Fixpunktaufgabe lautet +Grundidee dieser Verfahren ist die geeignete Umformulierung des System $Ax = b$ als Fixpunktaufgabe und die Anwendung des gewöhnlichen Iterationsverfahrens. Die hier betrachtete (zu \cref{eq_2_2_1} äquivalente) Fixpunktaufgabe lautet \begin{align} x = x - B^{-1}(Ax - b),\notag \end{align} @@ -14,7 +14,7 @@ wobei $B \in \R^{n \times n}$ eine noch zu wählende reguläre Matrix ist. Bei W \begin{align} x^{k+1} := x^{k} - B^{-1}(A x^k -b) = (I - B^{-1}A)x^{k} + B^{-1}b, \qquad k = 0,1,2,\dots \label{eq_2_2_2} %TODO add underbraces for M = I - B^{-1}A and c = B^{-1}b \end{align} -Mit den Bezeichnung $M := I - B^{-1}A$ und $c:= B^{-1}b$ untersuchen wir deshalb die Iterationsverschrift +Mit den Bezeichnung $M := I - B^{-1}A$ und $c:= B^{-1}b$ untersuchen wir deshalb die Iterationsvorschrift \begin{align} x^{k+1} := Mx^k + c. \label{eq_2_2_3} \end{align} @@ -30,8 +30,8 @@ Die zugehörige Fixpunktabbildung $\Phi: \Rn \to \Rn$ ist damit offenbar gegeben \end{align} wobei $\norm{\cdot}_{\ast}$ die einer Vektornorm $\norm{\cdot}$ zugeordnete Matrixnorm bezeichnet. Dann gilt: \begin{enumerate} %TODO add alph - \item Die für eine beliebiges $x^0 \in \Rn$ durch \eqref{eq_2_2_3} erzeugte Folge $\set{x^k}$ konvergiert gegen die eindeutige Lösung $x*$ des linearen Gleichungssystems \eqref{eq_2_2_1}. - \item Die Abschätzungen \eqref{eq_1_2_2} - \eqref{eq_1_2_4} sind für alle $k \in \N$ erfüllt. + \item Die für eine beliebiges $x^0 \in \Rn$ durch \cref{eq_2_2_3} erzeugte Folge $\set{x^k}$ konvergiert gegen die eindeutige Lösung $x*$ des linearen Gleichungssystems \cref{eq_2_2_1}. + \item Die Abschätzungen \cref{eq_1_2_2} - \cref{eq_1_2_4} sind für alle $k \in \N$ erfüllt. \end{enumerate} \end{proposition} @@ -43,7 +43,7 @@ Die zugehörige Fixpunktabbildung $\Phi: \Rn \to \Rn$ ist damit offenbar gegeben \begin{remark} \proplbl{2_2_2} - In \propref{2_2_1}a) kann die Folgerung \eqref{eq_2_1_4} durch die Bedingung + In \propref{2_2_1}a) kann die Folgerung \cref{eq_2_1_4} durch die Bedingung \begin{align} \rho(M) < 1\label{eq_2_1_5} \end{align} @@ -51,7 +51,7 @@ Die zugehörige Fixpunktabbildung $\Phi: \Rn \to \Rn$ ist damit offenbar gegeben \begin{align} \rho(C) \le \norm{C}_{\ast} \quad \text{ für alle } C \in \Rnn \notag \end{align} - für jede beliebige zugeordnete Matrixnorm $\norm{\cdot}_{\ast}$ gilt (vgl. Übungsaufgabe), ist \eqref{eq_2_1_5} eine schwächere Forderung als \eqref{eq_2_1_4}. Andererseits gibt es zu jedem Paar $(C,\epsilon) \in \Rnn \times (0,\infty)$ eine zugeordnete Matrixnorm $\norm{\cdot}_{(C,\epsilon)}$, so dass + für jede beliebige zugeordnete Matrixnorm $\norm{\cdot}_{\ast}$ gilt (vgl. Übungsaufgabe), ist \cref{eq_2_1_5} eine schwächere Forderung als \cref{eq_2_1_4}. Andererseits gibt es zu jedem Paar $(C,\epsilon) \in \Rnn \times (0,\infty)$ eine zugeordnete Matrixnorm $\norm{\cdot}_{(C,\epsilon)}$, so dass \begin{align} \norm{C}_{(C,\epsilon)} \le \rho(C) + \epsilon. \notag \end{align} @@ -59,10 +59,10 @@ Die zugehörige Fixpunktabbildung $\Phi: \Rn \to \Rn$ ist damit offenbar gegeben \begin{align} \rho(C) := \max_{i = 1,\dots,n}\abs{\lambda_i}, \notag \end{align} - wobei $\lambda_1,\dots,\lambda_n \in \C$ die Eigenwerte der Matrix $C \in \Rnn$ bezeichnen. Man kann weiter zeigen, dass \eqref{eq_2_1_5} auch notwendig dafür ist, dass die durch \eqref{eq_2_2_2} erzeugte Folge $\set{x^k}$ für jedes $x^0$ gegen $x*$ konvergiert. + wobei $\lambda_1,\dots,\lambda_n \in \C$ die Eigenwerte der Matrix $C \in \Rnn$ bezeichnen. Man kann weiter zeigen, dass \cref{eq_2_1_5} auch notwendig dafür ist, dass die durch \cref{eq_2_2_2} erzeugte Folge $\set{x^k}$ für jedes $x^0$ gegen $x*$ konvergiert. \end{remark} -Um eine Matrix $B$ zu finden, so dass einerseits der Aufwand pro Iteration \eqref{eq_2_2_2} niedrig und andererseits die Bedingung \eqref{eq_2_1_4} bzw. \eqref{eq_2_1_5} erfüllt ist, betrachten wir die folgende Zerlegung +Um eine Matrix $B$ zu finden, so dass einerseits der Aufwand pro Iteration \cref{eq_2_2_2} niedrig und andererseits die Bedingung \cref{eq_2_1_4} bzw. \cref{eq_2_1_5} erfüllt ist, betrachten wir die folgende Zerlegung \begin{align} A = L + D + R \notag \end{align} @@ -97,14 +97,14 @@ Damit ergibt sich die Iterationsvorschrift \begin{align} x^{k+1} = x^k - D^{-1}(Ax^k - b) = -D^{-1}(L+R)x^k+D^{-1}b. \label{eq_1_2_7} \end{align} -In \eqref{eq_2_2_3} ist entsprechend +In \cref{eq_2_2_3} ist entsprechend \begin{align} M:= M_J := -D^{-1}(L+R) \text{ und } c:= c_J := D^{-1}b\notag \end{align} -zu wählen. Dieses Verfahren heißt \begriff{Gesamtschrittverfahren} oder \begriff{Jacobi-Verfahren}. Der Aufwand pro Schritt (Brechnung von $x^{k+1}$ aus $x^k$) beträgt $\Landau(n^2)$ bei voll besetzter Matrix $A$ und mindestens $\Landau(n)$, falls $A$ schwach besetzt ist. +zu wählen. Dieses Verfahren heißt \begriff{Gesamtschrittverfahren} oder \begriff{Jacobi-Verfahren}. Der Aufwand pro Schritt (Berechnung von $x^{k+1}$ aus $x^k$) beträgt $\Landau(n^2)$ bei voll besetzter Matrix $A$ und mindestens $\Landau(n)$, falls $A$ schwach besetzt ist. \begin{proposition} - Die Matrix $A$ sei streng diagonaldominant (vgl. Definition 3.1 der Vorlesung ENM). Dann ist die Matrix $B$ aus \eqref{eq_1_2_6} regulär und es gilt + Die Matrix $A$ sei streng diagonaldominant (vgl. Definition 3.1 der Vorlesung ENM). Dann ist die Matrix $B$ aus \cref{eq_1_2_6} regulär und es gilt \begin{align} \norm{M_J}_{\infty} \le \lambda_{SD} := \max_{i = 1,\dots,n} \frac{1}{\abs{a_{ii}}} \sum_{\substack{j =1 \\ j\neq i}^{n}} \abs{a_{ij}} < 1. \notag \end{align} @@ -131,7 +131,7 @@ Damit ergibt sich die Iterationsvorschrift x^{k+1} = x^k - (L+D)^{-1}(Ax^k - b) = - (L+D)^{-1}R x^k + (L+D)^{-1}b. \label{1_2_9}. \end{align} -In \eqref{eq_2_2_3} ist entsprechend +In \cref{eq_2_2_3} ist entsprechend \begin{align} M:= M{GS} := - (L+D)^{-1}R \text{ und } c:= c_{GS} := (L+D)^{-1}b \notag @@ -140,7 +140,7 @@ In \eqref{eq_2_2_3} ist entsprechend zu wählen. Dieses Verfahren heißt \begriff{Einzelschrittverfahren} oder \begriff{Gauß-Seidel-Verfahren}. Der Aufwand pro Schritt beträgt im ungünstigsten Fall $\Landau(n^2)$. Verbesserungen sind möglich, wenn eine Sparse-Struktur in $A$ ausgenutzt werden kann. \begin{proposition} - Die Matrix $A$ sei streng diagonaldominant ($\nearrow$ Definition 3.1 der Vorlesung ENM). Dann ist die Matrix $B$ aus \eqref{1_2_8} regulär und es gilt + Die Matrix $A$ sei streng diagonaldominant ($\nearrow$ Definition 3.1 der Vorlesung ENM). Dann ist die Matrix $B$ aus \cref{1_2_8} regulär und es gilt \begin{align} \norm{M_{GS}}_{\infty} \le \lambda_{SD} <1. \notag \end{align} @@ -169,7 +169,7 @@ zu wählen. Dieses Verfahren heißt \begriff{Einzelschrittverfahren} oder \begri \begin{align} \abs{z_1} \le \text{ für } i = 1, \dots, k-1, \notag \end{align} - für ein $k \in \set{2,\dots,n}$ gilt. Dann folgt wegen \eqref{1_2_10} und $\norm{y}_{\infty} = 1$ + für ein $k \in \set{2,\dots,n}$ gilt. Dann folgt wegen \cref{1_2_10} und $\norm{y}_{\infty} = 1$ \begin{align} \abs{z_k} = \frac{1}{\abs{a_{kk}}} \abs{-\sum_{i=1}^{k-1} a_{ki}z_i + \sum_{i=k+1}^{n} a_{ki}y_i} \le \frac{1}{\abs{a{kk}}} \brackets{\sum_{i=1}^{k-1} \abs{a_{ki}} + \sum_{i=k+1}^{n} \abs{a_{ki}}} \le \lambda_{SD}. \notag @@ -209,7 +209,7 @@ und Für $\omega = 1$ erhält man offenbar als Spezialfall das Gauß-Seidel-Verfahren, so dass der folgende Satz auch dafür Anwendung finden kann. Man beachte dazu \propref{2_2_2}. \begin{proposition} - Die Matrix $A$ sei symmetrisch und positiv definit. Dann ist die Matrix $B$ aus \eqref{eq_2_2_11} regulär (für jedes $\omega \neq 0$). Falls $\omega \in (0,2)$, dann gilt + Die Matrix $A$ sei symmetrisch und positiv definit. Dann ist die Matrix $B$ aus \cref{eq_2_2_11} regulär (für jedes $\omega \neq 0$). Falls $\omega \in (0,2)$, dann gilt \begin{align} \rho(M(\omega)) < 1\notag \end{align} @@ -217,7 +217,7 @@ Für $\omega = 1$ erhält man offenbar als Spezialfall das Gauß-Seidel-Verfahre \end{proposition} \begin{proof} - Da $A$ positiv definit ist, gilt $e_i^TA e_i = a_{ii} > 0$ für $i = 1, \dots, n$. Also ist $D$ positiv definit und damit $B$ reguläar für alle $\omega \neq 0$.\\ + Da $A$ positiv definit ist, gilt $e_i^TA e_i = a_{ii} > 0$ für $i = 1, \dots, n$. Also ist $D$ positiv definit und damit $B$ regulär für alle $\omega \neq 0$.\\ Sei $\lambda \in \C$ ein Eigenwert von $M(\omega)$ und $z \in \Cn$ ein zugehöriger Eigenvektor. Mit \begin{align} A = A - M(\omega)^T AM(\omega) + M(\omega)^T AM(\omega) \notag @@ -235,7 +235,7 @@ Für $\omega = 1$ erhält man offenbar als Spezialfall das Gauß-Seidel-Verfahre \begin{align} z^H Az = (AB^{T-1}z)^H\brackets{\frac{2 -\omega}{\omega}D}(B^{-1}Az) + z^H M(\omega)^T AM(\omega)z.\notag \end{align} - Da die Diagonalmatrix $D$ postiv definit ist, besitzt $\frac{2-\omega}{\omega}D$ dieselbe Eigenschaft für $\omega \in (0,2)$. Es folgt + Da die Diagonalmatrix $D$ positiv-definit ist, besitzt $\frac{2-\omega}{\omega}D$ dieselbe Eigenschaft für $\omega \in (0,2)$. Es folgt \begin{align} (AB^{T-1}z)^H \brackets{\frac{2 -\omega}{\omega}D} (B^{-1 Az}) > 0 \notag \end{align} @@ -246,4 +246,4 @@ Für $\omega = 1$ erhält man offenbar als Spezialfall das Gauß-Seidel-Verfahre Also gilt $\rho(M(\omega)) = \max_{i = 1,\dots,n}\abs{\lambda_i} < 1$, sofern $\omega \in (0,2)$. Die Umkehrung der Aussage ergibt sich aus dem Satz von \person{Kahan} ($\nearrow$ Übungsaufgabe). %TODO add later. \end{proof} -Es ist nun naheliegend, dass man $\omega \in(0,2)$ so wählen möchte, dass $\rho(\omega)$ möglichst klein ist. Dies ist in bestimmten Fällen näherungsweise möglich, ansonsten beschränkt man sich auf geeignete Heuristiken zur wahl von $\omega$. Auf der Fixpunktiteration \eqref{eq_2_2_3} beruhende Verfahren werden häufig auch \begriff{Splitting-Methoden} gennant. es gibt noch weitere solche Verfahren, auf die hier nicht eingegangen wird. \ No newline at end of file +Es ist nun naheliegend, dass man $\omega \in(0,2)$ so wählen möchte, dass $\rho(\omega)$ möglichst klein ist. Dies ist in bestimmten Fällen näherungsweise möglich, ansonsten beschränkt man sich auf geeignete Heuristiken zur Wahl von $\omega$. Auf der Fixpunktiteration \cref{eq_2_2_3} beruhende Verfahren werden häufig auch \begriff{Splitting-Methoden} genannt. Es gibt noch weitere solche Verfahren, auf die hier nicht eingegangen wird. \ No newline at end of file diff --git a/4. Semester/NUMM/Vorlesung NUMM.pdf b/4. Semester/NUMM/Vorlesung NUMM.pdf index eee2c29..8f32d77 100755 Binary files a/4. Semester/NUMM/Vorlesung NUMM.pdf and b/4. Semester/NUMM/Vorlesung NUMM.pdf differ