Método dos mínimos quadrados

Método dos mínimos quadrados: discreto e contínuo

Explicação com derivadas

O método dos mínimos quadrados (MMQ), inventado por Gauss, estabelece uma maneira de modelar uma sequência de vetores (pontos relacionais de x e y) em uma função, de uma forma que é minimizada a diferença em quadratura entre os pontos da função e os pontos. Isto é:

Por exemplo, um conjunto de valores \([x_1,f(x_1)],[x_2,f(x_2)],[x_n,f(x_n)]\) pode ser modelado pela combinação de funções \(g_1,g_2,g_n\) através de \(\phi(x)=\alpha{}_{1}g_{1}+\alpha{}_{2}g_{2}+\alpha{}_{n}g_{n}\). Tal que o método minimiza:

\[\large\sum^{n}_{k=1}{(f(x)_{k}-\phi{x}_{k})^2}\]

Feito isso, deve ser determinada uma solução que minimize a somatória apresentada.

Exemplo

Dados os pontos (0,1),(1,3),(4,4), determine uma reta do tipo \(y=ax+b\) que os melhor aproxima, através do MMQ.

\[F(a,b)=(1-b)^2+(3-a-b)^2+(4-4a-b)^2\]

O ponto mínimo deve ser a primeira derivada parcial de cada fator, isto é, o mínimo do gradiente de \(F(a,b)\):

• \(\frac{\partial{F(a,b)}}{\partial{a}}=2(3-a-b)(-1)+2(4-4a-b)(-4)\to{}34a+10b-38=0\)
• \(\frac{\partial{F(a,b)}}{\partial{b}}=2(1-b)(-1)+2(3-a-b)(-1)+2(4-4a-b)(-1)\to{}10a+6b-16=0\)

Resolvendo o sistema com as duas equações:

• \(34a+10b-38=0\)
• \((10a+6b-16=0)\cdot{}(-3.4)\to{}-34a-20.4b+54.4=0\)
• \(10.4b=16.4\to{}b=1.577\)
• \(a=0.65\)

Obtemos a função:

\[\large\phi(x)=0.65x+1.577\]

Feito isso, basta checar que essa função se trata de um mínimo local, e global. Isso pode ser feito através do determinante do Hessiano da função.

Caso geral

Um sistema também pode ser aproximado pelo método dos mínimos quadrados através da fórmula geral:

• \(<\overrightarrow{g_1},\overrightarrow{g_1}>\alpha_1+<\overrightarrow{g_2},\overrightarrow{g_1}>\alpha_2+<\overrightarrow{g_3},\overrightarrow{g_1}>\alpha_3=<\overrightarrow{f},\overrightarrow{g_1}>\)
• \(<\overrightarrow{g_1},\overrightarrow{g_2}>\alpha_1+<\overrightarrow{g_2},\overrightarrow{g_2}>\alpha_2+<\overrightarrow{g_3},\overrightarrow{g_2}>\alpha_3=<\overrightarrow{f},\overrightarrow{g_2}>\)
• \(<\overrightarrow{g_1},\overrightarrow{g_3}>\alpha_1+<\overrightarrow{g_2},\overrightarrow{g_3}>\alpha_2+<\overrightarrow{g_3},\overrightarrow{g_3}>\alpha_3=<\overrightarrow{f},\overrightarrow{g_3}>\)
• Onde \(\overrightarrow{f}\) é o vetor com os valores em y dos pontos experimentais, \(\overrightarrow{g_1}\) é o vetor com o valor das coordenadas x dos pontos aplicadas na função \(g_1\). Os outros vetores são obtidos analogamente.

Quando utilizada, essa fórmula fornece o sistema linear que deve ser resolvido para encontrar o mínimo quadrado.

Método contínuo

O método contínuo permite ajustar uma função aproximada F(x) para determinada função conhecida f(x), tal que F(x) é uma soma de polinômios:

\[f(x)\approx{}a_0+a_1\cdotp{}x+a_2\cdotp{}x^2+\dotsc+a_m\cdotp{}x^m=F(x)\]

Assim, basta determinar a projeção ortogonal de f sobre o espaço vetorial \(K_m(x)\), que é gerado por \(\left\{1,x,x^2,\dotsc{},x^m\right\}\). No caso de \(m=2\), temos:

\[\begin{pmatrix} (1,1)&(x,1)&(x^2,1)\\ (1,x)&(x,x)&(x^2,x)\\ (1,x^2)&(x,x^2)&(x^2,x^2) \end{pmatrix} \begin{pmatrix} a_0\\ a_1\\ a_2 \end{pmatrix}= \begin{pmatrix} (f,1)\\ (f,x)\\ (f,x^2) \end{pmatrix}\]

Tal que os coeficientes são equivalentes ao produto escalar, definido para determinado domínio como:

\[(a,b)=\int_{\alpha}^{\beta}a(x)\cdot{}b(x)\cdot{}dx\]

Feito isso para cada produto escalar (dependendo da equação que busca-se modelar, pode ser que produtos escalares sejam repetidos), basta resolver o sistema linear.

Exemplo do método contínuo

Aproxime uma função polinomial quadrática para a equação \(x^4-5x\), no domínio de -1 a 1, pelo método dos mínimos quadrados para o caso contínuo.

\[\begin{pmatrix} (1,1)&(x,1)&(x^2,1)\\ (1,x)&(x,x)&(x^2,x)\\ (1,x^2)&(x,x^2)&(x^2,x^2) \end{pmatrix} \begin{pmatrix} a_0\\ a_1\\ a_2 \end{pmatrix}= \begin{pmatrix} (x^4-5x,1)\\ (x^4-5x,x)\\ (x^4-5x,x^2) \end{pmatrix}\]

Resolvendo os produtos escalares:

• \((1,1)=\int_{-1}^{1}dx=x\to{}1-(-1)=2\)
• \((1,x)=(x,1)=\int_{-1}^{1}x\cdotp{}dx=\frac{x^2}{2}\to{}\frac{1}{2}-(\frac{1}{2})=0\)
• \((1,x^2)=(x^2,1)=(x,x)=\int_{-1}^{1}x^2\cdotp{}dx=\frac{x^3}{3}\to{}\frac{1}{3}-\frac{-1}{3}=\frac{2}{3}\)
• \((x,x^2)=(x^2,x)=\int_{-1}^{1}x^3\cdotp{}dx=\frac{x^4}{4}\to{}0\)
• \((x^2,x^2)=\int_{-1}^{1}x^4\cdotp{}dx=\frac{x^5}{5}\to{}\frac{2}{5}\)
• \((x^4-5x,1)=\int_{-1}^{1}x^4-5x\cdotp{}dx=\frac{x^5}{5}-\frac{5x^2}{2}\to{}\frac{2}{5}\)
• \((x^4-5x,x)=\int_{-1}^{1}x^5-5x^2\cdotp{}dx=\frac{x^6}{6}-\frac{5x^3}{3}\to{}-\frac{10}{3}\)
• \((x^4-5x,x^2)=\int_{-1}^{1}x^6-5x^3\cdotp{}dx=\frac{x^7}{7}-\frac{5x^4}{4}\to{}\frac{2}{7}\)

De forma que obtemos:

\[\begin{pmatrix} 2&0&\frac{2}{3}\\ 0&\frac{2}{3}&0\\ \frac{2}{3}&0&\frac{2}{5} \end{pmatrix}\cdotp{}\begin{pmatrix} a_0\\ a_1\\ a_2 \end{pmatrix}=\begin{pmatrix} \frac{2}{5}\\ -\frac{10}{3}\\ \frac{2}{7} \end{pmatrix}\]

Resolvendo o sistema, temos:

• \(a_0=-\frac{3}{35}\)
• \(a_1=-5\)
• \(a_2=\frac{6}{7}\)

Logo, a equação polinomial que aproxima a função é:

\[F(x)=\frac{6}{7}x^2-5x-\frac{3}{35}\]

Método discreto

Já para o método discreto, ele é usado para determinar uma função que aproxime um conjunto de pontos, de tal forma que a distância entre os pontos e a função seja minimizada. Para isso, modela-se uma função do tipo:

\[P_{m}(x)=a_0+a_1\cdotp{}x+\dotsc{}+a_m\cdotp{}x^m\]

Para auxiliar, definimos as matrizes:

\[y=\begin{pmatrix} y_0\\y_1\\\dotsm{}\\y_m \end{pmatrix}\space{}u_i=\begin{pmatrix} x_0^i\\ x_1^i\\ \dotsm{}\\ x_m^i \end{pmatrix}\]

De forma que podemos encontrar os coeficientes através do sistema linear:

\[\begin{pmatrix} (u_0,u_0)&(u_1,u_0)&\dotsm{}&(u_m,u_0)\\ (u_0,u_1)&(u_1,u_1)&\dotsm{}&(u_m,u_1)\\ \dotsm{}&\dotsm{}&\dotsm{}&\dotsm{}\\ (u_0,u_m)&(u_1,u_m)&\dotsm{}&(u_m,u_m)\\ \end{pmatrix} \cdotp{}\begin{pmatrix} a_0\\ a_1\\ \dotsm{}\\ a_m \end{pmatrix}=\begin{pmatrix} (y,u_0)\\ (y,u_1)\\ \dotsm{}\\ (y,u_m) \end{pmatrix}\]

Exemplo do método discreto

Modele uma função polinomial quadrática que aproxime os pontos:

x	-1	0	1	2
y	0	-1	0	7

Seja:

\[f(x)=a_0+a_1x+a_2x^2\]

Temos que:

\[y=\begin{pmatrix} 0\\-1\\0\\7 \end{pmatrix}\space{}u_0=\begin{pmatrix} 1\\1\\1\\1 \end{pmatrix}\space{}u_1=\begin{pmatrix} -1\\0\\1\\2 \end{pmatrix}\space{}u_2=\begin{pmatrix} 1\\0\\1\\4 \end{pmatrix}\]

Tal que a resolução do sistema linear a seguir nos fornece o valor dos coeficientes:

\[\begin{pmatrix} (u_0,u_0)&(u_1,u_0)&(u_2,u_0)\\ (u_0,u_1)&(u_1,u_1)&(u_2,u_1)\\ (u_0,u_2)&(u_1,u_2)&(u_2,u_2)\\ \end{pmatrix} \cdotp{}\begin{pmatrix} a_0\\ a_1\\ a_2 \end{pmatrix}=\begin{pmatrix} (y,u_0)\\ (y,u_1)\\ (y,u_2) \end{pmatrix}\]

Sendo que:

• \((u_0,u_0)=1\cdotp{}1+1\cdotp{}1+1\cdotp{}1+1\cdotp{}1=4\)
• \((u_1,u_0)=1\cdotp{}(-1+0+1+2)=2\)
• \((u_2,u_0)=1\cdotp{}(1+0+1+4)=6\)
• \((u_0,u_1)=2\)
• \((u_1,u_1)=-1\cdotp{}-1+0\cdotp{}0+1\cdotp{}1+2\cdotp{}2=6\)
• \((u_2,u_1)=1\cdotp{}(-1)+0\cdotp{}0+1\cdotp{}1+4\cdotp{}2=8\)
• \((u_0,u_2)=6\)
• \((u_1,u_2)=8\)
• \((u_2,u_2)=1+0+1+16=18\)
• \((y,u_0)=0-1+0+7=6\)
• \((y,u_1)=0+0+0+14=14\)
• \((y,u_2)=28\)

Tal que o sistema linear a ser solucionado fica na forma de:

\[\begin{pmatrix} (4)&(2)&(6)\\ (2)&(6)&(8)\\ (6)&(8)&(18)\\ \end{pmatrix} \cdotp{}\begin{pmatrix} a_0\\ a_1\\ a_2 \end{pmatrix}=\begin{pmatrix} (6)\\ (14)\\ (28) \end{pmatrix}\]

Tal que a solução do problema linear é:

• \(a_0=-\frac{8}{5}\)
• \(a_1=\frac{1}{5}\)
• \(a_2=2\)

E a equação polinomial que aproxima os pontos é:

\[P(x)=-\frac{8}{5}+\frac{1}{5}x+2x^2\]