Regressão linear e quadrática por mínimos quadrados

Regressão linear por mínimos quadrados

Dados pares (x₁, y₁), …, (xₙ, yₙ), queremos uma reta y = m·x + b que resuma a relação entre x e y. O método dos mínimos quadrados escolhe m e b que tornam mínima a soma dos quadrados dos resíduos eᵢ = yᵢ − (m·xᵢ + b). Essa escolha tem fórmulas fechadas:

m = Σ(xᵢ − x̄)(yᵢ − ȳ) / Σ(xᵢ − x̄)² e b = ȳ − m·x̄

A reta passa sempre pelo ponto médio (x̄, ȳ).

Correlação e R²

O coeficiente de correlação r, entre −1 e 1, mede a força e o sentido de uma relação linear. O sinal de r é o sinal de m. O coeficiente de determinação R² = 1 − SQE/SQT compara o erro da reta (SQE, soma dos resíduos ao quadrado) com a variação total de y (SQT). R² é a fração da variação de y explicada pela reta: R² = 0,8 significa que 80% da variação é explicada.

Dois cuidados: correlação não é causalidade, e um R² alto com poucos pontos pode ser acaso. Com 2 pontos, R² é sempre 1.

Resíduos e outliers

Um resíduo grande aponta um ponto que a reta não explica. A ferramenta marca como outlier um ponto cujo resíduo passa de duas vezes o desvio padrão dos resíduos. Outliers podem ser erro de medida ou um fenômeno real que merece investigação; excluí-los deve ser uma decisão justificada, e a ferramenta mostra o efeito antes e depois.

Regressão quadrática

Se a relação é curva, uma parábola y = c₂x² + c₁x + c₀ pode ajustar melhor. O mesmo critério de mínimos quadrados vale, com três coeficientes e um sistema linear 3×3. Uma parábola sempre ajusta pelo menos tão bem quanto a reta (R² nunca cai), mas mais parâmetros nem sempre significam melhor modelo: o ajuste pode ser excessivo para os dados.

Previsão

Com a reta, prevê-se ŷ = m·x + b para um x novo, desde que esteja na faixa dos dados observados. Prever fora dessa faixa (extrapolar) é arriscado, porque a relação pode mudar.

Aplicações

A regressão aparece em toda parte: a relação entre horas de estudo e nota, a previsão de vendas a partir de gastos com publicidade, a calibração de um sensor com uma referência, a estimativa de custo de projetos e a tendência de séries temporais. Em ciência, é a base da estimação de parâmetros de modelos físicos a partir de medidas com erro.