[데이터 처리] 1장 데이터 처리란?

 ☑️ 1. 데이터 처리란? 

데이터 처리(Data Processing)란 원시 데이터를 분석 가능한 형태로 변환하는 역할을 하는 과정으로 데이터를 모아두는 것만으로는 의미 있는 정보를 얻기 어렵기 때문에, 정리, 시각화, 분석 단계를 거쳐야됩니다. 일반적으로 데이터 처리 과정은 다음과 같습니다.

 

🚀 1. 데이터 수집(Data Collection)

• CSV 파일, 데이터 베이스, API, 웹 크롤링 등에서 데이터를 모으는 단계
• 예):영화 평점, 재고 상태 데이터, 쇼핑몰 주문내역

🚀 2. 데이터 전처리(Data Preprocessing) 

• 결축지 제거, 이상치 처리, 형식 통일, 정렬 등
• 분석에 앞서서 데이터를 정리하고 표준화하는 과정

🚀 3. 데이터 분석(Data Analysis)

• 통계 계산, 필터링, 집계, 알고리즘 등
• 예: 평균, 최대/최소, 그룹화

🚀 4. 데이터 시각화(Data Visualization)

• 분석 결과를 차트, 그래프, 콘솔 출력 등으로 시각화
• 데이터를 직관적으로 이해하는 데 필수 과정

💡 데이터 처리 -> 수집 -> 전처리 -> 분석 -> 시각화순으로 정리

---

☑️ 2. 데이터 처리 흐름 

데이터 처리 과정을 그림으로 나타낸다면 다음과 같습니다.

• 각 단계를 순차적으로 연결되어 있으며, 전 단계 결과가 다음 단계 입력으로 사용됨

---

☑️ 3. 데이터 전처리 단계: 정렬

데이터를 전처리하는 과정에서 가장 기본적인 예로 정렬(Sorting)입니다. 정렬된 데이터는 분석과 시각화 과정에 보다 직관적이고 정확한 결과를 제공해줍니다.

• Java에서는 Arrays.sort()로 간단하게 구현 가능
• 정렬 후 최소값, 최대값을 확인하기 쉽고, 통계 계산이나 시각화에도 유리함

---

☑️ 4. 데이터 분석 단계: 평균, 최소 최대

• A라는 정렬된 데이터 배열을 만들고 B를 통해 합계를 계산 
• 그 동안 정렬된 데이터 배열 A는 E와 D를 통해 각각 최소/최대 값을 확인
• 계산된 E,C,D의 각각의 값을 최종적으로 F에 넣어 값을 출력 (Total은 예시임 원래는 E,C,D 각각 가 한번에 F로 들어감)

---

☑️ 5. 예제 코드 (Java)

그럼 이번에는 Java를 사용해서 학생 점수 데이터를 수집 -> 정렬 -> 분석 -> 출력하는 단계로 간단하게 데이터를 처리해보겠습니다.

import java.util.Arrays;

public class DataProcessExample {

    public static void main(String[] args) {
        // 🐧 1. 데이터 수집 단계
        int[] scores = {88, 95, 72, 68, 92, 76};

        // 🐧 2. 데이터 전처리: 정렬
        Arrays.sort(scores);

        // 🐧 3. 데이터 분석
        int sum = 0;
        for (int score : scores) {
            sum += score;
        }
        double average = (double) sum / scores.length;
        int min = scores[0];
        int max = scores[scores.length - 1];

        // 🐧 4. 결과 출력
        System.out.println("점수: " + Arrays.toString(scores));
        System.out.println("평균: " + average);
        System.out.println("최소: " + min + "최대: " + max);
    }
}

점수: [68, 72, 76, 88, 92, 95]
평균: 81.83333333333333
최소: 68최대: 95

• 정렬된 배열로 최소/최대 값 확인 가능
• 평균 계산으로 데이터 중심 경향을 확인 가능 

---

☑️ 6. 과목별 평균 구해보기 (Java)

public class Study {

    public static void main(String[] args) {
        String[] studys = {"국어", "영어", "수학"};
        int[] scores = {85, 88, 98};

        // 과목별 총점 
        int totalScore = 0;

        System.out.println("--- 과목별 점수 -------");
        for (int i = 0; i < studys.length; i++) {
            System.out.println(studys[i] + " 점수: " + scores[i]);
            totalScore += scores[i]; // 각 과목 점수 totalScore 누적
        }

        // 총점과 평균 계산 
        double average = (double) totalScore / scores.length;

        // 총첨 밎 평균 출력
        System.out.println("총점: " + totalScore);
        System.out.printf("평균: %.2f%n", average);

    }
}

• studys를 배열로 담아 안에 과목을 담고 scores라는 배열에도 각각 점수를 담음
• totalSccore를 기본 0 값으로하고 반복문을 사용해 각 과목 점수들을 totalScore에 담고 
• double을 사용해 총점과 평균을 계산 부동 소수점 방식으로 총점을 더한것을 과목 개수로 나눔
• 나눈 평균값을 averge에 담아 출력

--- 과목별 점수 -------
국어 점수: 85
영어 점수: 88
수학 점수: 98
총점: 271
평균: 90.33

---

☑️ 7. 전체 데이터 처리 통합 로직

데이터 처리 과정을 전체 로직 플로우로 보면 다음과 같습니다.

• 데이터가 수집 -> 전처리 -> 분석 -> 최소/최대값 & 평균 계산 결과 -> 결과 시각화 순으로 처리됨

---

 

GitHub - Koras02/database-posting