テーマ:統計学

正規分布とそれに関連する分布の導出の目次

掲題の件で、これまでに書いた記事のリンクのための目次を書いておきます。 1.正規分布の導出  1.1 「二項分布から正規分布」  ド・モアブルの考えに基づいたものとして、内容は「統計学入門」松下嘉米男(岩波全書)を参考にしましたが、二項分布の式にスターリングの公式を当てはめる方法です。  参考:「スターリングの公式を…
トラックバック:0
コメント:0

続きを読むread more

とりあえず先週修了証を貰ったので(56)

先週は Fisdom の講座の修了証を頂きました。 1.Pythonで学ぶビジネスデータ分析入門 2019 具体的には、Deep Learningまでは行かない機械学習の勉強で、jupyter Notebook を使って Python というよりも、pandas や scikit-learn などの応用ですね。ちょっ…
トラックバック:0
コメント:0

続きを読むread more

Python 関連で演習問題など(2)

今回は残りの「線形重回帰 演習2」をやってみます。 [演習問題]----------------------------------- 線形重回帰 演習2 3. "03_iris.csv" を DataFrame として読み込み、品種名が "Iris-setosa"のもののみ取り出す。 4. 品種名が "Iris-s…
トラックバック:0
コメント:0

続きを読むread more

natureの記事-「科学者は統計的有意性に反対する」 を眺めた

2019 3/20 の nature に "Scientists rise up against statistical significance" という記事が出ました。「読んだ」というと言い過ぎなので、眺めるということで、お茶を濁しましょう。 その前に、「有意差検定とP値」をおさらいしておきましょう。 有意差 : 「統…
トラックバック:0
コメント:0

続きを読むread more

2019年センター試験での統計の問題(3)

「数学Ⅰ 第4問」の続きを見てみましょう。 (3) はモンシロチョウのツバメの41地点の初見日の箱ひげ図と散布図を見て解答するものです。なお散布図の点には重なった点が2点があります。 次の文章群で正しくないものが2つあるようで、それを求める問題です。 ⓪ 箱ひげ図でもほぼ同じで、また散布図で…
トラックバック:0
コメント:0

続きを読むread more

2019年センター試験での統計の問題(2)

今回は「数学Ⅰ 第4問」を見てみましょう。 ここのキーポイントは「箱ひげ図」「ヒストグラム」「散布図」ということですね。まあ業界にも寄るのかも知れませんが、この中で「箱ひげ図」ってそんなに使われているのかな~って、思ってしまいます。 という訳で私があまり使わない「箱ひげ図」をおさらいです。 「箱ひげ図の見方」から図をいただ…
トラックバック:0
コメント:0

続きを読むread more

2019年センター試験での統計の問題(1)

統計が必須になるようなのですが、今回のセンター試験でどのような問題が出ているのか?確認したいと思います。 まずは「数学Ⅱ・数学B 第5問」を見てみましょう。 (1) は という条件に対して  ・ はどうなるか?  ・ としたとき、 と はどうなるか? ということを訊いています。 まず最初の問題ですが、 …
トラックバック:0
コメント:0

続きを読むread more

積率母関数と中心極限定理

実は「積率母関数と中心極限定理(1)」「積率母関数と中心極限定理(2)」というように同じような内容の記事を書いてました。 もう一度ストーリーを追うと、  1.分布関数とその積率母関数は1対1対応する。  2.標準正規分布 の積率母関数は である。  3. を平均 、分散 の同一分布に従う独立な確率変数とする。 …
トラックバック:0
コメント:0

続きを読むread more

正規分布の積率母関数

これはぐぐれば直ぐ出てくることなんですが、一度は自力で求めておきたいので書いてみました。 正規分布の確率密度関数は   ここから   ここで、被積分関数の指数を少しいじります。         つまり      よって、   となります。
トラックバック:0
コメント:0

続きを読むread more

一様分布の積率母関数

これも計算しておきます。 一様分布の確率密度関数は   ここから   つまり            したがって、    なので        
トラックバック:0
コメント:0

続きを読むread more

確率母関数と積率母関数(3)

この話題に関してもう少し例題をやってみます。 [問題1]--------------------------------------------------- 確率変数 は、 の確率で値 、() をとり、その確率母関数は である。 としたとき。 を求めよ。 ---------------------------------…
トラックバック:0
コメント:0

続きを読むread more

確率母関数と積率母関数(2)

直接関係はないかもしれませんが、「理工系・例題解法9 統計―確率と確率分布― 」に書いてあったので取り上げたいと思います。 [理工系・例題解法9 統計―確率と確率分布―  P34]------------------------- 2.4.4 さらにいくつかの性質 1. 、 ( が定数のとき) 2. 、  3. 、…
トラックバック:0
コメント:0

続きを読むread more

確率母関数と積率母関数(1)

最終的に「中心極限定理」を上っ面だけでなく理解したいと思ってまして、そのために、良く分かってない標題の件の、簡単におさらいします。「理工系・例題解法9 統計―確率と確率分布― 」を参考にしました。 [理工系・例題解法9 統計―確率と確率分布―  P33~34]-------------------------   を実関…
トラックバック:0
コメント:0

続きを読むread more

とりあえず先週修了証を貰ったので(42)

先週は「PCアプリ環境が古くて授業についていけない、、、」に関連した gacco の「大学生のためのデータサイエンス(Ⅰ)」の修了証をいただきました。 実はこの講座を10年以上前に受講していて、文科大臣奨励賞をいただいております。 なので、統計学の基礎についてはは大体理解しています。今回の講座は「PCアプリ…
トラックバック:0
コメント:0

続きを読むread more

Rで因子分析

先々週に続き「因子分析」をやってみます。主成分分析とどう違うのか?というは難しいのですが、「ある観測された変数がどのような潜在的な変数(観測されない仮定された変数)から影響 を受けているかを探る手法 」ということです。 同じ「フィッシャーのアヤメのデータ」を使いました。 「統計量」→「次元解析」→「因子分析」を選択し、変数と…
トラックバック:0
コメント:0

続きを読むread more

PCアプリ環境が古くて授業についていけない、、、

いま、gacco の「大学生のためのデータサイエンス(Ⅰ)」を受講していますが、まあ統計学の基礎は分かっているので、「Week3:コンピュータを用いたデータ分析」で少し知識を得たらそれで良いと思ってました。 しかし、授業内容を自分のPCで実行しようと思ったのですが、アプリのバージョンが古くて上手く行きません。 どういう状況かとい…
トラックバック:0
コメント:0

続きを読むread more

数量化Ⅰ類(3)_別解法

いままで、最小2乗法を使っていたのですが、その度に同じことをやるのは面倒なので、システマティックにやる方法を勉強します。 これにはデータ行列を作り、その転置行列との積が最小2乗法で求めたものが出てくるのを確認しましょう。 「数量化Ⅰ類(1)」のデータ行列を書いてみると   ここで、1列目、2列目、3列目は各々 …
トラックバック:0
コメント:0

続きを読むread more

数量化Ⅰ類(2)_要因のアイテムが2つ

要因のアイテムを数学と国語のように2つの場合を考えます。 データ例:            ここから                                            まとめると   ですが   なので、 は確定し…
トラックバック:0
コメント:0

続きを読むread more

数量化Ⅰ類(1)

今回から多変量解析の数量化Ⅰ類の勉強をしていきたいと思います。参考書は「楽しく学べる多変量解析法」を使います。 データ例として12人の数学のテストと数学が好きか嫌いかを調査した結果を使います。 ここで、数学の点数を外的基準、数学を要因のアイテム、好き・嫌いをアイテムのカテゴリーといいます。 さて、数量化Ⅰ類というの…
トラックバック:0
コメント:0

続きを読むread more

R-cmdr 主成分分析をチェックする

「主成分分析のおさらい(1)~(3)」で最後にR-cmdr での分析と少々違っているのが気になります。 では結果が分かっているデータで比べてみたいと思います。 「楽しく学べる多変量解析」のデータを拝借します。 ここから分散・共分散行列は   となり、{{323.4375,103.125},{103.12…
トラックバック:0
コメント:0

続きを読むread more

空洞輻射のためのちょっとした備忘録

実は空洞輻射の計算するために、前もって確認しておこうと思って書いています。 何かというと     という式を計算して簡略化したいということですね(ただし α>0)。               まとめると   となります。
トラックバック:0
コメント:0

続きを読むread more

主成分分析のおさらい(3)

さて、アヤメのデータは本来「がく長」「がく幅」「花弁長」「花弁幅」の4変数でした。これを素直に分析してみましょう。 {{0.6811,-0.04215,1.266,0.5123},{-0.04215,0.1887,-0.3275,-0.1205},{1.266,-0.3275,3.096,1.285},{0.5123,-0…
トラックバック:0
コメント:0

続きを読むread more

主成分分析のおさらい(2)

前記事の最後の方はちょっと端折ってしまいました。 ここでは例をあげてみます。参考書にある数値例でも良いのですが、ここはお馴染みのアヤメのデータを使いましょう。 「がく片長」と「花弁長」の関係を散布図を描いてみました。 さらに、データから計算すると、   なので、{{3.083,1.265},{1.265…
トラックバック:0
コメント:0

続きを読むread more

主成分分析のおさらい(1)

ちょっと思うところがあって、多変量解析を少しずつおさらいしていきたいと思います。まず手始めに主成分分析を取り上げます。考え方というとwikipediaとかこの記事とかここを読んでいただいた方が的確なので、ここでは数式を追ってみます。 今データ数(点)は の 個で、原点 は の平均値とします。 ここで座標軸 …
トラックバック:0
コメント:0

続きを読むread more

ここ10年の労働力人口と完全失業率の推移を比べてみた。

最近失業率も低下してこれもアベノミクスの所為だという人も居ますが、団塊世代が次々と定年退職するから人手不足になり放っておいても失業率が低下するといっている人も居ます。どちらが正しいとかはまずデータを見てから判断すべきでしょう。 ここでは 2007年~2017年の 15~64才労働力人口と完全失業率をグラフにしてみました。 …
トラックバック:0
コメント:0

続きを読むread more

Rで主成分分析

ビッグデータ分析というと有意差検定などではなく、多変量解析をしないと面白くないんじゃないか?と思います。そういう意味でRでどんなことをできるか?を探りながら動かしてみましょう。まずは「主成分分析」から始めてみます。 データとして、「フィッシャーのアヤメのデータから散布図行列を描く」で使った「フィッシャーのアヤメのデータ」を使いまし…
トラックバック:0
コメント:0

続きを読むread more

Rでちょっと練習(2)基本統計量_要約

「パソコン楽々統計学」というブルーバックスは重宝していました。統計ソフト"STATISTICA"のBLUE BACKS版がついていて演習ができるのですが、当然商用"STATISTICA"でないと分析できないものもあって不満がありました。また、これは Windows 95 版なので、現在の環境 Windows 10 では添付CD-ROM自…
トラックバック:0
コメント:0

続きを読むread more

Rでちょっと練習(1)

ちょっと簡単な練習をしてみます。参考データは「天皇の一覧」の神武天皇から孝明天皇の享年を使いました。つまり初代から121代の天皇のデータです。 まず、区間数などのパラメータを与えずにヒストグラムを描いてみました。 享年が100歳を上回る方々がいらっしゃるのは不自然ですね。これが正規分布とどれだけフィットするかを QQ…
トラックバック:0
コメント:0

続きを読むread more