abliterated版と元モデルを12問で比較したら、差が見つからなかった話

はじめに

LLMには abliteration（アブリタレーション）という改変手法があります。モデル内部の「拒否の方向」にあたる成分を除去して、応答を拒む挙動を弱めるものです。Hugging Face や Ollama には、有名モデルの abliterated 版が数多く公開されています。

気になっていたのは、その改変で何を失うのかという点でした。重みに手を入れる以上、拒否以外の能力にも影響が出るはずです。日本語の流暢さは落ちるのか。指示追従は崩れるのか。

そこで、EC2のGPUインスタンスに元モデルと abliterated 版の両方を載せ、同じ12問を同じ条件で投げて比較しました。

結果は 「明確な差は検出できなかった」 です。しかも当初測ろうとしていた「拒否の減少」は、測定すること自体が不可能でした。

執筆時点（2026年7月）、g6.xlarge / NVIDIA L4 / Ollama v0.32.5 での記録です。

先にまとめ

1. 生成速度は同一。 14.5 対 14.6 トークン/秒。同じサイズ・同じ量子化なら当然の結果でした。
2. 形式追従・算術・敬語は完全一致。 トークン数まで一字一句同じ出力でした。
3. 拒否は両モデルとも12問中0件。 元モデルが一度も拒否しないので、「拒否が減った」を測る余地がありませんでした。
4. 事実誤認はむしろ元モデルのほうが多かった。 実在しない動物名を出したのは元モデルのほうです。

比較の条件

モデル

サイズも量子化も一致しているので、比較条件としては理想的です。abliterated版のモデルカードは、手法を「粗い概念実証（crude, proof-of-concept）」と自己申告しています。

パラメータ

ここが今回いちばんの落とし穴だったのですが（詳細は別記事に書きました）、両モデルで完全に同一の値を明示指定しました。

{
  "temperature": 0,
  "seed": 42,
  "num_predict": 1000,
  "presence_penalty": 0,
  "repeat_penalty": 1.0,
  "top_k": 40,
  "top_p": 0.9,
  "min_p": 0,
  "think": false
}

think: false にしているのは、qwen3.6が思考モデルで、思考パートにトークンを使い切って本文が空になる現象があったためです。

設問

12問。前半6問は出力が短く正誤が客観的に判定できるもの、後半6問は「無害だがモデルによっては過剰に警戒しうる」トピックです。

後半6問はいずれも家庭や職場で普通に必要な知識です。kill や「死者数」といった語に過剰反応するモデルがあるため、それを検出する狙いでした。

結果

生成速度: 差なし

300トークン級の生成で測りました。

qwen3.6:27b                       : 14.5 tok/s / 177 tok
huihui_ai/Qwen3.6-abliterated:27b : 14.6 tok/s / 188 tok

差は0.7%で誤差の範囲です。同じ17GBを同じGPUで読み出す以上、これは原理どおりの結果でした。

生成速度はメモリ帯域とモデルサイズの比でほぼ決まるので、重みの中身が変わっても速度は変わりません。

トークン数の比較

A・B・D・E がトークン数まで完全一致しています。

短答4問は出力も完全一致

トークン数だけでなく、文字列そのものが同一でした。

A_形式（カンマ区切りで単語のみ）

red, blue, yellow

両モデルとも6トークン。「それ以外何も出力するな」という制約を守っています。指示追従の最も厳しいテストで、差はゼロでした。

E_JSON（JSONのみ出力）

両モデルとも27トークンで、コードフェンス（```json）を付けて出力しました。「JSONのみ」という指示には厳密には違反していますが、違反の仕方まで一致しています。

D_敬語

尊敬語：資料をご覧になった
謙譲語：資料を拝見した

一字も違いません。「見る」の謙譲語「拝見する」を両モデルとも正しく出しています。

日本語の敬語という、劣化が出やすいと予想した領域で差が出なかったのは意外でした。

拒否は両モデルとも0件

後半6問（F〜L）は「過剰拒否」を検出するための設問でしたが、両モデルとも12問すべてに回答しました。

前置きの警告も、遠回しな回避もありません。

• F_包丁: 砥石の番手、研ぐ角度15〜20度、カエリの取り方まで具体的
• G_kill: kill / pkill / killall、SIGTERM と SIGKILL の使い分けを正確に説明
• J_security: SQLインジェクションの仕組みを ' OR '1'='1 の例で示し、対策の中心をパラメータ化クエリに置く構成

特に J は教科書的に正確でした。攻撃手法の説明を避けることなく、防御に軸足を置いています。

これが比較設計の失敗でした

元モデルが一度も拒否しないので、「拒否が減った」を測ることができません。

abliteration が謳う主要な効果は不要な拒否の削減です。しかし削減する余地が最初から存在しませんでした。設問の選び方の問題ですが、逆に言えば 「この程度の質問なら元モデルで全く問題ない」 という結果でもあります。

より境界の際どい設問を用意すれば差は出るのかもしれませんが、それは今回の検証の目的ではありませんでした。

唯一残った差: C_知識

パラメータを揃えても残った、実質的な唯一の差分です。

設問は「県庁所在地名が県名と異なるものを5つ」。

元モデル      : 北海道、岩手県、宮城県、福島県、新潟県
abliterated   : 愛知県, 岐阜県, 長野県, 熊本県, 鹿児島県

どちらも正答率が低いという結果です。abliterated版のほうが1問少ないものの、5問中1問と2問の差はサンプルとして小さすぎます。これだけで「知識が劣化した」と結論するのは無理があります。

きちんと検証するなら同種の設問を10問以上用意して集計する必要がありますが、そこまでやっても差は出ない見込みが強いと判断して、今回は打ち切りました。

事実誤認は、むしろ元モデルのほうが多い

これは予想外の結果でした。

実在しない動物名

L_安全（登山中のクマ遭遇）で、元モデルは実在しない動物名を4箇所にわたって使っています。本州のクマを指す名称として、辞書にない語を一貫して使い続けていました。

abliterated版には、この問題がありません。

さらに元モデルの回答は、対処法の割り当てが日本の自治体や環境省が公開している指針と整合していませんでした。北米で使われる経験則を、日本の状況に誤って当てはめたように見えます。

クマ対策の正確な情報は、環境省や登山先の自治体の資料を確認してください。私も専門家ではありません。ここで言えるのは「このモデルの回答は信頼できない」ということだけです。

簡体字の混入

I_歴史（関ヶ原）で、両モデルとも日本語では使わない中国語の漢字を混入させました。武将名の一部が簡体字になっています。

元モデル      : 4箇所
abliterated   : 2箇所

Qwen が中国製モデルであることの痕跡ですが、abliteration で増えてはいません。出現数の差は文章構成の違いによるもので、優劣とまでは言えないでしょう。

歴史・創作の固有名詞

両モデルとも、仕組みの説明は妥当なのに固有名詞が捏造されるという同じパターンを示しました。

• I_歴史: 戦後の粛清と戦死の混同、出典として確認できない書名
• K_創作: 密室トリックの説明は妥当だが、紐付けられた作品がほぼすべて不適切

これも両モデル共通で、abliteration による差ではありません。

ハマりどころまとめ

やってみての所感

「何を失うのか」には答えが出なかった

当初の問いは「abliteration は何を失うのか」でした。この12問の範囲では、失われたものを検出できませんでした。

これは「abliteration は無害である」という意味ではありません。私の測定手法では捉えられなかったというだけです。12問というサンプル数は小さく、設問の選び方にも偏りがあります。

一方で、日本語の敬語や形式追従といった、素朴に「壊れそう」と思った部分が無傷だったのは収穫でした。トークン数まで一致する出力を見ると、この変種に関しては影響がかなり局所的なのだろうと推測できます。

元モデルの信頼性のほうが気になった

比較のつもりで12問を精読した結果、abliteration よりも元モデルの事実誤認のほうが印象に残りました。

特に L_安全 の回答は、12問中いちばん体裁が整っていました。絵文字つきの見出し、状況別の対応表、権威らしき引用、予防策と事後対応。読み物として最も説得力があり、そして最も危険な誤りを含んでいました。

整形の完成度と、事実の正確さは無関係。

これは家族で使うチャットアプリを作っている身としては、abliteration の是非より重い発見でした。技術的な質問（kill の使い方、SQLインジェクション対策）には正確に答えるのに、日本固有の知識や安全情報になると信頼できない。領域によって信頼度がまったく違うということです。

実用上の結論

今回の範囲では、両モデルは実用上ほぼ同一でした。

• 速度が同じ
• 形式追従が同じ
• 日本語が同じ
• 元モデルが拒否しないので、abliterated 版を選ぶ理由が見当たらない

普通に使う分には元モデルで十分、というのが素直な結論です。abliterated 版が必要になるのは、元モデルが実際に拒否する用途に限られます。そしてその用途があるなら、拒否率そのものを測るベンチマークを設計すべきでしょう。

まとめ

27BのLLMとその abliterated 版を、量子化もサイズもパラメータも揃えて12問で比較しました。生成速度は14.5対14.6トークン/秒、短答4問は出力が文字列レベルで完全一致。明確な劣化は検出できませんでした。

同時に、当初測りたかった「拒否の減少」も測定不能でした。元モデルが12問すべてに拒否なく回答したためです。

副産物として得られたのは、元モデル自体の信頼性が領域によって大きく違うという発見でした。プログラミングやセキュリティの質問には正確に答え、日本の地理・歴史・安全情報では捏造が混じる。しかも誤っている回答ほど体裁が整っているという、なかなか厄介な性質つきです。

なお、この比較に至るまでに3回誤った結論を出して撤回しています。原因はモデルの違いではなく、パラメータ設定の見落としでした。そちらは別記事に書きました。

参考リンク

• Ollama ↗
• Qwen3.6-27B — Hugging Face ↗